FunSearch: Neue Entdeckungen in Mathematik und Naturwissenschaften mit LLMs

FunSearch: Einsatz großer Sprachmodelle für neue Entdeckungen in Mathematik und Naturwissenschaften

• Große Sprachmodelle (LLMs) sind hervorragend darin, Konzepte zu kombinieren, und sind nützliche Werkzeuge, die durch Lesen, Schreiben und Codieren bei der Problemlösung helfen.
• Da LLMs mitunter dazu neigen, nicht den Tatsachen entsprechende Informationen zu „halluzinieren“, ist es eine Herausforderung, verifizierbare und korrekte Entdeckungen zu machen.
• FunSearch ist eine Methode zur Suche nach neuen Lösungen in Mathematik und Informatik, die ein vortrainiertes LLM, das kreative Lösungen liefert, mit einem automatischen „Evaluator“ kombiniert, der falsche Ideen herausfiltert.

Entdeckungen durch Evolution mit Sprachmodellen vorantreiben

• FunSearch verwendet eine evolutionäre Methode, die Ideen mit der höchsten Bewertung weiterentwickelt; diese Ideen werden als Computerprogramme dargestellt, die automatisch ausgeführt und bewertet werden können.
• Nutzer formulieren das Problem in Form von Code, bestehend aus einem Verfahren zur Bewertung des Programms und einem Seed-Programm zur Initialisierung des anfänglichen Programmpools.
• FunSearch ist ein iterativer Prozess: In jeder Iteration werden einige Programme aus dem aktuellen Programmpool ausgewählt und dem LLM übergeben, das dann neue Programme erzeugt und bewerten lässt.

Neue Wege in der Mathematik erschließen

• FunSearch hat eine neue Lösung für das Cap-Set-Problem gefunden, das Mathematiker seit Jahrzehnten beschäftigt.
• Beim Cap-Set-Problem geht es darum, die größte Punktmenge in einem hochdimensionalen Gitter zu finden, in der keine drei Punkte auf einer Linie liegen; es ist ein wichtiges Modell der extremalen Kombinatorik.
• FunSearch fand in einigen Konfigurationen die größten Cap Sets, die in den vergangenen 20 Jahren entdeckt wurden.

FunSearch bevorzugt kompakte und für Menschen interpretierbare Programme

• FunSearch erzeugt nicht nur Lösungen für ein Problem, sondern Programme, die erklären, wie diese Lösungen hergeleitet wurden.
• FunSearch bevorzugt Lösungen mit geringer Kolmogorov-Komplexität, also durch sehr kompakte Programme.
• Die Programmausgaben von FunSearch sind für Forschende leicht verständlich und liefern umsetzbare Erkenntnisse.

Lösung berüchtigt schwieriger Herausforderungen in der Informatik

• Nach dem Erfolg beim theoretischen Cap-Set-Problem wurde FunSearch auf das „Bin Packing“-Problem angewendet, eine wichtige praktische Herausforderung in der Informatik.
• FunSearch schaffte es, dieselbe Anzahl von Elementen mit weniger Behältern als bestehende Heuristiken zu verpacken.

Mit LLM-gesteuerten Entdeckungen den Weg für Wissenschaft und darüber hinaus ebnen

• Wenn sich Halluzinationen von LLMs verhindern lassen, kann die Stärke dieser Modelle nicht nur für neue mathematische Entdeckungen genutzt werden, sondern auch, um wirkungsvolle Lösungen für wichtige reale Probleme aufzudecken.
• Es wird erwartet, dass der Einsatz LLM-gesteuerter Ansätze zur Erzeugung effektiver und maßgeschneiderter Algorithmen für viele wissenschaftliche und industrielle Probleme zur gängigen Praxis wird.

Meinung von GN⁺

• FunSearch zeigt neue Möglichkeiten von künstlicher Intelligenz bei der Lösung mathematischer Probleme. Insbesondere dürfte die Rolle von KI in der Mathematik noch wichtiger werden, weil sie neue Lösungen für lange ungelöste Probleme wie das Cap-Set-Problem aufzeigt.
• Dass diese Technik auf reale Industrieprobleme angewendet wird, etwa zur Steigerung der Effizienz von Rechenzentren, zeigt, dass KI auch zu praktischer Problemlösung beitragen kann.
• Die von FunSearch erzeugten Programme sind für Menschen interpretierbar, was Forschenden hilft, tiefere Einsichten zu gewinnen und Probleme in Zusammenarbeit mit KI zu lösen.

[GN⁺]

Hacker-News-Kommentare

• Frage nach der Notwendigkeit von LLMs:

  • Der Zweck des LLM scheint zu sein, Python-Funktionen zu erzeugen, die zu einer vorgegebenen Typsignatur passen.
  • Auch ohne LLM sollte es möglich sein, zufällige, korrekte Python-Funktionen zu erzeugen, die zu einer vorgegebenen Typsignatur passen.
  • Es wird vorgeschlagen, dass eine eingeschränkte Sprache effizienter sein könnte, wobei Sprachen wie PushGP als Beispiel genannt werden.
  • Es wird gefragt, ob das LLM einen Mehrwert liefert, ob es im Vergleich zu anderen genetischen Programmiertechniken wettbewerbsfähig ist und ob sich die Rechenkosten von traditionellen Ansätzen unterscheiden.

• Wichtiger Kontext zur Entdeckung in der Kombinatorik:

  • Es wurde festgestellt, dass eine bestimmte kombinatorische Zahl in einem engeren Bereich liegt als zuvor bekannt.
  • Diese Entdeckung erfolgte nicht durch einen logikzentrierten mathematischen Beweis, sondern durch die Suche nach einer Zahlenfolge mit besonderen Eigenschaften.
  • Ein Ansatz mit genetischen Algorithmen und LLMs könnte interessant und nützlich sein.

• Relevanter Kommentar zu „Selbstspiel“:

  • FunSearch verwendet eine Evolutionsmethode mit einem LLM, um die am höchsten bewerteten Ideen weiterzuentwickeln.
  • Der Benutzer beschreibt das Problem in Form von Code und erstellt einen Programmpool, der zur Bewertung und Initialisierung der Programme verwendet wird.
  • In jeder Iteration wählt FunSearch einige Programme aus dem aktuellen Pool aus, und das LLM erzeugt auf deren Grundlage neue Programme, die automatisch bewertet werden. Die besten Programme werden dem bestehenden Pool wieder hinzugefügt, wodurch eine Schleife zur Selbstverbesserung entsteht.

• Persönliche Nutzungserfahrung mit Websuche:

  • Es werden pplx.ai und phind.com verwendet, um Fragen zu stellen und Weblinks zu finden.
  • Durch Verfeinern der Fragen oder Nachfragen werden andere oder tiefergehende Referenzen gefunden.
  • Auch Inhalte von Tech Twitter sind nützlich, und es wird erwartet, Grok für Recherchen zu nutzen.

• Twitter-Post zur Entdeckung von DeepMind:

  • Wenn neuronale Netze tatsächlich neues Wissen erzeugen können, wäre das die wichtigste Entdeckung seit dem Feuer.
  • Es wird infrage gestellt, ob dann nicht alle darüber sprechen würden, falls diese Entdeckung wirklich stimmt.
  • Es wird Eindrücklichkeit dessen betont, was mit Palm 2 erreicht wurde, sowie Erwartung an die Möglichkeiten, wenn künftige Modelle diese Methode nutzen.

• Zusammenfassung eines Twitter-Posts:

  • Die Fähigkeiten von KI nehmen kontinuierlich zu, und die persönliche Produktivität steigt durch KI-Autovervollständigung, Refactoring und die Erzeugung von Code-Review-Diffs um 20–30 %.
  • Wenn man Teile von Geschäftsabläufen mit KI-Modellen verbindet, wird das „Verbessern“ des Systems so einfach wie das Austauschen des Modells.
  • Es wird erwartet, dass sich in den Jahren nach der ersten Integration alles wie von Zauberhand verbessert.

• Zusammenfassung zur Programmerzeugung:

  • Bei gegebenen Programm-Templates/-Skeletten und einer Fitnessfunktion wird mit einem LLM eine Population von Programmen erzeugt.
  • Mit einem Prompt zur Erzeugung neuer Programme werden Programme für Eingaben ausgeführt und mithilfe der Fitnessfunktion bewertet.
  • Es wird ein Inselmodell für die Evolution verwendet, und die Zahl der LLM-Aufrufe ist mit etwa 1e6 niedrig.
  • Es gibt Überlegungen zum Trade-off zwischen Tiefe und Breite bei der Programmevaluierung/-bewertung.

• Ansatz zum Cap-Set-Problem:

  • Das Cap-Set-Problem besteht darin, in einem hochdimensionalen Gitter die größte Punktmenge zu finden, in der keine drei Punkte auf einer Geraden liegen.
  • FunSearch erzeugte für dieses Problem Lösungen in Form von Programmen, die maximale Cap Sets finden.
  • Dies stellt die größte Vergrößerung der Cap-Set-Größe in den vergangenen 20 Jahren dar.

• Ausdruck von Neugier hinsichtlich der Möglichkeit, LLMs mit symbolischem Schließen zu integrieren.

• Unabhängig davon, ob tatsächlich neues Wissen erzeugt wird, besteht Interesse an einer Fallstudie im Hinblick auf Überlegungen, den Zugang zu KI auf Grundlage der Modellgröße oder anderer regulatorischer Maßnahmen einzuschränken.

• Im Zusammenhang mit dem Universalapproximationstheorem wird erwähnt, dass sich Funktionen mit künstlichen neuronalen Netzen unter Verwendung von ReLU exakt approximieren lassen.

  • Dieser Ansatz ist ähnlich, liefert aber letztlich Code.