Zehn Fortschritte in Mathematik und theoretischer Informatik

 (openai.com)
1 Punkte von GN⁺ 1 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Bei zehn offenen Problemen, bei denen es seit mindestens zehn Jahren keinen wesentlichen Fortschritt gab, hat OpenAIs nächstes großes Modell, eine interne Version von Astra, neue Ergebnisse erzeugt; die Themen reichen von hochdimensionaler Geometrie über Quantenkomplexität bis hin zu Gitterkryptografie
  • Für die Suche nach Lösungen wurden nach Sol-API-Preisen Tokens im Wert von etwa 2.000 US-Dollar verwendet; anschließend bereiteten Menschen mit demselben Modell die Arbeiten vor, und das Modell formalisierte jedes Argument als Lean-Zertifikat
  • Zu den wichtigsten Ergebnissen zählen ein Existenzbeweis nicht-sofischer Gruppen, eine Widerlegung der Connes-Rigiditätsvermutung, eine Untergrenze von n⁴/log n für arithmetische Formeln zur Berechnung der Permanent sowie ein exponentieller Parallel-Repetition-Satz für allgemeine Zwei-Personen-Quantenspiele
  • Die Schranken für Kugelpackungen sowie binäre und sphärische Codes wurden verbessert, die Härte polynomialer Approximationsfaktoren für das Closest-Vector-Problem und die Ehrhart-Volumenvermutung wurden gelöst, und auch die Erdős-Probleme 146, 180 und 183 wurden beantwortet
  • OpenAI erklärt, dass Menschen zwar für die Vorbereitung der Arbeiten, die Lean-Formalisierung und die Korrektheit verantwortlich seien, die mathematischen Argumente aber von KI erzeugt wurden; daher sollten sie nicht als menschliche Autorschaft ausgewiesen, sondern der Beitrag der KI ehrlich zugeschrieben werden

Zehn von Astra erzeugte Ergebnisse

  • Um Entdeckungen von Wissenschaftlern und Mathematikern zu beschleunigen, stellt OpenAI über ChatGPT for Academic Researchers 100.000 Personen sein bestes ChatGPT-Modell kostenlos zur Verfügung und evaluiert Modelle auch während der Entwicklung fortlaufend an offenen Forschungsproblemen
  • Im Mai veröffentlichte OpenAI eine von KI erzeugte Widerlegung der Erdős-Vermutung zu Einheitsabständen, die bei der Evaluierung eines unveröffentlichten Modells entdeckt wurde; daraus ergaben sich anschließend weitere Arbeiten in Mathematik und theoretischer Informatik
  • Die ausgewählten Probleme hatten seit mindestens zehn Jahren, meist deutlich länger, keinen wesentlichen Fortschritt in ihren Kernergebnissen gesehen und standen in den jeweiligen mathematischen Communities im Fokus erheblichen Interesses
  • Eine interne Version von Astra fand die Lösungen; die gesamten Suchkosten lagen nach Sol-API-Preisen bei etwa 2.000 US-Dollar
  • Die zehn Ergebnisse sind:
    1. Hochdimensionale Kugelpackungen: Neue obere Schranken für die Dichte von Kugelpackungen, abgesenkt bis zum Cohn–Elkies-Kritikalpunkt
    2. Binäre und sphärische Codes: Exponentielle Verbesserung der Schranken für die maximale Größe binärer Codes bei vorgegebenem Mindestabstand sowie ähnliche Ergebnisse für hochdimensionale sphärische Codes
    3. Nicht-sofische Gruppen: Eine Konstruktion, die die Existenz nicht-sofischer Gruppen etabliert und damit ein zentrales offenes Problem der Gruppentheorie löst
    4. Connes-Rigiditätsvermutung: Widerlegung einer langjährigen Vermutung, dass bestimmte Gruppen durch von-Neumann-Algebren eindeutig bestimmt werden
    5. Arithmetische Schaltkreiskomplexität: Neue Untergrenzen für die Berechnung der Permanent mit arithmetischen Schaltkreisen und Formeln; die Untergrenze für arithmetische Formeln liegt in der Größenordnung n⁴/log n
    6. Quanten-Parallel-Repetition: Beweis eines exponentiellen Parallel-Repetition-Satzes für allgemeine Zwei-Personen-Quantenspiele, der ein Grundprinzip der klassischen Komplexitätstheorie erweitert
    7. Closest-Vector-Problem: Nachweis der Härte polynomialer Approximationsfaktoren bei einem zentralen Gitterproblem mit Bezug zu Post-Quanten-Kryptografie
    8. Ehrhart-Volumenvermutung: Bestimmung des maximal möglichen Volumens konvexer Körper in allen Dimensionen, deren einziger innerer Gitterpunkt der Schwerpunkt ist
    9. Mehrfarbige Ramsey-Zahlen: Superexponentielle Untergrenze für mehrfarbige Dreiecks-Ramsey-Zahlen, wodurch Erdős-Problem 183 gelöst wird
    10. Vermutungen in der extremalen Graphentheorie: Ergebnisse zu Kompaktheits- und Degenerationsvermutungen lösen Erdős-Probleme 146 und 180
  • Zu den Arbeiten, die nach der früheren Widerlegung der Einheitsabstandsvermutung entstanden, gehören Gegenbeispiele zur Summe-Produkt-Vermutung über den reellen Zahlen, Zerlegende Primzahlen und das Elekes–Rónyai-Problem, Quadratische Zeitnotwendigkeit für Paare mit größtem Abstand in superkonstanten Dimensionen unter SETH, Kommunikationskomplexität von Punkt-Geraden-Inzidenzen über den reellen Zahlen und Wiederholte Distanzen in Minkowski-Gittern

Zuschreibung der Forschung und Rolle der mathematischen Community

  • Das Aufkommen von KI-Systemen, die zur mathematischen Forschung beitragen können, wirft Fragen auf, die ein einzelnes Technologieunternehmen kaum allein beantworten kann; OpenAI respektiert Positionen, die sich um die Auswirkungen von KI sorgen, darunter die Unterzeichner der Leiden Declaration on AI and Mathematics
  • Die Art und Weise, wie Ergebnisse entstanden sind, sollte bei Autorenschaft und Beitragszuschreibung ehrlich abgebildet werden
    • Wenn vollständig von KI erzeugte Beweise als menschliche Arbeit ausgewiesen werden, verzerrt das sowohl den Beitrag des Systems als auch die tatsächliche intellektuelle Arbeit der Menschen
    • Menschen unterstützen die Vorbereitung der Paper und die Lean-Formalisierung und tragen Verantwortung für die Korrektheit, doch die mathematischen Argumente selbst wurden vom KI-System erzeugt
  • OpenAI erwartet, dass die mathematische Community die Ergebnisse prüft und einordnet und die Ideen anschließend zu neuer Forschung und neuen Entdeckungen weiterentwickelt
  • Während KI sich zu einem immer ausgefeilteren Forschungspartner entwickelt, ist breiter Zugang entscheidend, damit Wissenschaftler und Mathematiker die Zukunft ihrer jeweiligen Fachgebiete erkunden und definieren können

Verwandte Beiträge

1 Kommentare

 
GN⁺ 1 시간 전
Hacker-News-Kommentare

  • Die größte Beschwerde ist der Mangel an Transparenz beim gesamten Experiment und Aufbau. Es ist schwer zu glauben, dass man das Modell diese 10 Aufgaben jeweils nur einmal hat lösen lassen; die genannten 2.000 Dollar ohne Offenlegung des gesamten Versuchsdesigns können daher leicht als P-Hacking missverstanden werden.
    Ich würde gern wissen, wie viele Aufgaben dem Modell insgesamt gegeben wurden, welcher Anteil vor dem Aufgeben ungelöst blieb und welche Kosten dabei anfielen, wie viele Versuche es pro Aufgabe gab und welche Kosten die Ausführungsumgebung einschließlich Zugriff auf Arbeitscluster verursachte.

    • Ich erinnere mich, dass es schon vor dem AI-Hype in der Mathematikdidaktik Diskussionen darüber gab, dass nicht nur Aufgaben und Lösungen selbst wichtig sind, sondern auch das umgebende Scaffolding, das dabei hilft, diese zu finden.
    • Die Kosten wirken als Kritikpunkt eher ungeeignet. Selbst wenn man 1 Million Dollar für 10 Aufgaben ausgegeben hätte, entspräche das etwa den Jahreskosten von 10 bis 20 Mathematikforschern; ob man mit demselben Geld bei Menschen dasselbe Ergebnis bekommen hätte, ist fraglich.
    • Ich frage mich auch, ob Forscher, die nichts mit OpenAI oder anderen LLM-Entwicklern zu tun haben, schon einmal ähnliche Ergebnisse erzielt haben.
      Man müsste auch prüfen, ob OpenAI fähige Kombinatorik-Forscher eingestellt hat, die die Aufgaben gelöst haben, während das Modell nur nebenbei eingesetzt wurde.
    • Die Haltung, ohne verpflichtende randomisierte kontrollierte Studie (RCT) überhaupt nichts zu akzeptieren, ist ebenfalls übertrieben. Das ist nicht sarkastisch gemeint: Angemessene Selbstskepsis sollte auch möglich sein, ohne ein RCT zu inszenieren.
    • Die fehlende Offenlegung der gesamten Ausführungskosten mit P-Hacking zu vergleichen, ist unfair. Eine ausgelassene Preisangabe ist etwas völlig anderes als wissenschaftlicher Betrug oder Ergebnismanipulation.

  • Noch erstaunlicher ist, dass dieser Beitrag nicht einmal ganz oben auf der HN-Startseite stand. Selbst wenn es nur ein Fortschritt gegenüber früheren Ergebnissen ist, zeigt das, dass uns die Vorstellung, AI könne in Mathematik und Informatik bedeutende Fortschritte erzielen, inzwischen kaum noch überrascht.

    • Menschen, die den AI-Fortschritt psychologisch nicht akzeptieren können, haben ihn aktiv gemeldet und so im Ranking nach unten gedrückt. Hacker News ist nicht mehr die Website der Elite.
    • Mehrere befreundete akademische Mathematiker, also die Zielgruppe, sagten, der Titel habe nicht nach 10 neuen Ergebnissen geklungen, sondern wie eine Zusammenfassung der Ergebnisse des letzten Monats, und sie hätten ihn deshalb übergangen.
    • Die Lager sind durch Unternehmensinteressen, Open-Source-Status und Ähnliches extrem stark gespalten.
    • Dann frage ich mich, wie es mit AI-Forschung selbst aussieht. Man müsste auch fragen, ob OpenAI kurz davor ist, menschliche Mitarbeiter zu automatisieren und deren Jobs abzuschaffen.
    • Ehrlich gesagt bin ich von solchen Artikeln inzwischen etwas müde.

  • Der Einfluss von AI lässt sich inzwischen kaum noch bestreiten, und es bleibt fast kein Platz mehr, die Torpfosten weiter zu verschieben. Als Nächstes müsste man sie wohl aus dem Stadion tragen.
    Je schneller die Leute aus der Verleugnung herauskommen und anfangen, das ernsthaft zu behandeln, desto besser.

    • Die Kritik am Verschieben der Torpfosten ist schwer nachvollziehbar. Wissenschaft ist ein Prozess, in dem man Fortschritte macht, lernt und Erwartungen neu justiert; wenn man die Ziele nie verändert, wiederholt man nur dieselben Erfolge.
    • Das Problem ist nicht Verleugnung, sondern Gleichgültigkeit. Die Mehrheit interessiert sich nicht dafür, kann aber alles über Kim Kardashian erzählen.

  • Ich bin kein Experte auf dem Gebiet, auf dem OpenAI Fortschritte erzielt haben will, und möchte die Ergebnisse daher nicht vorschnell abwerten, aber ich sorge mich, dass die Formulierungen im Blog zu Marketingzwecken übertrieben sein könnten.
    Es stimmt zwar, dass es zuvor keinen rechnerischen Ansatz gab, der diese Probleme zuverlässig löste; entscheidend ist aber, ob dieser Beweis der Mathematik neue Ideen hinzugefügt hat oder ob er lediglich in großem Maßstab nach einer passenden Kombination von Werkzeugen aus der bestehenden Literatur gesucht hat.
    Ich möchte wissen, ob es sich um Probleme handelte, deren Antwort von Anfang an intuitiv und deren Beweis machbar wirkte, die aber für Experten nicht wertvoll genug waren, um Zeit darauf zu verwenden, oder ob sie im Kern schwierig waren und die AI mehr geleistet hat, als nur eine riesige Lösungsschablone zu füllen.

    • In Zitationsmustern kann man Durchbruchsforschung als Forschung definieren, die häufig zitiert wird und zugleich zuvor nicht gemeinsam auftretende Zitationslinien verbindet. Gewöhnliche inkrementelle Forschung kombiniert dagegen bereits nahe beieinanderliegende frühere Zitate.
      Anders gesagt lässt sich Innovation recht konkret daran messen, in welchem Maß sie zuvor nicht verbundene Gedanken und Felder verknüpft. Puja Ohlhaver hat dazu vorgetragen, und ich habe ein Experiment unterstützt: https://www.youtube.com/watch?v=guLDNMAOn24
    • Die Probleme zu CVP und Schaltkreiskomplexität in der Informatik sind sehr wichtige Fragen, an denen Spitzenforscher 30 bis 40 Jahre gearbeitet haben, darunter auch Turing-Award-Preisträger. Wenn sie gelöst wurden, wären sie auf mehreren Top-Konferenzen für Best-Paper-Awards gut.
    • Es ist schwer nachvollziehbar, warum allein die Verwendung des Wortes advanced Sorgen vor Marketingübertreibung auslöst. Forschende auf PhD-Niveau haben einen erheblichen Teil ihrer Laufbahn diesen Problemen gewidmet, daher ist die Formulierung angemessen.

  • Eine der frühen Prognosen einer AI-Beschleunigung war, dass Systeme, die ungelöste Probleme der höheren Mathematik lösen, durch neue Entdeckungen in Mathematik und Informatik auch die Softwareleistung sprunghaft erhöhen würden.
    Die heutigen Ergebnisse liegen auf dem Niveau der mathematischen Forschungsfront, das bei Menschen etwa den besten 100 bis 1.000 weltweit, also ungefähr den obersten 0,00001 %, entspräche; zugleich sieht man auch in Software große Fortschritte, etwa als OpenAI ein GPU-Kernel-Problem behob und die Leistung um rund 15 % verbesserte. Dass große Modelle gleichzeitig mathematische und softwaretechnische Fähigkeiten erwerben, die in kleinerem Maßstab unmöglich sind, verbindet beides über Scaling Laws und die Generalisierung von Intelligenz.
    Allerdings halte ich es inzwischen für weniger wahrscheinlich als früher, dass mathematische und wissenschaftliche Entdeckungen direkt Softwareleistungssteigerungen erschließen. Tech-Unternehmen setzen Mathematik-Promovierte eher in Software Engineering als in reiner Mathematik ein, und der Grund, warum sie so gut sind, liegt oft eher in allgemeiner Intelligenz als in neuesten akademischen Entdeckungen.
    Daher ist es zwar ein Beleg dafür, dass Modelle besser werden, aber schwerlich ein Zeichen, dass wir unmittelbar vor einer durch Spitzenmathematik ausgelösten explosiven Beschleunigung (foom) stehen.

    • Um das so zu sehen, müsste man annehmen, dass das Modell explizit nur auf akademische Mathematik überangepasst wurde und diese Fähigkeit überhaupt nicht auf praktische Softwareentwicklung überträgt. Darauf würde ich nicht wetten.
    • Neue mathematische Fortschritte mit dem Niveau der weltweit besten 100 bis 1.000 gleichzusetzen, wirkt wie ein Missverständnis dessen, was Mathematiker tatsächlich tun.

  • Die Fähigkeiten einer nicht einmal namentlich genannten internen AI sind beeindruckend, aber Namen menschlicher Beitragender tauchen nirgends auf. Irgendjemand muss diesem Modell doch zumindest Kaffee gekocht haben.

    • Es wird ausdrücklich gesagt, dass die Ergebnisse mit einer internen Version des nächsten großen Modells Astra erzielt wurden.

  • Ich frage mich, wie hoch die Gesamtkosten dieser Forschung waren, wenn man auch die Gehälter von Mathematikern und Ingenieuren einrechnet.

    • Wenn nicht dauerhaft Menschen dabeisaßen und es betreuen mussten, gibt es keinen Grund, die gesamten Gehälter einzurechnen. Man sollte nur die Ausführungsumgebung, das Prompt-Setup und die Zeit für die Ergebnisprüfung zählen; die Trainingskosten des Modells verteilen sich auch auf andere Zwecke.
    • Da OpenAI Mitarbeitende mit Aktien vergütet, wäre die Zahl enorm, aber da Infrastruktur und trainierte Modelle bereits vorhanden sind, ist das derzeit keine besonders aussagekräftige Größe. Selbst wenn AI nicht weiter voranschreitet, hat sie bereits enorme disruptive Kraft.
    • Die Kosten für die Erzeugung der Beweise der 10 Durchbrüche sollen auf Basis der Sol-API-Preise unter 2.000 Dollar gelegen haben.
      https://x.com/polynoamial/status/2083470822258467194

  • Ich frage mich, was passiert, wenn Unternehmen wie OpenAI anfangen, solche Ergebnisse nicht zu veröffentlichen, sondern sie einfach in die Trainingsdaten aufzunehmen.

    • Reine Mathematik geheim zu halten hat fast keinen industriellen Wert; für das Unternehmen dient sie vor allem dazu, die Fähigkeiten des Modells vorzuführen. Realistisch gesehen ist es wahrscheinlicher, dass die Finanzierung solcher Forschung eingestellt wird.
      Selbst wenn gemeint ist, sie intern zur Modellverbesserung zu nutzen, wäre der Zusatznutzen einiger korrekter Beweise gering, und wahrscheinlich würden sie letztlich aus dem Modell extrahiert und nach außen bekannt.
    • Da es sich um bisher ungelöste Probleme handelte, gab es die bestehenden Antworten selbst nicht; daher ist unklar, was mit „ins Training aufnehmen“ gemeint sein soll.

  • Orte wie OpenAI könnten Experten faktisch Tokens im Wert von Millionen Dollar verbrauchen lassen. Da sie nicht die gesamte Rechenleistung rund um die Uhr verkaufen, liegen die internen Kosten meist eher in der Größenordnung der Stromkosten.
    Wenn die Rechenressourcen dennoch nicht vollständig ausgelastet sind, fragt man sich, ob die vielen künftig geplanten Rechenzentren wirklich nötig sind.

    • Bei OpenAI ist Forschung zugleich Marketing, daher werden sie dafür ein ausreichendes Budget bereitgestellt haben.
    • Im Vergleich zur gesamten Ausgabemenge ist das wahrscheinlich nur ein Rundungsfehler. Man beschränkt die Nutzung öffentlicher Modelle und sichert sich so Rechenressourcen für Forschung; je mehr Rechenzentren es gibt, desto stärker kann man die Beschränkungen lockern.
    • Reinforcement-Learning-Training kann sämtliche Rechenressourcen verbrauchen; ich weiß also nicht, auf welcher Grundlage man sagt, sie seien nicht nötig.
    • Aus der Tatsache, dass freie Rechenressourcen vorhanden waren, um Mathematik voranzubringen, zu schließen, dass keine Rechenzentren nötig seien, ist weit hergeholt. Die einzige vernünftige Schlussfolgerung aus dieser Nachricht ist vielmehr: Wir brauchen mehr Rechenzentren.