OpenAI-Forscher schickten dem Vorstand vor der Absetzung des CEO einen Warnbrief über einen KI-Durchbruch

• OpenAIs Forschungsteam schickte dem Vorstand vier Tage vor dem Vorfall um Sam Altman einen Brief, in dem es vor einer bedeutenden Entdeckung im Bereich der künstlichen Intelligenz warnte
• Der genaue Inhalt des Briefes ist nicht bestätigt, doch die Forscher wiesen auf die Fähigkeiten der KI und ihre potenziellen Risiken hin

Fortschritte beim Projekt Q*

• OpenAI glaubte intern, mit einem Projekt namens Q* einen Durchbruch auf dem Weg zu künstlicher allgemeiner Intelligenz (AGI) erzielt zu haben
• Q* weckte große Erwartungen im Forschungsteam, da es die Fähigkeit zeigte, Mathematikaufgaben auf dem Niveau von Grundschülern zu lösen
• AGI verfügt im Gegensatz zu einem Taschenrechner, der nur begrenzte Berechnungen ausführt, über die Fähigkeit zur Generalisierung, zum Lernen und zum Verstehen

SUPERINTELLIGENCE

• Mathematik ist die Frontlinie des Fortschritts bei generativer KI; aktuelle KI ist gut im Schreiben und in der Sprachübersetzung, indem sie statistisch das nächste Wort vorhersagt
• Die Fähigkeit, Mathematikprobleme zu lösen, deutet darauf hin, dass KI über menschenähnliche Schlussfolgerungsfähigkeiten verfügen könnte
• Diese Fähigkeit könnte auf neue wissenschaftliche Forschung angewendet werden

Meinung von GN⁺

• Das Wichtigste an diesem Artikel ist, dass OpenAIs Forschungsteam den Vorstand vor den potenziellen Risiken von KI gewarnt hat und dass es Fortschritte beim Projekt Q* gab.
• Diese Entdeckung, die einen weiteren Schritt in Richtung künstlicher allgemeiner Intelligenz (AGI) zu sein scheint, könnte eine spannende Debatte über die Zukunft der KI-Technologie und ihre Auswirkungen auf die Menschheit auslösen.
• Neben den positiven Möglichkeiten, die die Weiterentwicklung von KI mit sich bringen kann, ist dies auch ein attraktives Thema, weil es das Bewusstsein für potenzielle Risiken schärfen kann.

[cosine20]

Aber ist so etwas nicht ohnehin nur eine Frage der Zeit? Selbst wenn OpenAI, das zuerst entwickelt hat, die Veröffentlichung verzögert oder absagt, wird irgendwann wohl bei anderen Wettbewerbern oder in der Open-Source-Community etwas Ähnliches auftauchen..

[GN⁺]

Hacker-News-Kommentare

• Im Zusammenhang mit einer Theorie, die vor einigen Tagen auf 4chan gepostet wurde, wird behauptet, dass eine Version, falls sie offiziell als AGI (allgemeine künstliche Intelligenz) erklärt würde, nicht zu kommerziellem Vorteil an Microsoft oder andere lizenziert werden könnte. Daraus ergibt sich die Behauptung, dass Altman nicht wolle, dass es als AGI bezeichnet wird, andere Vorstandsmitglieder jedoch schon.
• Es gibt einen Hinweis auf die Entdeckung, dass ein neues Modell namens Q* mit den ihm zur Verfügung gestellten enormen Rechenressourcen in der Lage gewesen sei, ein bestimmtes Niveau mathematischer Probleme zu lösen. Dieses Modell habe erfolgreich Mathematikaufgaben auf Grundschulniveau gelöst, und die Forschenden seien hinsichtlich des künftigen Erfolgs von Q* sehr optimistisch.
• Es werden zwei jüngste Äußerungen von Sam Altman im Zusammenhang mit der Entdeckung von Q* erwähnt. Eine stammt von der APEC am 18. November, die andere aus einem Beitrag auf Twitter vom 22. September. Beide beziehen sich auf OpenAIs Fortschritte und auf Momente der Entdeckung.
• Es wird die Meinung geäußert, dass es eine gute Idee sei, individuellen Reichtum und individuelle Macht zu begrenzen. Man habe gesehen, wie Ölkonzerne aus Profitgründen den Planeten zerstören und Tech-Unternehmen aus Profitgründen die Privatsphäre verletzen, und es wird die Frage aufgeworfen, was Sam Altman aus Profitgründen tun oder nicht tun würde.
• Vor etwa einem Monat habe Sam Altman kommentiert, dass KI sehr seltsame Ergebnisse hervorbringen könne, bevor sie von allgemeiner Intelligenz zu übermenschlicher Überzeugungskraft gelange. Der Vorstand könnte von dem jüngsten Durchbruch überrascht worden sein und den Notfallknopf gedrückt haben; eine Fähigkeit zu „übermenschlicher Überzeugung“ vor einem Wahlzyklus könnte, wenn sie in die falschen Hände gerät, enorme Folgen haben.
• Irgendwann werde der Tag kommen, an dem KI 50 % der Arbeitsplätze ausführe, wichtige Entscheidungen treffe, wir in von KI gesteuerten Fahrzeugen mitfahren und Menschen romantische Beziehungen mit KI eingehen; und trotzdem würden wir bis dahin noch darüber streiten, ob das Geschaffene wirklich AGI sei. AGI werde immer als der nächste Schritt gelten, und eines Tages würden wir erkennen, dass wir diese Grenze schon Jahre zuvor überschritten hatten.
• Es gibt Inhalte, die dabei helfen, zu erklären, warum der Vorstand von OpenAI Sam Altman nicht vertraute und meinte, es sei besser, das Unternehmen in die Luft zu jagen, als diese Technologie weiter zu erforschen.
• Dies passt besser zu dem Schreiben im Zusammenhang mit der Entlassung von Sam Altman durch den Vorstand; einen bedeutenden Fund nicht zu melden und erst über ein Mitarbeiterschreiben davon zu erfahren, könne als „nicht offen“ betrachtet werden. Wenn man zudem ein Weltuntergangsszenario annehme, stelle sich die Frage, wie lange ein solches Geheimnis überhaupt geheim gehalten werden könne, damit es nicht in die Hände von Bösewichten gelange.
• Es wird die Meinung vertreten, dass OpenAI in seiner Marketingstrategie einen bahnbrechenden Ansatz verfolge. Die Botschaft laute sinngemäß: „Wir haben ein mächtiges AGI in diesem Schrank, und es ist so mächtig, dass wir es nicht freilassen wollen“, und man nehme Geld von Menschen an mit der Behauptung, damit die Sicherheit zu gewährleisten.
• Ein Elternteil habe mit seinem 12-jährigen Sohn über die langweiligen Teile der Mathematik gesprochen, und der Sohn habe gesagt, dass der Absolutwert sehr einfach und langweilig sei. Als der Sohn meinte, mit komplexen Zahlen könne es interessanter sein, habe das Elternteil erkannt, dass er versteht, dass der Absolutwert in der komplexen Ebene die Hypotenuse von Real- und Imaginärteil ist. Dieses Verständnis sei nicht einfach das Ergebnis eines großen Synonymwörterbuchs, sondern entspringe dem Verständnis grundlegender Mechanismen. Es wird die Frage gestellt, über welchen Prozess ein Large Language Model zu einer ähnlichen Schlussfolgerung gelangen könnte.