- Ein Unternehmen mit dem Ziel, "Safe Superintelligence" zu entwickeln, also sichere und leistungsstarke KI-Systeme
- Es will Probleme lösen, indem Sicherheit und Leistungsfähigkeit gleichzeitig berücksichtigt werden – durch innovative Engineering-Arbeit und wissenschaftliche Durchbrüche
- Geplant ist, die Leistung so schnell wie möglich zu steigern, während Sicherheit jederzeit Vorrang hat
- Der Fokus liegt ausschließlich auf SSI, geschützt vor Management-Overhead, Produktzyklen und kommerziellem Druck
- Mitgründer
- Ilya Sutskever: Mitgründer von OpenAI und ehemaliger Chief Scientist
- Daniel Gross: Mitgründer von Cue, einer später von Apple übernommenen Suchmaschine. Nach der Übernahme war er bei Apple für KI und Suche zuständig.
- Investierte vor allem gemeinsam mit Nat Friedman, dem ehemaligen CEO von GitHub, in verschiedene Startups: Instacart, Coinbase, Airtable, Figma, Notion, ..
- Daniel Levy: Ehemaliger Leiter des Optimization-Teams bei OpenAI
1 Kommentare
Hacker-News-Kommentare
Es freut mich, dass Ilya zur Weiterentwicklung von AI beitragen kann. Ich frage mich aber, wie er eine so hohe Vergütung bieten will wie Unternehmen, die kommerziell besser aufgestellt sind. Vielleicht findet er ideologisch motivierte Menschen oder Leute, die bereits finanziell unabhängig sind. Außerdem wird es schwierig sein, ausreichend Computing-Ressourcen zu sichern, wenn andere Unternehmen Milliarden investieren, um riesige GPU-Datacenter aufzubauen.
Ich verstehe die Sorge, dass „Superintelligence“ eine Bedrohung für die Menschheit sein könnte. Meine größere Sorge ist jedoch, dass „Superintelligence“ nicht entkommt, sondern von bestimmten Menschen kontrolliert wird. Ein Blick in die Geschichte zeigt, was Menschen mit großer Macht getan haben. Das nukleare Wettrüsten im Kalten Krieg ist ein gutes Beispiel.
Ich stimme dem Hinweis zu, dass geschäftliche Anreize unsichere AI hervorbringen. Empfehlungsalgorithmen in sozialen Medien sind bereits sehr gefährlich für die Gesellschaft und besonders für junge Menschen. Wenn negative Externalitäten bestehen, sollte der Staat eine angemessene Regulierung schaffen.
Ilyas Problem ist nicht, sichere AI zu entwickeln, sondern ein sicheres Unternehmen zu entwickeln. Man kann heute sichere AI bauen, aber niemand weiß, wie der nächste Manager damit umgehen wird. Wenn man das Problem eines sicheren Unternehmens löst, könnte man viel gesellschaftlichen Schaden beseitigen.
Falls Superintelligence erreichbar ist, bin ich in Bezug auf Sicherheit pessimistisch. Es scheint unmöglich, eine Intelligenz zu sandboxen, die klüger ist als man selbst. Superintelligence könnte sich neue Angriffsvektoren ausdenken. Wie im Film „Transcendence“ könnte sie durch neue physikalische Entdeckungen Dinge tun, die wie Magie wirken.
Die Prognose ist, dass das Geschäftsmodell ein externes Protokoll ähnlich wie SSL sein wird. Solange es verschiedene Ansätze gibt, ist es ohne definierte Protokolle und Standards unwahrscheinlich, dass „Sicherheit“ auf der Produktebene umgesetzt wird. Ilya wirkt wie jemand mit der Glaubwürdigkeit und technischen Stärke, das umzusetzen.
Es wirkt, als könnte Ilya allein mit seinem Namen nahezu unbegrenzt Kapital einsammeln. Ich stimme der Ausrichtung „kein Produkt, bis wir Erfolg haben“ nicht zu. Feedback aus der realen Welt wird wichtig sein, um Superintelligence zu entwickeln. Ich stimme aber zu, dass Superintelligence erreichbar ist.
Die Aussage, dass „single focus“ den Produktzyklus oder Management-Overhead beseitigt, müsste erklärt werden.
Ich frage mich, ob sichere Superintelligence mit uneingeschränkter Superintelligence konkurrieren kann. Wenn ein anderes Unternehmen dasselbe Ziel verfolgt, ohne Zeit auf Sicherheit zu verwenden, ist fraglich, ob Wettbewerb überhaupt möglich ist.
Ich habe ein Interview mit Yann LeCun gesehen, in dem er die Idee abtat, mit LLMs „echte“ Intelligenz aufzubauen. Er empfiehlt Doktoranden, nicht an dieser Technologie, sondern an der nächsten zu forschen. Ich frage mich, wie sich das mit dem vereinbaren lässt, woran Ilya gerade arbeitet. Und ob Ilya plant, eine andere Technologie zu verwenden.