Noam Shazeer wechselt zu OpenAI

 (twitter.com/NoamShazeer)
1 Punkte von GN⁺ 7 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Noam Shazeer, eine Schlüsselfigur hinter der Transformer-Architektur und zuvor Co-Lead von Google Gemini, hat seinen Wechsel zu OpenAI bekannt gegeben
  • Er war ein früher Mitarbeiter, der im Jahr 2000 zu Google kam, und trug zur Verbesserung der Rechtschreibkorrektur in der Suche sowie zur Entwicklung des Kernalgorithmus von AdSense bei
  • Als Mitautor des Papers „Attention Is All You Need“ von 2017 entwickelte er die Transformer-Architektur, die die Grundlage nahezu aller modernen LLMs bildet
  • Außerdem war er ein wichtiger Mitwirkender an LaMDA und Meena
    • Meena — ein von Google 2020 vorgestellter Open-Domain-Chatbot als Forschungsprojekt, das mit einem Modell mit 2,6 Milliarden Parametern natürlichere und kontextbezogenere Gespräche anstrebte
    • LaMDA (Language Model for Dialogue Applications) — als Nachfolger von Meena 2021 vorgestelltes großes Sprachmodell mit Spezialisierung auf Dialoge, das die Erzeugung natürlicher Multi-Turn-Gespräche zu freien Themen zum Ziel hatte und später in die frühe technologische Basis von Googles Chatbot und Bard einfloss
  • 2021 verließ er Google, um Character.AI mitzugründen, kehrte jedoch 2024 zurück, nachdem das Unternehmen für rund 4 Billionen Won ($2.7B) von Google übernommen worden war, und war dort als VP Eng sowie Co-Lead von Gemini tätig

Verwandte Beiträge

1 Kommentare

 
GN⁺ 7 시간 전
Hacker-News-Kommentare

  • Für Interessierte: Wired hat vor zwei Jahren die Hintergrundgeschichte des Papers Attention Is All You Need behandelt: https://www.wired.com/story/eight-google-employees-invented-...
    Das gibt Kontext, um die Beiträge der einzelnen Autoren zu verstehen. Über Shazeer heißt es in dem Artikel, sein Einstieg sei entscheidend gewesen, und theoretische wie intuitive Mechanismen wie Self-Attention müssten oft von wenigen erfahrenen „Zauberern“ sehr sorgfältig implementiert werden, damit sie überhaupt lebendig werden. Shazeer habe den Code der Transformer-Teams sofort auf seine Weise neu geschrieben und gesagt, er habe „die Grundidee genommen und sie einfach selbst gebaut“; gelegentlich habe er Kaiser etwas gefragt, meist habe er aber eine Weile einfach ausprobiert und sei dann zurückgekommen mit: „Schau, es funktioniert.“ Der Artikel beschreibt, wie er das System auf eine neue Stufe hob, in einer Weise, die Teammitglieder später mit Worten wie „Magie“, „Alchemie“ und „Zusatzapparat“ beschrieben

    • Formulierungen wie „Magie“, „Alchemie“ und „Zusatzapparat“ klingen so, als hätten die Leute ziemlich viel Übung darin, technisch unbedarftes Publikum überhöht zu verpacken, ohne viel Substanz zu liefern

  • Noam Shazeer ist einer der Hauptautoren des monumentalen Papers „Attention Is All You Need“, das die Transformer-Architektur eingeführt hat

    • Das ist noch untertrieben. Die Autorenreihenfolge war zufällig, aber die Kernidee war meiner Ansicht nach wirklich seine. Ich frage mich auch, was das über GDM aussagt

  • Etwas Kontext für alle, die den ganzen Verlauf nicht verfolgt haben: Shazeer war ein langjähriger Google-Forscher, der 2000 zu Google kam, und Mitautor von „Attention Is All You Need“
    2021 verließ er Google, gründete Character.AI mit, und 2024 holte Google ihn und einige Character.AI-Forscher über einen Lizenz- und Talent-Deal mit Character.AI zurück. Das kolportierte Volumen lag bei etwa 2,7 Milliarden Dollar, danach wurde er Co-Lead von Gemini. Dass er jetzt wieder Google verlässt und zu OpenAI geht, macht die Lage besonders interessant

    • Der Grund, warum er Google ursprünglich verließ, war, dass Google ein Chatbot-Produkt, das er für möglich hielt, nicht auf den Markt bringen wollte. Google hat viel Geld ausgegeben, um ihn zurückzuholen, und ihn zu einem der Gemini-Leads gemacht
    • Ich habe Noam zuerst im Dwarkesh-Podcast zusammen mit Jeff Dean gesehen; wenn man einen Eindruck davon bekommen will, wie die Leute bei Google auf solche Themen schauen, ist das sehenswert
      https://youtu.be/v0gjI__RyCY?is=nz77XP4KiJy7L1AX
    • Auf dieser Ebene frage ich mich wirklich, ob Vergütung überhaupt noch der ausschlaggebende Anreiz ist oder ob es mehr darum geht, was man tatsächlich tun kann. Google könnte vermutlich leicht so viel zahlen wie OpenAI; vielleicht ist es für ein altes Unternehmen nur schwer, wirklich ungewöhnliche Bedingungen zu ermöglichen
    • Ich frage mich, wie jemand nach einer Übernahme in nicht einmal zwei Jahren wieder gehen kann
    • Am Ende wäre es schön, wenn wir zur Schlussfolgerung kämen: „Hopfield Networks is All You Need“

  • Wow, er ist noch nicht lange zurück, und was auch immer ihn wieder zum Gehen gebracht hat, was könnte das bitte gewesen sein?
    Ich hoffe, das stimmt nicht, fürchte aber, dass es stimmen könnte: https://x.com/signulll/status/2067446889956430273

    • Für Leute, die den obigen Link nicht anklicken wollen, hier der nitter-Link: https://nitter.net/signulll/status/2067446889956430273
    • signull wirkt weniger wie ein bekannter Insider der Branche als eher wie ein anonymer Pöbel-Account, aber zumindest aus der Außenperspektive scheint er ziemlich gut einzufangen, auf welche Weise Sam Altman zu OpenAI beiträgt
    • Wenn ich raten müsste, spielte Geld wohl eine Rolle
    • Liest sich wie eine Episode von Silicon Valley. Schade, dass wir gerade jetzt kein Reboot dieser Serie bekommen; es gäbe wirklich jede Menge komisches Material
    • Ich würde auf „Geld“ und auf viel Unsinn von Altman tippen

  • [Bearbeitung: Mein Kommentar war ursprünglich eine Antwort auf einen Kommentar, der Noam als einen weiteren „Scam Altman“ bezeichnete, aber der Parent-Kommentar wurde geändert. Dass der ursprüngliche Unterfaden aufgeräumt wurde, ist mir egal, aber dieser Kontext scheint zum Verständnis nötig.]
    Noam ist wirklich hochkompetent und war im alten Google-Engineering der 2000er intern ziemlich legendär. Es gibt die Geschichte, dass Paul Buchheit ihn mit der Interviewfrage „Wie würdest du eine Rechtschreibprüfung bauen?“ interviewte; Noam dachte sich etwas aus, das besser war als der damalige Stand der Technik, und baute dann praktisch als sein erstes zweiwöchiges Noogler-Projekt die Google-Rechtschreibkorrektur
    https://www.youtube.com/watch?v=gilk-76W9rE&t=60

  • https://old.reddit.com/r/singularity/comments/1u8xc9m/most_l...
    Hier scheint es einige Einsichten zu geben. Edit: Der Beitrag scheint gelöscht worden zu sein, aber die Kommentare sind noch sichtbar. Die Kurzfassung in einem Satz ist, dass die Person selbst wohlwollend formuliert politisch sehr unverblümt war und starke Überzeugungen hatte.

  • Das sind sehr schlechte Nachrichten für Gemini. Der kurze Aufschwung im letzten Jahr mit 2.5 Pro wirkte so, als sei er von Noam angeführt worden.

    • Ehrlich gesagt glaube ich langfristig nicht, dass das große Auswirkungen hat. Modelle haben keinen Burggraben und werden zunehmend zur Commodity.
      Unabhängig davon ist Google recht gut positioniert. Das Unternehmen verbrennt nicht wie Anthropic/OpenAI Geld für AI und verfügt über Produktbereiche, in die sich AI integrieren lässt. Dazu kommt ein ausgereiftes Werbemodell, sodass ausgerechnet dort vielleicht eher ein wenig echter Umsatz mit großen Sprachmodellen entstehen kann.

  • Erste Frage: Wie viel hat OpenAI dafür ausgegeben?
    Zweite Frage: Warum sollte OpenAI dieses Geld ausgeben, um Talente von Google abzuwerben, wo Google bei der Talentgewinnung klar mehr zahlen kann, statt von Anthropic, das den Markt anführt und finanziell etwas eingeschränkter ist?

    • Der Berichterstattung zufolge sind die Leute bei Anthropic deutlich loyaler, und die Abwerbeversuche von OpenAI und Meta scheinen größtenteils nicht erfolgreich gewesen zu sein.

  • Wow, Google hat Milliarden von Dollar gezahlt, um Noam zurückzuholen. Wenn die Berichte stimmen, hat OAI da wirklich etwas Beeindruckendes geschafft.

  • AI-Recruiting wirkt immer mehr wie der Free-Agent-Markt im Sport.
    Karpathy geht zu Anthropic, und jetzt geht Noam zu OpenAI.

    • Ich dachte, Karpathy würde zu OpenAI gehen.