1 Kommentare

 
GN⁺ 3 시간 전
Hacker-News-Kommentare
  • Ich habe mich kürzlich bei einem YC-Batch mit der Idee beworben, AI statt nur reagieren zu lassen proaktiv handeln zu lassen, und davor ein Paper zu rekursiver Selbstverbesserung veröffentlicht, abgestimmt auf Daten von Epoch AI.
    Ich kontaktierte einen Professor an einer britischen Universität, der an ähnlicher Forschung arbeitete, und wir diskutierten etwa eine Stunde lang unterschiedliche Annahmen und Methoden sowie sich überschneidende Ergebnisse.
    Selbst als Physikstudent im Bachelor kann man, wenn man unabhängige Forschung betreibt und mit Experten spricht, mit Menschen in Kontakt kommen, die man sonst kaum treffen würde. Daher ist Forschung für junge Leute, egal in welches Geschäft sie einsteigen, ein gutes Mittel zum Aufbau von Netzwerken.

    • Genau das ist auch der Grund, warum große Forschungslabore aufhören, Papers zu veröffentlichen. Publizieren ist am wertvollsten, wenn man keine andere Möglichkeit hat, die Aufmerksamkeit kluger Fremder zu gewinnen; wenn man aber in einer Phase ist, in der man jeden einstellen kann und alle ans Telefon gehen, bleibt vor allem der Effekt, Konkurrenten zu zeigen, wie man erfolgreich war.
      Das passiert immer, wenn Wissenschaft zur Industrie wird. Auch Chemiker veröffentlichten zunächst frei, aber als Farbstoffe Geld einbrachten, wanderte interessante Forschung in Unternehmenslabore und wurde nicht mehr öffentlich gemacht.
    • Eigentlich sollte LinkedIn eine solche Vernetzungsplattform für Fachleute sein, aber leider ist es heute zu einem Raum voller Engagement-Bait und Unternehmer-Inszenierung geworden.
    • Ob es mit Forschung begann oder nicht: Sich sichtbar zu machen und mit anderen zu sprechen, ist für Karriere und persönliche Entwicklung von grundlegendster Bedeutung.
    • Ich würde gern genauer hören, was mit proaktiver AI hier konkret gemeint ist.
    • Rekursive Selbstverbesserung halte ich für den Anfang vom Ende.
  • Ich habe tatsächlich bei zwei Startups gearbeitet, die weltweit erstmals Grundlagenforschung betrieben haben. Die erste Firma versuchte drei Jahre lang, neue Ergebnisse in einem Top-Journal unterzubringen, veröffentlichte sie am Ende als Preprint und gab das Journal auf.
    Die zweite Firma, bei der ich derzeit bin, veröffentlicht wegen dieser Erfahrung gar nichts und will auch vermeiden, dass OpenAI oder Anthropic die Ergebnisse kopieren und sechs Monate Arbeit zunichtemachen. Papers werden nur zusammen mit Unterlagen für Investorenpräsentationen bereitgestellt.

    • Für Startups gibt es kaum Vorteile, Frontier-Forschung offenzulegen, und sie ist schwer zu verteidigen. Für Unternehmen ohne Risiko kann es ein Mittel zur Selbstdarstellung sein, für Startups wird es zum Problem.
    • Ist der Zweck der Veröffentlichung von Forschung nicht gerade, dass andere sie replizieren können?
    • Wenn man kein Akademiker ist, der Tenure oder Fördermittel braucht, kann man Journals überspringen und Papers direkt veröffentlichen. Der Kern ist das Teilen von Forschung.
    • Ich frage mich, ob der Text das Phänomen meint, dass AI-Startups Entdeckungen statt in Journals in Blogs veröffentlichen. Ich frage mich auch, ob Journals in dieser Branche inzwischen nutzlos sind, weil sie zu langsam, zu starr und ausbeuterisch sind.
    • Um ein Paper bei einer Top-Konferenz der Informatik einzureichen, muss man Insider-Sprache und Formalismus verwenden, die für Menschen ohne Promotion in einem engen Spezialgebiet schwer zugänglich sind.
      Paradoxerweise sind LLMs darin ziemlich gut, wodurch ein wirklich gutes Paper eines Außenstehenden mit geringerer Wahrscheinlichkeit besser bewertet wird als ein von AI erzeugtes minderwertiges Paper.
  • Durch die Verbloggung der AI-Forschung entstehen und verbreiten sich alle möglichen Behauptungen und Begriffe auf dieselbe Weise wie in sozialen Medien, und das ist ungesund.
    In einer gamifizierten Umgebung kann man fast alles untermauern, wenn man nur Zahlen aus mehreren Experimenten anhängt; ob das tatsächlich Bedeutung hat, wird kaum noch geprüft. Wir bewegen uns schnell in diese Phase. Dieser Müll wird dann zu Trainingsdaten für das nächste Modell, und dieses Modell erzeugt wiederum Modelle sowie Blogs und Papers – ein Teufelskreis, der daran erinnert, Termiten in eine Bibliothek zu setzen.

    • Diese Phase hatten wir schon vor zehn Jahren erreicht, vielleicht sogar viel früher. Heute nehmen nur viel mehr Menschen am Spiel teil, ohne die soziale Schulung, die es damals erträglicher machte.
      Trotzdem ist es nicht nur schlecht; Zeiten, in denen ständig neue Teilnehmer hinzukommen, sind zwar lästig, aber wenn sie vorbei sind, vermisst man sie manchmal.
    • Ich frage mich, ob der Unterschied zur bisherigen Forschungspublikation am Ende nur in der Geschwindigkeit liegt.
  • Der Artikel behandelt die im Paper genannten Unternehmen unklar. Bei den kumulierten Zitierungen liegt OpenAI vorn, gefolgt von MEGVII, Hugging Face, Waymo, Momenta, Preferred Networks, Anthropic, Owkin, Databricks und Aibee.
    Es geht nicht um die Zahl der Veröffentlichungen, sondern um Zitierungen; das Paper sagt, dass dies ein unvollkommener, aber verwendeter Proxy für Bedeutung ist. Unternehmen wie Google wurden ausgeschlossen, weil sie keine Unicorn-Startups sind.

    • Soweit ich weiß, müssen Forschende Papers veröffentlichen, um Leistungsquoten zu erfüllen und ihre Position zu halten. Solange OpenAI oder Anthropic nicht so viel zahlen, dass sie ihre Forschungskarriere aufgeben, werden sie weiter publizieren; das als guten Willen des Unternehmens zu sehen, ist daher schwierig.
    • Google hat viel Forschung öffentlich gemacht, und ich frage mich immer noch, warum sie insbesondere die Transformer- und Attention-Forschung geöffnet haben. Anfangs war sie vielleicht für Übersetzung gedacht, oder selbst die Forschenden erkannten das tatsächliche Potenzial nicht.
    • Ich kannte Databricks als Spark-Hosting-Unternehmen; ich frage mich, weshalb es als Top-AI-Startup eingestuft wird.
  • Das Paper scheint nicht wirklich offenzulegen, welche Unternehmen keine Papers veröffentlichen. OpenAI, Anthropic und Hugging Face werden vielmehr ausdrücklich als veröffentlichende Unternehmen genannt, daher sollte man bei „Top-AI-Startups“ nicht sofort an OpenAI und Anthropic denken.

    • Das Paper beantwortet die Frage, die sich beim Titel alle stellen, nicht richtig. OpenAI ist zwar Nummer eins bei den Zitierungen, aber alte und einflussreiche Papers sammeln mit der Zeit Zitate, und es gab eine Zeit, in der OpenAI offener war.
      Ob OpenAI nach der Richtungsänderung unter Altman heute noch beiträgt, ist unklar; zudem wurden Papers nach 2025 ausdrücklich ausgeschlossen, sodass sich die eigentlich interessante Zugänglichkeit aktueller Frontier-Forschung schwer beurteilen lässt. Das Repository liegt unter https://github.com/q5loisel/unicorn-AI-startup-publications.
  • Ein AI-Unternehmen ist nicht automatisch ein Forschungsunternehmen. Die meisten Startups der letzten Jahre nutzen für kommerzielle Zwecke Modelle, die anderswo entwickelt wurden; daher gibt es keinen Grund, wissenschaftliche Papers zu erwarten.
    Wenn tatsächlich 50 % der Startups zu öffentlicher Forschung beitragen, wäre das eher ein deutlich besseres Ergebnis als erwartet.

    • Weil man sich nicht allein auf die Anreize des freien Marktes verlassen kann, wird Wissenschaft öffentlich finanziert. Unternehmen haben kaum Gründe, Informationen mit Wettbewerbern zu teilen.
    • Wenn der zweitgrößte Anbieter OpenAI heißt, erwartet man bis zu einem gewissen Grad schon, dass Papers veröffentlicht werden.
  • Ein gutes Paper, das die breitere Industrie analysiert, behandelt auch, warum frühere Forschung den Eindruck erweckte, dass es immer schwieriger werde, gute Ideen zu finden.
    Anders als bei dem Phänomen, dass die Produktionszuwächse trotz einer wachsenden Zahl von Forschern in den USA stagnierten, zeigt die Nachverfolgung von US-Unternehmenspatenten über 45 Jahre: Die durchschnittliche Zahl der Patente pro F&E-Einsatz stieg, und auch die Elastizität von Patenten im Verhältnis zum Einsatz blieb erhalten oder nahm zu. Zwischen der Zunahme von Patenten als Ideen und der Arbeitsproduktivität besteht dauerhaft ein positiver Zusammenhang, doch die um den Ideenzuwachs bereinigte Wachstumsrate von Unternehmen ist gesunken. Die Schlussfolgerung lautet also, dass die Rolle von Innovationsaktivitäten als Stütze des Wachstums in den vergangenen 40 Jahren nicht schwächer geworden ist.
    https://faculty.tuck.dartmouth.edu/uploads/teresaFort/files/...

  • Es ist ironisch, dass wohl keines der heutigen AI-Startups existieren würde, hätte Google Attention Is All You Need nicht veröffentlicht.

    • Betrachtet man https://research.google/pubs/distilling-the-knowledge-in-a-n... von 2015, könnte die Ironie gerade erst sichtbar werden.
      Google könnte einen unabhängigen Rüstungswettlauf um Frontier-Modelle wirtschaftlich für irrational gehalten haben, diese Fähigkeiten aber zugleich als strategisch unverzichtbar eingeschätzt haben. Die langfristige Strategie könnte darin bestehen, die größten Modelle nur so weit zu bauen, dass sie als Fabriken zur Erzeugung von Fähigkeiten dienen, und diese Intelligenz dann in viel mehr günstige, zweckgebundene Modelle umzuwandeln.
      Wenn Google das wusste, könnte der Grund, es nicht von Anfang an als Geheimwaffe zu behandeln, darin liegen, dass man den Rüstungswettlauf vorhergesehen hatte und auch wusste, wie man in diesem Prozess profitieren kann. Dass das Paper zur Distillation vor dem Transformer-Paper erschien, könnte also keine Ironie, sondern ein naheliegendes Ergebnis sein.
    • Selbst Google wäre ohne offene Forschung nicht dort, wo es heute ist. Wie bei der Strahlenwissenschaft vor dem Zweiten Weltkrieg wird frei publiziert, solange ihr weltveränderndes Potenzial noch nicht erkannt ist; sobald sie aber zu einem staatlichen Interesse wird, verbergen selbst Forscher ohne Bezug zu Waffen ihre Ergebnisse.
    • Die Autoren dieses Papers sind heute alle bei AI-Unternehmen außerhalb von Google.
    • Auch dieses Paper beruhte auf mehreren Ideen, die bereits in greifbarer Nähe waren. Es ist eine großartige Entdeckung, steht aber wie viele Entdeckungen auf den Schultern von Riesen.
  • Die gesamte AI-Industrie wurde auf offener Forschung aufgebaut, doch die aktuelle Welle widerspricht dem und scheint von Gier getrieben zu sein, mit dem Rüstungswettlauf als Ausrede.
    Es bräuchte neue ESG-Richtlinien, die die Rolle offener Forschung anerkennen, doch in der derzeit düsteren Lage scheinen ESG und andere Normen insgesamt verdrängt worden zu sein.

    • Ein erheblicher Teil des Werts der Computing-Industrie entstand, weil kluge Menschen zusammenarbeiteten und sich dafür entschieden, Methoden offenzulegen, statt den Wert der ersten Entdeckung zu monopolisieren. Das begann etwa ein halbes Jahrhundert vor dem aktuellen AI-Hype.
      In meinem Fall ist es allerdings das genaue Gegenteil von Gier. Wenn ich Funktionsweisen, Ergebnisse aus Problemlösungen oder Lehrinhalte teilen will, kann ich sie einfach direkt veröffentlichen; die Arbeit innerhalb des Rahmens von akademisch anerkannten Institutionen ist dagegen zehrend und ablenkend.
      „Forschung publizieren“ bedeutet hier nicht, HTML-Seiten und Source Code hochzuladen, sondern einen sehr speziellen und politischen Kommunikationsprozess. Er ergibt nur in Karrierephasen Sinn, in denen dieser Reputationswettbewerb nötig ist, und hat teilweise etwas von einem Cargo-Kult, der reale wissenschaftliche Verfahren nachahmt.
    • Es gibt viel hervorragende öffentlich finanzierte Forschung, aber Attention Is All You Need und mehrere zentrale OpenAI-Paper wurden privat finanziert, und OpenAI liegt auch bei den Zitationszahlen in der Forschung auf Platz eins. Die Annahmen über offene Forschung passen möglicherweise nicht zu den Belegen.
    • Es gibt Unternehmen, die Forschung teilen, doch im Allgemeinen sind es keine US-Unternehmen; ein Beispiel ist https://arxiv.org/abs/2607.24653. DeepMind, Nvidia, Thinking Machines und andere sind Ausnahmen.
    • Noch schlimmer als das Nichtveröffentlichen von Papers: Unternehmen wie Anthropic kaufen sogar seltene Bücher auf und zerstören sie: https://arstechnica.com/ai/2025/06/anthropic-destroyed-milli...
  • Das Peer-Review-Publikationsverfahren ist umständlich, maximiert die Effizienz des Wissenstransfers nicht und dient eher der Zertifizierung von Qualifikation und Autorität als der Kommunikation; zudem kommen die Reputationsgewinne stärker Einzelpersonen als Unternehmen zugute.
    In blogartigen Publikationen gibt es viel ungeprüften Müll, aber auch in Peer-Review-Forschung gibt es viele minderwertige Ergebnisse; unabhängig von der Wissensquelle ist das Signal-Rausch-Verhältnis seit Jahrzehnten schlecht.
    Gute Forschung öffentlich zu machen, kann Wettbewerbern auf vielerlei Weise nützen, und die Durchsetzung von geistigen Eigentumsrechten ist praktisch unmöglich, sodass daraus eine reine Kostenstelle wird. In einigen Bereichen der Informatik lagen die akademischen Literaturstände peinlich weit zurück, weil der Stand der Technik jahrzehntelang als Geschäftsgeheimnis verborgen blieb.
    Publizieren kostet Zeit und Geld, während Forscher interessante Probleme lösen wollen und Unternehmen den Nutzen der Forschung maximieren möchten; Veröffentlichung hilft also keiner Seite. Auch viel Grundlagenforschung zielt nicht auf Papers, sondern auf Problemlösung, und nach der Lösung geht es zum nächsten Problem weiter.
    Bei Frontier-Forschung spielen zudem immer Fragen der nationalen Sicherheit mit. All das ist das Ergebnis der Anreizstrukturen, und ein erheblicher Teil der Grundlagenforschung findet nicht mehr in der Wissenschaft statt. Auch ich habe nichtöffentliche Forschungsprogramme genossen, und interessante Grundlagenforschung, die ich selbst durchgeführt habe, war keine Veröffentlichung wert, weil es nicht um Reputation ging, sondern um Probleme, die gelöst werden mussten.