1. In Projekte statt in Paper investieren
- In der frühen Forschungsphase ist die Veröffentlichung von Papern wichtig, aber langfristig sind die Wirkung der Forschung und das große Ganze wichtiger als die Anzahl der Paper
- Forschung sollte nicht als einzelne Paper, sondern als große Vision oder Paradigma verstanden werden
- Es ist wichtig, konsistente Artefakte wie Open-Source-Modelle, Systeme, Frameworks und Benchmarks zu pflegen
2. Rechtzeitig Probleme wählen, die große Skalierbarkeit und "Ausstrahlungseffekte" haben
- Das Problem sollte aktuell und zum richtigen Zeitpunkt relevant sein. Zum Beispiel ist es gut, Probleme zu finden, die in 2–3 Jahren "heiß" werden
- Es sollte große "Ausstrahlungseffekte" haben, die viele abgeleitete Probleme beeinflussen können
- Man sollte Probleme mit großem Verbesserungsspielraum wählen. Zum Beispiel sollte es die Aussicht geben, mit der Zeit 20-mal schneller oder 30 % effektiver zu werden
3. Zwei Schritte vorausdenken und schnell iterieren
- Statt nach einer sofortigen Lösung zu suchen, sollte man zwei Schritte vorausdenken
- Man sollte den wahrscheinlichsten Weg erkennen, den die meisten einschlagen werden, dann die Grenzen dieses Weges verstehen und sich darauf konzentrieren, sie zu lösen
- Es ist wichtig, Versionen des Problems schnell zu iterieren und Feedback zu erhalten
4. Die Arbeit veröffentlichen und Ideen popularisieren
- Nach der Veröffentlichung eines Papers sollte man nicht sofort zum nächsten übergehen, sondern die Arbeit öffentlich machen und aktiv mit Menschen kommunizieren
- Man sollte das Paper auf arXiv veröffentlichen und die Veröffentlichung in einem Thread ankündigen, dabei aber mit konkreten und zugänglichen Aussagen beginnen
- Auch nach der Veröffentlichung des Papers sollte man die Ideen weiter bewerben und mit der Community kommunizieren
- Ideen und wissenschaftliche Kommunikation sollten über die isolierte Veröffentlichung eines einzelnen Papers hinausgehen und das ganze Jahr über fortgesetzt werden
5. Interesse wecken und Open-Source-Forschung wachsen lassen
- Es reicht nicht aus, nur Code und ein README auf GitHub hochzuladen
- Gute Open-Source-Forschung muss gute Forschung sein und zugleich einen klaren Downstream-Nutzen sowie geringe Reibung bieten
- Man sollte nutzbare, hilfreiche und zugängliche Code-Releases erstellen
- Man sollte erklären, warum offensichtliche Alternativen scheitern, und geduldig bleiben
- Man sollte verschiedene Nutzerkategorien verstehen und das Projekt entsprechend weiterentwickeln
- Es ist wichtig, Interesse in eine Community zu überführen, sie aufzubauen und wachsen zu lassen
6. Über neue Paper weiter in das Projekt investieren
- Open-Source-Projekte und Forschung sind keine getrennten Dinge
- Ein Großteil der Zeit, die in Open Source investiert wird, kann darin bestehen, neue und spannende Forschung zu betreiben
- Wer an der Front der Open-Source-Arbeit steht, kann neue Probleme sehr früh intuitiv erkennen und erhält Mitwirkende sowie Feedback
- Zum Beispiel werden ColBERT und DSPy durch mehrere Paper und Mitwirkende weiterentwickelt
- Die aufgebaute Community liefert direktes Feedback zum Ansatz und verschafft Zugang zu großartigen Mitwirkenden, die die Bedeutung des Problems verstehen
Zusammenfassung von GN⁺
- Dieser Beitrag behandelt, wie sich die Wirkung in der AI-Forschung durch Open-Source-Projekte maximieren lässt
- Er betont, dass eine große Vision und ein konsistentes Projekt wichtiger sind als die Anzahl der Paper
- Er erklärt die Bedeutung der Wahl rechtzeitiger Probleme, des Denkens zwei Schritte voraus, der Veröffentlichung und Popularisierung der Arbeit sowie des Wachstums von Open-Source-Projekten
- Er betont, dass Forschung und Open-Source-Projekte keine getrennten Bereiche sind, sondern sich gegenseitig ergänzen und gemeinsam weiterentwickeln können
3 Kommentare
Deshalb wird KI-Forschung heutzutage nicht mehr an Graduiertenschulen betrieben, sondern bei Big Tech.
Bei Big Tech erscheinen inzwischen mehr aktuelle Fachartikel als an Graduiertenschulen. Was für eine erstaunliche Welt..
Es kommt auch häufig vor, dass man Doktoranden gleich für ein paar Monate als Praktikanten einstellt, gemeinsam Forschung betreibt und dann Papers veröffentlicht.
Hacker-News-Kommentare
Der Rat, "in Projekte zu investieren und nicht in Papers", ist für Doktoranden oder Forschende am Anfang ihrer Laufbahn nicht realistisch
Um ein Forschungsprogramm erfolgreich zu betreiben, ist es wichtig, rechtzeitig relevante Probleme auszuwählen und Ideen breit bekannt zu machen
Für AI-Forschende kann die Wahl eines nützlichen Themas mit einem Horizont von 1–2 Jahren ein Grund sein, in die Industrie zu gehen
Es ist schwierig zu messen, welchen Einfluss ein Paper tatsächlich auf die reale Welt hat
Der Rat, "in Projekte zu investieren und nicht in Papers", bedeutet, dass gute Projekte gute Papers hervorbringen
AI-Papers haben oft viele Autoren, und wirklich einflussreiche Forschung ist selten
In der frühen Phase von Forschung können kleine Verbesserungen große Wirkung haben
Es ist wichtig, Forschungsergebnisse leicht zugänglich zu machen, aber es ist auch notwendig, nicht alles offenzulegen
"Hype" ist ebenfalls ein Teil der Forschung
Dieser Rat lässt sich nicht nur auf akademische Forschung anwenden, sondern auch auf Startups