Möge der ‚GPU-Mangel‘ ewig währen — Open-Source-AI-Zuschüsse

 (a16z.com)
1 Punkte von GN⁺ 2023-09-01 | 1 Kommentare | Auf WhatsApp teilen
  • a16z sieht Open Source AI als zentrale Grundlage des AI-Ökosystems und startet den Open Source AI Grant, um die Ressourcenlücke von Entwicklern zu verringern
  • Da immer mehr Open-Source-Modelle mit geschlossenen Modellen konkurrieren, steigern Feinabstimmung und Optimierungsarbeit von Einzelpersonen und kleinen Teams die praktische Nutzbarkeit der Modelle
  • Gefördert werden Projekte, die technologische Grenzen erweitern, etwa instruction-tuning, unzensierte LLMs, Quantisierung für lokale Ausführung, Inferenz-Tools und LLM-Sicherheitsforschung
  • Open Source AI benötigt mit wachsender Modellgröße selbst für die Feinabstimmung erhebliche GPU-Rechenressourcen und verursacht damit eine höhere Ressourcenlast als traditionelle Infrastrukturprojekte
  • Dieser Zuschuss ist weder ein Investment noch eine SAFE note, sodass Empfänger ihre Open-Source-Arbeit ohne finanziellen Renditedruck fortsetzen können

Ankündigung des a16z Open Source AI Grant

  • a16z unterstützt mit dem Open Source AI Grant program eine kleine Zahl von Open-Source-Entwicklern in Form von Zuschüssen
  • Die Förderung ist weder ein Investment noch eine SAFE note und ist so aufgebaut, dass Entwickler ihre Arbeit ohne den Druck fortsetzen können, finanzielle Erträge erwirtschaften zu müssen
  • a16z ist der Ansicht, dass ein florierendes Open-Source-Ökosystem unverzichtbar ist, um die Zukunft der AI zu gestalten

Open-Source-AI im Wettbewerb mit geschlossenen Modellen

  • Im Open-Source-Ökosystem entstehen Open-Source-Modelle, die mit geschlossenen Alternativen konkurrieren
  • Hunderte kleiner Teams und Einzelpersonen arbeiten daran, Modelle nützlicher, zugänglicher und leistungsfähiger zu machen
  • Solche Projekte heben das technische Niveau von Open Source AI an und tragen zu einem robusteren und umfassenderen Verständnis der Technologie bei

Warum GPU-Ressourcen zum Engpass werden

  • Den Menschen, die diese Projekte bauen, fehlen oft die Ressourcen, um ihre Arbeit bis zum Ende durchzuziehen oder langfristig aufrechtzuerhalten
  • Bei AI-Projekten tritt das Ressourcenproblem stärker zutage als bei traditioneller Infrastruktur
    • Schon die Feinabstimmung von Modellen erfordert erhebliche GPU-Rechenressourcen
    • Je größer Open-Source-Modelle werden, desto mehr Ressourcen werden benötigt

Arbeitsbereiche, auf die die Zuschüsse abzielen

  • Gefördert werden verschiedene Arbeiten, die die Praxistauglichkeit von Open-Source-AI-Modellen und -Tools erhöhen
    • instruction-tuning für grundlegende LLMs
    • Unzensierte LLM-Feinabstimmung
    • Optimierung für die Ausführung von Modellen auf stromsparenden Maschinen
    • Entwicklung neuer Tools für Modellinferenz
    • Forschung zu LLM-Sicherheitsproblemen
    • Sonstige Arbeiten im Bereich Open Source AI

Erste Zuschussempfänger und Projekte

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2023-09-01
Meinungen auf Hacker News

  • Ich bin einer der Empfänger des AI grant und a16z sehr dankbar, dass sie die Arbeit von fast.ai unterstützen.
    Mein Grant wurde für den Kauf eines Scalar-Servers von Lambda Labs verwendet, den wir mit 8 A6000-GPUs der vorherigen Generation ausstatten konnten.
    Das lag auch daran, dass NVIDIA kürzlich drei davon bereitgestellt hat und Lambda Labs sie uns zum Selbstkostenpreis angeboten hat.
    a16z hat keinerlei Beteiligung oder Gegenleistung verlangt, außer dass wir bekanntgeben, dass sie diesen Grant bereitgestellt haben, und der Ablauf war sehr reibungslos.
    Es gab kaum Formulare, wir haben nur einen einseitigen Vertrag unterschrieben; der Vertrag war klar und fair, hielt ausdrücklich fest, dass a16z keinerlei Rechte erhält, und das Geld für den Serverkauf wurde sofort überwiesen.

    • Mit A6000 GPU der vorherigen Generation ist hier die Unterscheidung zwischen „RTX A6000“ und „RTX 6000 Ada Generation“ gemeint.
      Erstere basiert auf der Ampere-Architektur und entspricht der GeForce-30-Serie, letztere basiert auf der Ada-Architektur und entspricht der GeForce-40-Serie.
      Nvidia scheint überzeugt zu sein, dass sie technische Generationen genauso schlecht benennen dürfen wie das USB Implementers Forum.
    • Dass a16z außer der Bekanntgabe des Grants weder Beteiligung noch Gegenleistung verlangt hat und im Vertrag ausdrücklich steht, dass sie keinerlei Rechte erhalten, wirkt ziemlich großzügig und ist ein starkes Signal für einen ehrlichen Geschäftspartner.
    • Es freut mich wirklich, ein Beispiel zu sehen, bei dem Unterstützung ohne jegliche Bedingungen dorthin fließt, wo sie gebraucht wird, und an jemanden, der dankbar dafür ist.
      Ich wünschte, es gäbe mehr davon, und wünsche jph00 viel Erfolg bei seiner Arbeit.

  • HN, ich freue mich sehr, diese neue Initiative ankündigen zu können.
    Dieses Programm ist darauf ausgelegt, Einzelpersonen, Teams und Hacker zu unterstützen, die kein kommerzielles Unternehmen verfolgen.
    Dennoch verschieben solche Projekte die Grenzen von Open-Source-AI und helfen dabei, ein robusteres und umfassenderes Verständnis dafür zu entwickeln, wie die Technologie voranschreitet.
    Wir sind stolz, einen kleinen Beitrag leisten zu können, und dankbar gegenüber der ersten Kohorte sowie allen, die zu diesem Bereich beitragen.

    • Ich halte das für ein gutes Projekt.
      Ich frage mich, ob Einzelpersonen, die mit unterschiedlichen Ideen für Trainingsdaten zu diesem Bereich beitragen wollen, sich erst selbst beweisen müssen, um Aufmerksamkeit zu bekommen, oder ob es eine Möglichkeit gibt, einen Vorschlag einzureichen.
      In meinem Fall sind die Rechenkosten ziemlich hoch; ein paar Proof-of-Concept-Tests kann ich mir leisten, aber darüber hinaus wird es schwierig, und mit einer einzelnen 4090 kann ich llama70b nicht schneller als 1 it/s laufen lassen.
    • Ich frage mich, woher die GPUs kommen.

  • Ich freue mich sehr, oobabooga auf der Liste zu sehen.
    Alle tragen auf ihre eigene Weise bei, und ooba dient als großartiges Portal, um verschiedene Modelle auszuprobieren.
    Im README steht auch, dass es so etwas wie automatic 1111 für Textgenerierung werden möchte.
    Für Einsteiger wie mich ist ooba ein guter Einstiegspunkt, um diese neue Welt zu erkunden.

  • Wenn ich mir die aktuellen Grant-Empfänger ansehe, möchte ich ihnen gratulieren.
    Es sind alles Einzelpersonen oder Teams mit großer Wirkung, und man sieht, dass gründlich recherchiert wurde, um das Geld dorthin zu bringen, wo es hingehört.

  • Anfängerfrage: Wenn man 25.000 Dollar hat, könnte man dann ein paar GPUs kaufen und damit die „GPU Poor“ unterstützen?
    Ich frage mich, ob es dafür eine Art DIY-Anleitung zum Eigenaufbau gibt.
    Ich möchte nicht unbedingt Bargeld spenden, sondern eher ein paar GPUs irgendwie einrichten, damit Leute sie zum Selbstkostenpreis nutzen können.

    • Mit 25K kann man einen Server mieten oder grob selbst etwas in Richtung 8x4090-Maschine zusammenbauen.
      Die 8xA100- und 8xH100-Server, die die meisten gerne nutzen würden, kosten über 200.000 Dollar, und selbst wenn man das Geld hat, sind sie derzeit wahrscheinlich sehr schwer zu bekommen.
    • Mit vast.ai könntest du so ein Angebot starten, und es gibt auch recht ausführliche Hosting-Dokumentation: https://vast.ai/docs/hosting/hosting
      Du wirst es vermutlich nicht auf eine bestimmte Nutzergruppe beschränken können, aber die vast.ai-Nutzer sind eher kleine Firmen, Einzelpersonen und Forschende als Großkonzerne; insofern hilfst du praktisch den „GPU Poor“.
    • Bei diesem Budget würde ich ehrlich gesagt eher zu Spot-/Miet-Instanzen raten als zum Kauf.
      A100 kostet ungefähr 2 Dollar pro Stunde, und der schwierige Teil ist, ein großes Kontingent zu bekommen.
      Trainingsjobs sind ohnehin ziemlich unregelmäßig; häufig lässt man viele kleine Experimente laufen, bevor es einen großen einzelnen Run gibt.
    • Ich will keine bösen Absichten unterstellen, aber das wirkt für mich weniger wie das Spenden von Ressourcen und eher wie eine Eigentumswohnung kaufen und den Kredit über Mieteinnahmen abzahlen.
    • Als Standort nehmen wir die Ostküste, New York, an.

  • Das ist wirklich großartig.
    Ich sehe viele Tools auf der Liste, die ich genutzt habe, und es ist schön zu sehen, dass sie finanzielle Unterstützung bekommen.
    Ich hoffe, Ollama kommt bald ebenfalls auf die Liste.
    Ich habe eine interessante Idee, die ich ausprobieren möchte; vermutlich bräuchte sie ein paar Stunden auf 8X A100 und Daten im EvolveInstruct-Stil, also würde sie wohl über 1.000 Dollar kosten.
    Ich werde versuchen, den Code vorzubereiten, um zu sehen, ob ich bei Grant #2 dabei sein kann.

    • Klingt gut, viel Erfolg mit dem MVP.
      Vielen Dank auch für das Feedback; wir treffen uns auch mit den Leuten von Ollama.

  • Welche anderen Open-Source-LLM-Projekte gibt es, auf die sich Leute verlassen?
    Ich frage, um Ideen für künftige Grant-Empfänger zu finden.
    Eine gute Initiative, die erste Auswahl ist hervorragend, und das ist eine sehr sinnvolle Verwendung von Management Fees.
    Selbst wenn ich über weitere Kandidaten nachdenke, ist es schwierig, weil Projekte, die ich empfohlen hätte, wie TheBloke, vLLM und oobabooga, bereits enthalten sind.
    Als mögliche künftige Empfänger fallen mir MLC LLM, ExLlama, ein Open-Source-Fork von text-generation-inference und AutoGPTQ ein.

    • Hervorragende Vorschläge, danke.

  • Glückwunsch an die Beteiligten.
    Auch wenn ich weiß, dass dahinter zu einem gewissen Grad Branding-/Marketing-Motive stehen, gefällt mir, dass a16z sich stärker auf die Lösung realer Schmerzpunkte ausrichtet als auf Crypto der letzten Jahre oder die Produktion seichter Medieninhalte.
    Ich hoffe, sie machen weiter so, und dass mehr „Thought Leader“ und Venture-Capital-Firmen nachziehen.

    • Nein, sie retten immer noch die Welt.
      Der einzige Unterschied ist, dass sie sie jetzt nicht mehr mit Crypto, sondern mit AI retten.
      https://a16z.com/2023/06/06/ai-will-save-the-world/
    • Ich stimme zu, dass diese Initiative hilft, reale Schmerzpunkte zu lösen.
      Ich will damit nicht „Crypto“ verteidigen, aber ich denke, das Kriterium, ob etwas reale Schmerzpunkte löst, ist ziemlich subjektiv.
      Für viele Menschen und Unternehmen kann es zum Beispiel ein echtes Problem und Bedürfnis sein, die Klickrate von Anzeigen zu erhöhen oder Crypto-/Gas-Gebühren zu senken; nur ist dieses Problem für mich vielleicht nicht wichtig.

  • Beeindruckend.
    Die erste Auswahl ist wirklich solide, und ein großer Teil der natürlich entstehenden organischen Experimente hängt direkt von ihnen ab.

  • Ich freue mich sehr, dass „Eric Hartford: Feinabstimmung unzensierter LLMs“ umgesetzt wird.
    LLMs werden sehr wertvolle Werkzeuge sein, und es ist ziemlich beunruhigend, wenn in solche Werkzeuge Zensur eingebaut wird.
    Man stelle sich vor, Word würde im Namen von Sicherheit und Ethik verhindern, dass man „schlechte Wörter“ eingibt.