„Open-Source-KI ist der Weg in die Zukunft.“ von Mark Zuckerberg

• In der frühen Phase des High-Performance-Computing entwickelten die großen Technologieunternehmen ihre eigenen geschlossenen Unix-Versionen
• Mit der Zeit gewann das Open-Source-Betriebssystem Linux an Popularität und wurde zum Standard für Cloud-Computing und mobile Betriebssysteme
• Es wird erwartet, dass sich KI auf ähnliche Weise entwickeln wird
  • Derzeit entwickeln zwar mehrere Technologieunternehmen geschlossene Modelle, aber Open Source holt schnell auf
  • Im vergangenen Jahr lag Llama 2 noch hinter der vorherigen Generation führender Modelle zurück, doch dieses Jahr hat Llama 3 ein Niveau erreicht, auf dem es mit den fortschrittlichsten Modellen konkurrieren kann
  • Ab dem nächsten Jahr wird erwartet, dass Llama-Modelle zu den führenden Modellen der Branche gehören werden
  • Bei Offenheit, Anpassbarkeit und Kosteneffizienz liegt Llama bereits vorn
• Jetzt gehen wir den nächsten Schritt, damit Open-Source-KI zum Industriestandard wird
  • Meta stellt heute Llama 3.1 405B vor, das erste hochmoderne Open-Source-KI-Modell, sowie die Modelle Llama 3.1 70B und 8B
  • Im Vergleich zu geschlossenen Modellen bietet es ein deutlich besseres Preis-Leistungs-Verhältnis, und die Tatsache, dass das 405B-Modell Open Source ist, macht es zur besten Wahl für das Fine-Tuning und die Verfeinerung kleinerer Modelle
• In Zusammenarbeit mit verschiedenen Unternehmen wird ein breiteres Ökosystem aufgebaut
  • Gemeinsam mit Amazon, Databricks, NVIDIA und anderen wird ein vollständiges Serviceangebot zur Unterstützung von Fine-Tuning und Distillation von KI-Modellen bereitgestellt
  • Groq baut einen Inference-Service mit niedriger Latenz und niedrigen Kosten auf
  • Die Modelle sind auf allen großen Clouds verfügbar, darunter AWS, Azure, Google und Oracle
  • Scale.AI, Dell, Deloitte und andere unterstützen Unternehmen dabei, Llama einzusetzen und mit ihren eigenen Daten angepasste Modelle zu trainieren
  • Wenn die Community wächst und mehr Unternehmen neue Services entwickeln, können wir Llama zum Industriestandard machen und die Vorteile von KI allen zugänglich machen
• Meta bekennt sich zu Open-Source-KI
  • warum Open Source der für Sie am besten geeignete Entwicklungs-Stack ist,
  • warum es für Meta gut ist, Llama als Open Source bereitzustellen,
  • und warum Open-Source-KI gut für die Welt ist,
  • und erläutert deshalb die Plattform, die langfristig Bestand haben wird

Warum Open-Source-KI gut für Entwickler ist

• Modelle können direkt trainiert sowie feinabgestimmt und destilliert werden: Jede Organisation kann mit ihren eigenen Daten auf die optimale Modellgröße anpassen
• Unabhängigkeit ohne Bindung an geschlossene Anbieter: Open Source bietet ein Ökosystem kompatibler Toolchains und ermöglicht freie Wechsel
• Datenschutz: Sensible Daten können im eigenen Modell verarbeitet werden, ohne sie an eine Cloud-API zu senden
• Kosteneffizient: Inference mit dem Modell Llama 3.1 405B ist etwa 50 % günstiger als mit geschlossenen Modellen
• Investition in einen langfristigen Standard: Open Source entwickelt sich schneller als geschlossene Modelle

Warum Open-Source-KI gut für Meta ist

• Metas Geschäftsmodell besteht darin, die besten Erfahrungen und Services zu bieten
• Dafür muss das Unternehmen jederzeit Zugang zu modernster Technologie haben und darf nicht an das geschlossene Ökosystem eines Konkurrenten gebunden sein
• Durch die Erfahrung beim Aufbau von Services auf der Apple-Plattform hat das Unternehmen die Einschränkungen geschlossener Ökosysteme erlebt
• Der Aufbau eines offenen Ökosystems ermöglicht bessere Services
• Es gibt die Sorge, dass Open Sourcing den Verzicht auf technologische Vorteile bedeutet, doch das verfehlt das große Ganze
  • Entwicklung des Ökosystems: Llama muss sich zu einem vollständigen Ökosystem mit Tools, Effizienzverbesserungen, Silizium-Optimierung und weiteren Integrationen entwickeln. Wenn nur Meta Llama nutzt, entwickelt sich dieses Ökosystem nicht
  • Wettbewerbsfähigkeit erhalten: Die KI-Entwicklung wird sehr wettbewerbsintensiv sein, daher bedeutet Open Sourcing nicht, einen großen technologischen Vorsprung aufzugeben. Llama muss mit jeder Generation wettbewerbsfähig, effizient und offen sein
  • Unterschied im Geschäftsmodell: Der Verkauf des Zugangs zu KI-Modellen ist nicht Metas Geschäftsmodell, daher beeinträchtigt das Open Sourcing von Llama weder Umsatz noch Nachhaltigkeit noch die Fähigkeit, in Forschung zu investieren. Das ist auch einer der Gründe, warum mehrere geschlossene Anbieter bei Regierungen gegen Open Source lobbyieren
  • Erfahrung mit Open Source: Meta hat eine Geschichte erfolgreicher Open-Source-Projekte. Über das Open Compute Project wurden Server-, Netzwerk- und Rechenzentrumsdesigns offengelegt und dadurch Milliarden Dollar eingespart. Tools wie PyTorch und React wurden als Open Source bereitgestellt, wodurch Meta von Innovationen im Ökosystem profitierte. Dieser Ansatz war für Meta langfristig immer vorteilhaft

Warum Open-Source-KI gut für die Welt ist

• Open Source ist für eine positive Zukunft der KI unverzichtbar
• KI kann Produktivität, Kreativität und Lebensqualität steigern, das Wirtschaftswachstum beschleunigen und Fortschritte in Medizin und wissenschaftlicher Forschung ermöglichen
• Open Source sorgt dafür, dass mehr Menschen von den Vorteilen und Chancen der KI profitieren können, und verhindert, dass Macht bei wenigen Unternehmen konzentriert wird
• Sie hilft dabei, KI-Technologie gleichmäßiger und sicherer in der Gesellschaft zu verbreiten, und weil Open Source transparent entwickelt wird, ist sie sicherer
• Mein Rahmenwerk zum Verständnis von Sicherheit besagt, dass wir vor Schäden aus zwei Kategorien schützen müssen
  • Unbeabsichtigte Schäden: wenn ein KI-System unbeabsichtigt Schaden verursacht
    • Beispiel: falsche Gesundheitsratschläge, Selbstreplikation oder übermäßige Zieloptimierung
  • Absichtliche Schäden: wenn böswillige Nutzer ein KI-Modell verwenden, um Schaden anzurichten
    • Unbeabsichtigte Schäden machen den Großteil der Bedenken aus
    • Beispiel: die Auswirkungen von KI-Systemen auf Menschen, science-fictionartige Szenarien, in denen KI Menschen schadet
    • Open Source ist sicherer bei der Verhinderung unbeabsichtigter Schäden, weil Systeme transparenter sind und breiter überprüft werden können
    • Open-Source-Modelle wie Llama könnten dank Sicherheitssystemen wie Llama Guard sicherer und robuster sein als geschlossene Modelle
• Wir bemühen uns, die Schädlichkeit von Modellen zu bewerten und Risiken zu mindern, unter anderem durch strenge Tests und Red-Teaming
  • Die Modelle werden veröffentlicht, damit jeder sie testen kann
  • Da KI-Modelle Informationen aus dem Internet lernen, muss berücksichtigt werden, ob ein Modell mehr Schaden anrichten kann als bereits vorhandene Informationen
• Überlegungen zu absichtlichen Schäden
  • Es muss zwischen kleinen und großen Akteuren unterschieden werden
  • In Zukunft könnten böswillige Einzelpersonen KI-Modelle nutzen, um neue Schäden zu verursachen
  • KI muss breit ausgerollt werden, damit große Akteure die Macht kleiner böswilliger Akteure ausgleichen können
  • Wenn große Institutionen KI in großem Maßstab einsetzen, fördert das Sicherheit und Stabilität in der gesamten Gesellschaft
• Die Reaktion der USA und demokratischer Staaten
  • Die Stärke der USA liegt in dezentraler, offener Innovation
  • Es gibt auch die Ansicht, Modelle müssten geschlossen bleiben, damit China keinen Zugriff erhält, doch das ist nicht wirksam
  • Wegen ausgeprägter Spionagefähigkeiten lassen sich Modelle leicht stehlen
  • Eine Welt mit nur geschlossenen Modellen würde dazu führen, dass nur wenige große Unternehmen und feindliche Staaten Zugang zu Modellen haben, während Startups, Universitäten und kleinere Unternehmen wahrscheinlich ihre Chancen verpassen
  • Wenn die Innovation in den USA auf geschlossene Entwicklung beschränkt wird, wird es schwer, die Führungsrolle zu behalten
  • Es braucht ein offenes Ökosystem und Zusammenarbeit mit Regierungen und Verbündeten, um die Vorteile modernster Technologie maximal zu nutzen
• Open-Source-KI ist der beste Weg der Welt, wirtschaftliche Chancen und Sicherheit maximal zu nutzen
  • Die führenden Technologieunternehmen und die wissenschaftliche Forschung von heute basieren auf Open-Source-Software
  • Auch die nächste Generation von Unternehmen und Forschung wird Open-Source-KI nutzen

Lasst es uns gemeinsam aufbauen

• Meta verfolgt bei früheren Llama-Modellen einen anderen Ansatz
• Intern wurden Teams aufgebaut, um möglichst viele Entwickler und Partner bei der Nutzung von Llama zu unterstützen
• Es werden aktiv Partnerschaften aufgebaut, damit mehr Unternehmen im Ökosystem ihren Kunden einzigartige Funktionen anbieten können
• Meta ist überzeugt, dass die Veröffentlichung von Llama 3.1 ein Wendepunkt für die Branche sein wird, ab dem die meisten Entwickler in erster Linie Open Source nutzen werden

[savvykang]

Angesichts dessen, was Meta bisher getan hat, wirkt es sehr wahrscheinlich, dass das Unternehmen sowohl unbeabsichtigten als auch beabsichtigten Schaden tolerieren würde. Meiner persönlichen Einschätzung nach ist Zuckerberg keine vertrauenswürdige Person.

[jaehong747]

Ist Llama Open Source? Nein.

Trainingsdaten = Quellcode
Das aktuelle Modell Llama 3.1 wurde als Open Source veröffentlicht. Die Trainingsdaten sind jedoch nicht öffentlich. Bei AI und Deep Learning sind die Trainingsdaten der „Quellcode“, und das Modell ist eher so etwas wie eine App. Daher kann man Llama faktisch nicht als Open Source bezeichnen. Meta hat im Grunde nur eine kostenlose Sprachmodell-App veröffentlicht.

Besteht die Möglichkeit, dass Meta die Llama-Trainingsdaten offenlegt? Nein.

Die Llama-Trainingsdaten umfassen allein bei Text 15 Billionen Token, und für das multimodale Training dürfte es außerdem Bild-, Video- und Audiodaten geben. Ein erheblicher Teil dieser Daten könnte Kundendaten von Facebook, Instagram und anderen Diensten sein. Deren Offenlegung würde daher gesellschaftlich große Fragen zu Dateneigentum und Urheberrecht aufwerfen, weshalb zu erwarten ist, dass Meta die Daten selbst dann nicht offenlegen kann, wenn das Unternehmen es wollte.

[joon14]

Meta ist stark.

[xguru]

Hacker-News-Meinungen

• Die Begrifflichkeit rund um Open-Source-KI ist verwirrend

  • Open Source setzt normalerweise menschenlesbaren Code voraus
  • Aktuelle ML-Modelle bestehen aus sehr großen Matrizen, die für Nutzer schwer zu verstehen und zu verändern sind
  • Es scheint, als werde Open-Source-Code einfach mit Code verwechselt, der nicht nur über eine Remote-API ausgeführt wird

• Es gibt große Vorteile für KI-Startups und Entwickler

  • Vendor Lock-in entfällt
  • Entwickler können KI auf kosteneffiziente und leistungsstarke Weise in Produkte integrieren
  • Schnelle LLM-Antworten zu niedrigen Preisen dürften möglich werden
  • Durch Fortschritte in der KI werden Produkte automatisch besser, günstiger und skalierbarer

• Meta ist eines der wenigen großen KI-Unternehmen, das offene Modelle anbietet

  • Anders als Anthropic und OpenAI bekennt sich Meta zu offenen Modellen
  • Das unterscheidet Meta von anderen Gruppen, die über Sicherheit und die Notwendigkeit geschlossener KI-Systeme diskutieren

• Metas Werbeerlösmodell verdient Aufmerksamkeit

  • Es ist für Meta vorteilhaft, wenn Nutzer mit Open-Source-Modellen eigene Inhalte erzeugen können
  • Wenn offene Modelle veröffentlicht werden, muss Meta die von den Modellen erzeugten Inhalte nicht überwachen
  • Das ist eine gute Geschäftsstrategie für Meta

• Meta versucht, sich als Vorkämpfer für Open Source im KI-Bereich zu positionieren

  • Das liegt daran, dass das Unternehmen von OpenAI überrascht wurde und nicht im Infrastrukturspiel mitspielt
  • Das ist kein Altruismus, aber für Entwickler und Startups trotzdem gut
  • Metas GPU-Investitionen sind vor allem für neue KI-Produkte, Empfehlungssysteme und den Verkauf von Werbung gedacht