Gemma – Googles hochmoderne Open-Modelle

• Google ist davon überzeugt, nützliche KI für alle zu schaffen, und hat der Open-Community bereits Innovationen wie Transformers, TensorFlow, BERT, T5, JAX, AlphaFold und AlphaCode beigesteuert
• Gemma ist eine leichtgewichtige Familie hochmoderner Open-Modelle, die auf derselben Forschung und Technologie basiert, die auch für die Entwicklung der Gemini-Modelle verwendet wurde
  • Entwickelt von Google DeepMind und anderen Teams; der Name ist von „gemma“ inspiriert, dem lateinischen Wort für „Edelstein“
• Ab heute weltweit verfügbar; zusammen mit den Modellgewichten werden Tools bereitgestellt, die Innovationen von Entwicklern unterstützen, die Zusammenarbeit fördern und eine verantwortungsvolle Nutzung der Gemma-Modelle anleiten
• Durch gemeinsam mit Gemini genutzte Technologie- und Infrastrukturkomponenten erreichen Gemma 2B und 7B im Verhältnis zu ihrer Größe eine Spitzenleistung im Vergleich zu anderen Open-Modellen
• Sie können direkt auf dem Laptop oder Desktop von Entwicklern ausgeführt werden, übertreffen in wichtigen Benchmarks deutlich größere Modelle und erfüllen zugleich strenge Standards für sichere und verantwortungsvolle Ergebnisse
• Über Native Keras 3.0 wird eine Toolchain für Inferenz und SFT (überwachtes Fine-Tuning) über alle wichtigen Frameworks hinweg bereitgestellt, darunter JAX, PyTorch und TensorFlow
• Dank Integration mit Colab- und Kaggle-Notebooks sowie beliebten Tools wie Hugging Face, MaxText, NVIDIA NeMo und TensorRT-LLM lässt sich leicht mit Gemma starten
• Vortrainierte und instruktionstuned Gemma-Modelle lassen sich einfach auf Vertex AI und Google Kubernetes Engine (GKE) bereitstellen und auf Notebooks, Workstations oder in Google Cloud ausführen
• Optimierungen für mehrere KI-Hardwareplattformen, darunter NVIDIA GPUs und Google Cloud TPUs, sorgen für branchenführende Leistung
• Gemäß den Nutzungsbedingungen sind kommerzielle Nutzung und Verteilung für Organisationen jeder Größe erlaubt

Von Grund auf verantwortungsvoll entwickelt

• Gemma wurde mit KI-Prinzipien als oberster Priorität entwickelt und nutzt automatisierte Techniken, um personenbezogene und andere sensible Daten aus den Trainingssätzen herauszufiltern
• Darüber hinaus wurde Reinforcement Learning from Human Feedback (RLHF) in großem Umfang für instruktionstuned Modelle eingesetzt, damit sie mit verantwortungsvollem Verhalten im Einklang stehen
• Um das Risikoprofil der Gemma-Modelle zu verstehen und zu verringern, wurden robuste Evaluierungen durchgeführt, darunter manuelles Red Teaming, automatisierte adversarielle Tests und Bewertungen der Modellfähigkeiten in Bezug auf gefährliche Aktivitäten

Optimiert über Frameworks, Tools und Hardware hinweg

• Gemma-Modelle können mit eigenen Daten für spezifische Anwendungsanforderungen feinabgestimmt werden und unterstützen eine Vielzahl von Tools und Systemen
• Multi-Framework-Tools: Bevorzugte Frameworks wie Keras 3.0, natives PyTorch, JAX und Hugging Face Transformers stehen zur Verfügung. Referenzimplementierungen werden bereitgestellt
• Geräteübergreifende Kompatibilität: Ausführung auf gängigen Geräten möglich, darunter Laptops, Desktops, IoT, Mobile und Cloud
• Hochmoderne Hardwareplattformen: Durch die Partnerschaft mit NVIDIA werden von Rechenzentren über die Cloud bis hin zu lokalen RTX AI PCs NVIDIA-GPUs optimiert, um branchenführende Leistung und Integration mit modernster Technologie sicherzustellen
• Optimiert für Google Cloud: Mit Vertex AI steht ein umfassendes Set an MLOps-Tools und verschiedenen Tuning-Optionen zur Verfügung; One-Click-Deployment mit integrierter Inferenzoptimierung ist möglich

Kostenlose Credits für Forschung und Entwicklung

• Gemma wurde für die Community aus Entwicklern und Forschern entwickelt, die KI-Innovationen vorantreibt; mit kostenlosem Zugang über Kaggle, der kostenlosen Stufe von Colab-Notebooks und $300 Credits für neue Google-Cloud-Nutzer kann ab heute direkt losgelegt werden
• Forschende können bis zu $500,000 an Google-Cloud-Credits beantragen, um ihre Projekte zu beschleunigen

[dodok8]

Jetzt sind wohl nur noch offene AIs geschlossen.

[xguru]

Hacker-News-Kommentare

• Bemerkenswert an den Nutzungsbedingungen von Google für Gemma ist die Klausel, dass Nutzer angemessene Anstrengungen unternehmen müssen, um die neueste Version von Gemma zu verwenden. Das gefällt besonders im Hinblick auf diese Klausel nicht, da dadurch ein großer Vorteil des Betriebs eines eigenen Modells zunichtegemacht werden könnte: der Schutz davor, dass sorgfältig getestete Prompts durch Modell-Updates beschädigt werden.
• Die Benchmark-Ergebnisse von Gemma 7B liegen offenbar auf einem ähnlichen Niveau wie die von Mistral 7B. Tests wie MMLU, HellaSwag und HumanEval zeigen, dass die Leistung von Gemma 7B im Vergleich zu Mistral 7B konkurrenzfähig ist.
• Das Gemma-Modell hat einige Besonderheiten:
  • Die Hidden Size des Feedforward-Netzes beträgt das 16-Fache von d_model, während sie bei den meisten Modellen beim 4-Fachen liegt.
  • Die Vokabulargröße beträgt 256K und ist damit zehnmal größer als die 32K von Mistral.
  • Die Zahl der Trainingstoken beträgt 6T und ist damit dreimal so hoch wie die 2T von Llama2.
  • Darüber hinaus werden klassische Transformer-Varianten wie MQA, RoPE und RMSNorm verwendet.
  • Es wird gefragt, wie groß die Batch Size war, mit der das Modell so schnell trainiert werden konnte.
• Es wird die Frage aufgeworfen, ob das Modell auch ohne „Alignment“ bereitgestellt werden kann, womit offenbar ideologisches Fine-Tuning gemeint ist. Es wird angemerkt, dass Antworten des Gemini-Modells durch ideologisches Fine-Tuning oft unbrauchbar geworden seien.
• Eine persönliche Meinung besagt, dass Googles Modellen nicht zu trauen sei. Auf eine Frage zur japanischen Heian-Zeit habe das Modell völlig unsinnige Informationen geliefert; die Fehler seien so offensichtlich gewesen, dass es wie ein Witz oder eine Parodie wirkte. Es wird erwähnt, dass das Llama-Modell deutlich besser abgeschnitten habe.
• Es wird positiv hervorgehoben, dass sich das Gemma-Team im Kommentarbereich beteiligt und Fragen beantwortet.
• Das Gemma-Modell lieferte falsche Informationen über das höchste von Menschen geschaffene Bauwerk der Welt, das reichste Land der Welt und die Zahl der Zentimeter pro Fuß. Solche Fehler werfen Fragen zur Genauigkeit des Modells auf.
• Das Gemma-7B-Modell ist im Vectara-HHEM-Leaderboard gelistet und erreicht eine Antwortrate von 100 % sowie eine Halluzinationsrate von 7,5 %. Für ein Modell mit 7B Parametern ist das eine ziemlich gute Leistung.
• Die beeindruckenden Benchmarks des Gemma-Modells werden erwähnt; selbst das 2B-Modell wirkt ziemlich ordentlich. Es wird die Vorfreude geäußert, das Wochenende damit zu verbringen, dieses Modell zu erkunden.
• Es wird angemerkt, dass vor fünf Jahren die meisten wohl OpenAI gewählt hätten, wenn man gefragt hätte, wer von OpenAI, Meta und Google im Bereich KI am offensten sein würde. Dass heute jedoch Meta und Google, also Unternehmen mit einer Bewertung in Billionenhöhe, leistungsstarke offene Modelle veröffentlichen, die kommerziell genutzt werden können, wird als paradox bewertet.