Google behauptet, Gemma 3 sei das leistungsstärkste KI-Modell, das auf einer einzelnen GPU laufen kann

• Google hat Gemma 3 vorgestellt, den Nachfolger seines auf der Gemini-KI-Technologie basierenden Gemma-KI-Modells
• Gemma 3 wurde dafür entwickelt, dass Entwickler KI-Anwendungen auf verschiedenen Plattformen ausführen können
  • Lauffähig von Smartphones bis hin zu Workstations
  • Unterstützung für mehr als 35 Sprachen
  • Kann Text, Bilder und kurze Videos analysieren
• Google behauptet, Gemma 3 sei das „weltweit leistungsfähigste Modell für einen einzelnen Beschleuniger“
  • Bietet auf einer einzelnen GPU bessere Leistung als Modelle von Facebooks Llama, DeepSeek und OpenAI
  • Liefert optimierte Performance auf Nvidia-GPUs und spezialisierter KI-Hardware
  • Verbesserter Vision Encoder
    • Unterstützung für hochauflösende und nicht quadratische Bilder
  • Enthält den neuen ShieldGemma 2 Bildsicherheits-Klassifikator
    • Filtert sexuell explizite Inhalte sowie gefährliche oder gewalttätige Inhalte
• Gemma 3 hat sich in den ELO-Rankings der Chatbot Arena im Spitzenfeld platziert
  • Hohe Leistungswerte auf einer einzelnen Nvidia-H100-GPU erzielt
• Die Kontroverse um die Definition von „offen“ oder „Open Source“ bei Gemma-Modellen hält an
  • Googles Lizenz enthält Nutzungseinschränkungen, daran hat sich auch mit dieser Ankündigung nichts geändert

[GN⁺]

Hacker-News-Kommentare

• Manche AI-Modelle können beten. Als ich um biblischen Rat bat, hieß es, man könne für mich beten
• Ich frage mich, wie klein ein Modell sein kann und trotzdem noch „allgemein intelligent“ ist. Es scheint eine Größe zu geben, die zu klein ist, um alle Informationen zu enthalten
  • Ich frage mich, wann kleine Modelle erscheinen, die auf bestimmte Bereiche spezialisiert sind. Wenn ich zum Beispiel Hilfe beim Coding brauche, muss das Modell wahrscheinlich nicht wissen, wer bei Jaws Regie geführt hat
  • Wahrscheinlich wird es in Zukunft viele kleine, spezialisierte Modelle geben
  • Oder die Rechenleistung verbessert sich so weit, dass man voll funktionsfähige Modelle auf Desktops oder Smartphones ausführen kann
• Llama 3.3 70B gilt vielleicht nicht als auf „einer einzigen GPU“ laufend, aber auf einem einzelnen Mac läuft es gut
  • Es ist viel besser als Gemma 3 darin, in langen Gesprächen Konzepte beizubehalten
• Gemma 3 ist beim Schreiben deutlich besser als 2
  • Die große Verbesserung ist, dass man das 32k+-Kontextfenster tatsächlich nutzen kann und es nicht in zufälligen Müll abdriftet
• Hielt genau eine Woche, nachdem Mistral 3.1 Small veröffentlicht wurde. So schnell entwickelt sich AI
• Mistral Small 3.1 wurde nach Gemma 3 veröffentlicht und ist viel besser
  • Es verweigert seltener, ist genauer, redet weniger wirr und ist besonders beim Coding besser
• Technisch gesehen läuft DeepSeek R1 in der 1.58-bit-Unsloth-Quantisierung auf einer einzelnen GPU und 128 GB System-RAM
  • Die Leistung ist sehr stark, aber man sollte es nicht eilig haben
• Google-Beitrag von letzter Woche: [Link]
• Ich frage mich, ob irgendjemand GoogleAI verwendet
  • Ich nutze AI-Sprachübersetzung in einer AI-Firma mit einem AI-CEO, aber die eigentlichen GPT-Produkte sind alle schrecklich und haben einen schlechten Ruf
  • Wer würde schon seine privaten Gespräche zur Überwachung an Google schicken wollen?
• Ich frage mich, ob es auf dem Schneideraumboden läuft