Gemini 2.5 Pro Preview veröffentlicht – Googles AI-Modell mit stärkerer Code-Performance

• Google hat Gemini 2.5 Pro Preview (I/O Edition) vor dem offiziellen I/O-Event vorzeitig veröffentlicht, um Entwicklerfeedback einzuarbeiten und die Leistung zu verbessern
• Besonders bei Frontend- und UI-Entwicklung zeigt das Modell starke Leistung; die Fähigkeiten bei Code-Transformation, Bearbeitung und abstraktem Urteilsvermögen wurden verbessert
• Auf Basis von 84,8 % im VideoMME-Benchmark wird die automatische Erstellung videobasierter Lern-Apps möglich
• Durch Design-Reasoning lassen sich stilistisch angepasste UIs erzeugen und Funktionen einfacher hinzufügen
• Die bisherige Version vom 25. März wird automatisch auf die Version vom 6. Mai aktualisiert, sodass das verbesserte Modell ohne zusätzliche Arbeit genutzt werden kann

---

Herausragende Leistung in der Frontend-Entwicklung

• Gemini 2.5 Pro erreichte Platz 1 im WebDev Arena Leaderboard
• Gemessen an ästhetisch ansprechenden UIs und funktionaler Vollständigkeit wurde Top-Leistung in Bewertungen menschlicher Präferenz nachgewiesen
• In Zusammenarbeit mit Cognition und Replit wird das Potenzial agentischer Programmierung weiter ausgebaut

Kombination aus Codeverständnis und Reasoning

• Video → Code-Funktion

  • Mit 84,8 % im VideoMME-Benchmark erreicht das Modell ein SOTA-Niveau beim Videoverständnis
  • Die automatische Erstellung interaktiver Lern-Apps auf Basis von YouTube-Videos ist möglich
  • Im Vergleich zur Vorgängerversion liefert es Ergebnisse mit verbessertem UI und höherem Interaktionsniveau

• Automatisierung der Funktionsentwicklung

  • Bisher mussten Farben, Schriften und Abstände aus Designer-Dateien geöffnet und manuell in CSS übertragen werden
  • Gemini 2.5 Pro kann stilistisch angepasste Komponenten automatisch erzeugen
  • Beispiel: Die automatisierte Ergänzung einer Videoplayer-Funktion, die stilistisch mit der Gemini-95-App übereinstimmt

• Schnellere Umsetzung von der Idee zur App

  • Wie im Fall der dictation starter app können Apps erstellt werden, die Funktionalität und ästhetische Qualität gleichzeitig berücksichtigen
  • Feine UI-Elemente wie Wellenform-Animationen, responsives Design und Mouseover-Effekte werden automatisch erzeugt
  • Auch ohne eigenes Design entstehen standardmäßig ästhetisch überzeugende Ergebnisse

Berücksichtigung von Entwicklerfeedback und Nutzung

• Im Vergleich zur bisherigen Version wurden Fehlerraten bei Function Calling gesenkt und Auslösemechanismen für Aufrufe verbessert
• Die bisherige Version 03-25 verweist automatisch auf die Version 05-06 → wird ohne separates Update angewendet
• Sofort nutzbar in Google AI Studio und Vertex AI
• Die Model Card wurde ebenfalls mit den neuesten Informationen aktualisiert
• Das Update auf die neueste Version erfolgt automatisch und ohne Preisänderung

Einsatzbereiche und Erwartungen

• Bei Replit, Cursor und Cognition wird der Einsatz als Coding-Agent der nächsten Generation geprüft oder bereits umgesetzt
• Es wird erwartet, dass dies von einzelnen Entwicklern bis hin zu Unternehmen zur Verbreitung agentischer Entwicklungs-Workflows beiträgt

[GN⁺]

Hacker-News-Kommentare

• Bei der Nutzung solcher Modelle zum Programmieren war mein größter Kritikpunkt in der Vergangenheit ihre Tendenz, sich nicht existierende APIs auszudenken. Bei den Gemini-2.5-Modellen, insbesondere den Pro- und Flash-Versionen, tritt dieses Problem seltener auf als bei anderen Modellen

  • Es gibt aber weiterhin erhebliche Einschränkungen, und es ist den aktuellen Modellen unmöglich, Abstraktion und Architektur wie ein Mensch anzugehen
  • Dennoch haben Gemini-Modelle es geschafft, in der alltäglichen Programmierung Suche und Stack Overflow zu ersetzen

• Gemini 2.5 Pro steht auf Platz 1 der WebDev-Arena-Bestenliste

  • Es wäre vermutlich sinnvoll, WebDev Arena in React/Tailwind Arena umzubenennen
  • Der System-Prompt verlangt diese Technologien, und wenn man Vanilla JS oder andere Frameworks anfordert, funktioniert das gesamte Tool nicht
  • Es ist problematisch, wenn Modelle unter einer so engen Definition von Webentwicklung konkurrieren

• Wenn man Gemini 2.5 um Code bittet, gibt es zu viele Kommentare aus

  • Es enthält übermäßig viele Kommentare wie Abschnittskommentare, Schrittkommentare, Blockkommentare und Inline-Kommentare

• Gemini 2.5 ist hervorragend für Agentenaufgaben, hat aber weiterhin Schwierigkeiten, perfekte Diffs für die Codebearbeitung zu erzeugen

  • Das ältere Gemini 2.5 erzeugte mit 92 % Genauigkeit passende Diffs
  • Es wird erwartet, dass diese Quote auf 95–98 % steigt

• Frage an Google-Mitarbeiter: Wurde Gemini-2.5-pro-exp (die kostenlose Version) ebenfalls aktualisiert, oder wird es verschwinden?

  • Laut dem Blogbeitrag verweist die vorherige Version (03-25) auf die neueste Version (05-06), und es sind keine zusätzlichen Maßnahmen nötig, um das verbesserte Modell zu nutzen
  • Ich frage mich, ob Gemini-2.5-pro-preview-03-25 jetzt 05-06 verwendet und ob dasselbe auch für Gemini-2.5-pro-exp-03-25 gilt

• Beim Vergleich der Benchmarks von Experimental 03-25 und Experimental 05-06 erzielt die neue Version bei allen Punkten außer LiveCodeBench leicht niedrigere Werte

• Ich nutze Gemini für fast alles, aber die Model Card vergleicht es nur mit o3-mini

  • In bekannten Benchmarks liegt o3 weiterhin vorn

• Gemini 2.5 Pro ist großartig, aber die UI hat immer noch ein Scroll-Problem, das die Nutzung erschwert

  • Es ist besser, nach Abschluss der AI-Ausgabe noch ein paar Minuten zu warten
  • Es ist auch zuverlässig, in den Entwicklertools das Element ms-code-block zu finden und $0.textContext zu protokollieren

• Gemini 2.5 Pro ist großartig, aber die Kosten sind sehr hoch und die Kostentransparenz ist schlecht

  • In letzter Zeit haben viele unerwartete Rechnungen erhalten, bei einigen sind bei normaler Nutzung Kosten von 500 $ entstanden
  • Ich war ebenfalls betroffen und habe den API-Schlüssel aus dem Tool entfernt

• Dieses Modell schneidet in 10 von 12 Benchmarks schlechter ab als 03-25

  • Während das Training fürs Coding fortgesetzt wurde, wurde alles schlechter, und man hat das wegen versunkener Kosten wohl zu verbergen versucht

• Ich frage mich, warum man nicht Versionsnummern statt „neue Preview“ verwenden kann

  • Zum Beispiel wäre Gemini Pro 2.5.1 ein guter Name