Kontroverse um die manipulierte Demo von Googles Gemini-AI-Modell
- Googles neues Gemini-AI-Modell erhielt nach seiner ersten öffentlichen Vorstellung gemischte Reaktionen
- Es stellte sich heraus, dass die beeindruckendste Demo praktisch manipuliert war, was das Vertrauen der Nutzer beschädigte
- Das Video "Hands-on with Gemini: Interacting with multimodal AI" erreichte 1 Million Aufrufe und zeigte die Fähigkeiten eines flexiblen und reaktionsschnellen multimodalen Modells bei verschiedenen Eingaben
Eine Demo, die nicht der Realität entsprach
- Das Video wirkt, als sei es in Echtzeit entstanden, tatsächlich wurde Geminis Leistungsfähigkeit jedoch mit Bildframes und Text-Prompts getestet
- Anders als bei einer echten Interaktion enthält das Video Darstellungen, die hinsichtlich Reaktionsgeschwindigkeit, Genauigkeit und der Art der Interaktion mit dem Modell irreführend sein können
- Zwar gibt es den Hinweis "Die Latenz wurde reduziert und die Gemini-Ausgabe gekürzt.", dennoch wirkt das Ergebnis äußerst überzeugend
Unterschiede zu den dokumentierten Fähigkeiten
- Im Video wirkt die Bewertung intuitiv und ohne Worte, während die dokumentierten Fähigkeiten zeigen, dass das Modell nicht auf Basis einzelner Gesten schlussfolgert, sondern alle Gesten auf einmal sehen und Hinweise erhalten muss
- So scheint das Modell im Video etwa sofort zu erkennen, wie sich ein Papierball unter einem Becher verändert, tatsächlich muss man die Aktivität jedoch beschreiben und das Modell entsprechend anleiten
- Google behauptete zwar zutreffend, das Video zeige "echte Ergebnisse von Gemini", aber die Aussage, man habe "einige Stellen der Demo bearbeitet (und dies transparent offengelegt)", trifft nicht zu. Dieses Video ist keine Demo, sondern zeigt eine Interaktion, die sich deutlich von dem unterscheidet, was zur Bewerbung einer Demo suggeriert wird
Meinung von GN⁺
- Das Demo-Video zu Googles Gemini-AI-Modell stellte die tatsächlichen Fähigkeiten des Modells übertrieben dar und wirft damit Fragen zur Glaubwürdigkeit der Technologie auf.
- Der Fall zeigt zugleich das Entwicklungspotenzial multimodaler KI und die Grenzen der aktuellen Technik und liefert damit eine wichtige Lehre für das Verständnis des tatsächlichen Stands von KI-Technologie.
- Der Vorfall unterstreicht, wie wichtig Transparenz und Ehrlichkeit dabei sind, ob Ankündigungen und Demos von KI-Technologie tatsächlich mit der realen Nutzererfahrung übereinstimmen, und bietet damit spannenden Diskussionsstoff für Menschen aus der Tech-Branche.
5 Kommentare
Auch Bard hatte anfangs für Erwartungen gesorgt.
Das erinnert mich an Google Glass ... Damals dachte ich auch, dass sich die Welt verändern würde.
Viel Erfolg!
Es war zwar ein erstaunliches Video, aber ich denke, das ist ein Problem, das zwangsläufig entsteht, wenn man etwas in kurzer Zeit zusammenschnittartig präsentiert.
Da kommt einem auch der Gedanke, dass Google es gerade ziemlich schwer hat, und zugleich auch, dass man es wohl erst wirklich beurteilen kann, wenn es tatsächlich erscheint.
Wie dem auch sei, mehr Wettbewerb ist besser, als wenn OpenAI allein davonzieht, also Google, viel Erfolg
Das war bedauerlich.
Ich finde, Vision und Werte sollte man gerade in schwierigen Zeiten umso mehr wahren.