- Inzwischen weiß jeder, dass Google Bard in der Werbung eine falsche Antwort gegeben hat, aber auch Bing AI hat in der Demo völlig falsche Antworten gegeben, ohne dass es jemand bemerkt hat
Staubsauger für Haustiere
- Bei der Suche nach
Pet Vacuums stand bei einem Produkt als Nachteil: „geringe Saugkraft, kurzes Kabel und laut“
- Ich habe den als Quelle angegebenen hgtv-Artikel nachgelesen, aber so etwas steht dort überhaupt nicht. Das betreffende Produkt ist sogar „kabellos“. Ein tragbarer Staubsauger „ohne Kabel“
Nachtleben in Mexiko
- Bing hat einen 5-Tage-Reiseplan für Mexiko-Stadt erstellt, also habe ich nach Aktivitäten für den Abend gefragt
- Eine Bar, für die angeblich Reservierungen im Web möglich seien, hat gar keine Website
- Ein Nachtclub, der bei jungen Leuten beliebt sein soll, hat seit 2014/16 keinerlei Reviews mehr. Es wirkt, als hätte die AI alles an diesem Ort erfunden
- Eine als reizvoll beschriebene Bar ist die älteste Gay-Bar in Mexiko. Der Ort hat über 500 Google-Reviews, dennoch steht dort, es gebe noch keine Bewertung/Reviews, was ebenfalls bemerkenswert ist
- Von 5 empfohlenen Orten war nur 1 korrekt
Zusammenfassung des Gap-Finanzberichts
- Das war der größte und unerwartetste Fehler in der Demo
- Die Gross Margin wird mit 37,4 % angegeben, aber das ist die unbereinigte Gross Margin. Die um Wertminderungskosten bereinigte Gross Margin beträgt 38,7 %
- Die Operating Margin wird mit 5,9 % angegeben, aber diese Zahl taucht nirgends im Dokument auf
- Auch das verwässerte EPS wird mit $1.6/$1.75 angegeben, aber solche Zahlen stehen nicht im Dokument. Dort sind es $0.71/$0.77
- In der Guidance für 2022 steht, dass ein niedrig zweistelliges Wachstum des Nettoumsatzes erwartet werde, tatsächlich wird jedoch ein Rückgang im mittleren einstelligen Bereich prognostiziert
- Entweder stammt das aus einem anderen Dokument oder es ist komplett erfunden
- Dasselbe gilt für den Vergleich zwischen Gap und Lululemon
- Auch die Lululemon-Daten stimmen nicht mit den Unterlagen überein
Fazit
- Bing AI hat es zwar geschafft, mediale Aufmerksamkeit zu erzeugen, ist aber keineswegs besser als Google Bard
- Es ist kaum zu glauben, dass das Bing-Team diese Vorab-Demo mit falschen Daten aufgezeichnet hat
- Noch erstaunlicher ist, dass das als Erfolg galt und alle auf den Lobeszug für Bing AI aufgesprungen sind, ohne es richtig zu überprüfen
- Bing AI kann keine exakten Zahlen aus Dokumenten extrahieren und stellt Informationen selbstbewusst frei zusammen, obwohl es Quellen angibt
- Ein noch nicht ausgereiftes Produkt, das niemand verwenden sollte, der korrekte Fakten braucht
7 Kommentare
Ich forsche ebenfalls weiterhin im Bereich Deep Learning und habe den Eindruck, dass das Problem der Over-Confidence bei Modellen ziemlich groß ist; auch hier zeigt sich ein ähnliches Problem.
Dass Quellen einfach nach Belieben erfunden werden, war bei ChatGPT auch schon so schlimm, deshalb waren meine Erwartungen an Bard groß..
ChatGPT ist das verschwommene JPEG des Webs Das sollte man wohl im Zusammenhang damit betrachten.
Sie haben wirklich eine KI geschaffen, die wie ein echter Mensch wirkt.
Das gilt genauso für ChatGPT. Ohne Fachwissen gibt es viele Antworten, bei denen man die Fehler gar nicht bemerkt.
ChatGPT weist seitens OpenAI klar auf die Einschränkung hin, nicht mit dem Internet verbunden zu sein, und lehnt solche Fragen wie im Text je nach Design häufig ab.
Stimmt, wenn es etwas nicht weiß, sollte es sagen, dass es das nicht weiß, statt ständig zu lügen.