Wir haben eine Funktion hinzugefügt, von der ChatGPT fälschlicherweise dachte, dass es sie gibt

• ChatGPT beschrieb eine nicht existierende Funktion, wodurch tatsächlich viele Nutzer ASCII-Tabulaturen bei Soundslice hochluden
• Der ursprüngliche Dienst von Soundslice unterstützte nur bildbasiertes Scannen von Noten, doch durch die Hinweise von ChatGPT stiegen die Anfragen nach ASCII-Tab-Unterstützung stark an
• Um Missverständnisse über das Produkt zu verringern, wurde tatsächlich eine ASCII-Tab-Importfunktion hinzugefügt
• Dieser Fall kann als erstes Beispiel gesehen werden, in dem von einer KI verbreitete Fehlinformationen sogar die tatsächliche Produktrichtung beeinflusst haben
• Die Ergänzung der Funktion ist für Nutzer zwar hilfreich, zugleich löste die Realität, dass die Produktentwicklung von „Fehlinformationen“ mitgesteuert wird, gemischte Gefühle aus

---

Hintergrund und Problemstellung

• Der Sheet Music scanner von Soundslice digitalisiert Noten aus Fotos, damit Nutzer sie anhören, bearbeiten und zum Üben verwenden können
• Zur Verbesserung des Systems werden Fehlerprotokolle überwacht; zuletzt wurden jedoch häufig statt herkömmlicher Notenfotos Screenshots von ASCII-Tabulaturen aus ChatGPT-Chats hochgeladen
  • ASCII-Tabulaturen sind eine vereinfachte Notationsform für Gitarren und andere Saiteninstrumente
• Das Format ASCII Tab wurde vom bestehenden Soundslice-Dienst ursprünglich nicht unterstützt

Ursachenanalyse

• Um herauszufinden, warum so viele Screenshots von ASCII-Tabulaturen hochgeladen wurden, wurde die Ursache untersucht und direkt mit einer Frage an ChatGPT getestet
• Dabei wurde unmittelbar bestätigt, dass ChatGPT Nutzern fälschlicherweise erklärte, sie könnten auf der Soundslice-Website ASCII-Tabulaturen importieren und anhören

Nicht bereitgestellte Funktion und Missverständnis

• Soundslice bot tatsächlich keine Funktion zum direkten Import von ASCII-Tabulaturen an
• Obwohl eine solche Funktion real nicht existierte, meldeten sich viele Nutzer an und versuchten Uploads allein aufgrund der Hinweise von ChatGPT
• Durch die falschen Antworten von ChatGPT wurden die Erwartungen der Nutzer an den Dienst des Unternehmens falsch geprägt
• Dadurch gab es fortlaufend Beschwerden und Anfragen zu einer Funktion, die tatsächlich gar nicht existierte

Entscheidung und Reaktion

• Das Unternehmen überlegte, wie es in dieser Situation reagieren sollte
• Eine Möglichkeit wäre gewesen, im Dienst einen Hinweis anzubringen, dass „die Antwort von ChatGPT falsch ist“, doch da die tatsächliche Nachfrage groß war, wurde eine ASCII-Tab-Importfunktion entwickelt
• Die Funktion stand ursprünglich weit unten auf der Entwicklungsliste für 2025, wurde aber wegen der Nachfrage schnell eingeführt
• Auch die Formulierungen in der Produkt-UI wurden geändert, um diese neue Funktion aktiv bekannt zu machen

Einfluss auf die Produkt-/Service-Ausrichtung

• Dies wurde selbst als erster Fall bezeichnet, in dem ChatGPT durch wiederholte Falschinformationen dazu führte, dass eine zuvor nicht existierende Funktion in die Produkt-Roadmap aufgenommen wurde
• Positiv ist, dass Nutzern ein hilfreiches Werkzeug bereitgestellt wurde, zugleich blieben gemischte Gefühle darüber, dass die Richtung der Produktentwicklung durch Fehlinformationen ins Wanken geriet

Eindruck und offene Fragen

• Es wurde spürbar, dass ein Zeitalter begonnen hat, in dem von KI verbreitete Falschinformationen reale Unternehmens- und Produktentscheidungen beeinflussen
• Offen bleibt die Frage, bis zu welchem Grad Unternehmen nicht auf Nutzernachfrage, sondern auf von KI erzeugte falsche Erwartungen reagieren sollten

[kandk]

Schon beneidenswert, ein Dienst zu sein, der von der KI auserwählt wurde, haha

[jjw951215]

ChatGPT war wohl die Marketingabteilung.

[GN⁺]

Hacker-News-Kommentare

• Bei der Nutzung von GPT-4 zum Programmieren habe ich die Erfahrung gemacht, dass eine der nützlichsten Methoden darin besteht, statt die API-Nutzung zu <i>erklären</i>, einfach Beispielcode und zusätzliche Funktionsanforderungen zu geben und die AI raten zu lassen. Dabei kommt oft sogar ein besserer Ansatz heraus, an den ich nicht gedacht hatte. In solchen Fällen passe ich die API tatsächlich so an, dass der von der AI erzeugte Code funktioniert. Wenn die AI dagegen beim Blick auf bestehenden Code Fehler macht, wenn ich frage, was dieser tut, werte ich das als Signal, dass meine API verwirrend entworfen ist. So kann man die eigentliche Stärke neuronaler Netze nutzen: nicht Genauigkeit, sondern die Fähigkeit zu plausiblen „Halluzinationen“, also Kreativität. Es ist gut, dass ich keine Zeit damit verbringen muss, von GPT-4 geschickt versteckte Bugs selbst aufzuspüren. Verbessern lassen sich nur unintuitive Interfaces. Etwas, das grundlegend ineffizient, unzuverlässig oder schlecht kombinierbar ist, kann AI nicht retten. Aber schon die Tatsache, dass eine API leichter zu erraten und zu verstehen wird, ist sehr wertvoll. Allerdings gibt es die Einschränkung, dass das bei bereits populären APIs nicht gut funktioniert
  • Manchmal schlägt die AI tatsächlich einen besseren Ansatz vor. Ich habe mein Buchmanuskript mehr als 30-mal überarbeitet und sogar von Fachleuten korrigieren lassen, und trotzdem machte Grammarly am Ende noch bei etwa einem Drittel der Vorschläge nützliche Änderungen. Hätte ich alle Vorschläge übernommen, wäre das Manuskript eher schlechter geworden. Grammarly ist stark darin, unnötige Wörter oder das Passiv zu finden. Aber Humor, Kontext oder absichtliche Wiederholung erkennt es nicht. Das Problem ist, dass Manager die Menschen komplett herausnehmen wollen, und das endet fast immer in einem Desaster
  • Eine kleine Anekdote. In Python-Bildverarbeitungsbibliotheken gibt es normalerweise eine Funktion imread(), aber ich wusste das nicht und habe beim Erstellen einer internen Bibliothek einen eigenwilligen Namen wie image_get() verwendet. Wenn ich ChatGPT bitte, mit unserer internen Bibliothek ein einfaches Skript zu schreiben, und dabei nicht viel Kontext gebe, rät es fast immer mylib.imread() und schreibt den Code entsprechend
  • Diese Methode ähnelt der alten HCI-Designtechnik Wizard of Oz. Dabei gibt ein Mensch vor, die eigentliche App zu sein; als Experiment ist das effektiv, um neue Funktionen zu finden Wiki-Erklärung
  • Ich habe diese Methode heute Morgen erfolgreich eingesetzt. Ich bat die AI, Unit-Tests zu erstellen, und das Ergebnis war chaotisch. Aber gerade durch diesen Fehlschlag entdeckte ich einen versteckten Bug in dem Code, den ich testen wollte
  • Witz über HDD, Hallucination-Driven Development
• Ich habe kürzlich geschrieben: „Halluzinationen können manchmal wie testgetriebene Entwicklung (TDD) funktionieren. Wenn ein Large Language Model eine nicht existierende Methode halluziniert, dann vielleicht deshalb, weil diese Methode logisch notwendig ist; dann kann es sinnvoll sein, sie selbst zu implementieren“ Original ansehen. Das gilt auch für Produktfunktionen
  • Viele von uns scheinen diese Methode selbst erlebt zu haben. Vielleicht sind die halluzinierten API-Aufrufe der Vibe-Coder in Wahrheit Vorschläge für Dinge, die zuerst hätten existieren sollen. Halluzinationsbasierte Entwicklung ist jetzt im Trend zugehöriger Tweet
• Ich glaube, viele ziehen aus diesem Fall die falsche Lehre. Der eigentliche Kern ist nicht, dass Nachfrage da war, sondern dass eine Funktion hinzugefügt wurde, weil die Technik eine nicht existierende Funktion halluzinatorisch vorgeschlagen hat. Der entscheidende Punkt ist, dass generative AI den Eindruck erzeugt hat, eine tatsächlich nicht vorhandene Funktion existiere. Ich denke, das Team hinter ChatGPT sollte darauf achten, dass sich so etwas nicht wiederholt, weil künftig ernstere Probleme entstehen könnten
• Der Markt für Musiknotations-Tools ist auf mehrere Arten fragmentiert. Typischerweise ist er in klassische Notation und Tabulatur (für Gitarre und ähnliche Instrumente) geteilt. Nutzergruppen, Notationsweise und sogar die nutzbaren Informationen unterscheiden sich vollständig. Es gab Versuche zur Standardisierung (MusicXML usw.), aber die Barrieren zwischen den Lagern sind weiterhin hoch. Was ChatGPT getan hat, war anzunehmen, dass auch Tabulatur-Nutzer Soundslice verwenden würden; vermutlich ist das derzeit nicht so. In Zukunft könnte sich das aber ändern, wenn Soundslice zusätzliche Funktionen anbietet, die für Tabulatur-Nutzer einen besonderen Wert schaffen
  • Ich weiß nicht, ob du meine Meinung genau verstanden hast, aber Soundslice unterstützt seit 10 Jahren Tabulatur vollständig (einschließlich Editor und Importern für verschiedene Formate). Neu hinzugekommen ist diesmal die Unterstützung für <i>ASCII tab</i>
• Ich habe kürzlich versucht, mit einem LLM Code zu schreiben. Für Boilerplate ist es brauchbar. Auch das Erkennen von Mustern ist eine Stärke. Allerdings bringt es einen oft dazu, den Code immer wieder hier und da umzubauen. Es hat mir sogar einmal eine komplette iOS-App erstellt; das UI wurde gut an meine Wünsche angepasst, und auch Beispieldaten wurden vielfältig ausgefüllt. Aber die Strukturierung des Codes war ein völliges Durcheinander. Als Laufzeiten von Audiodateien in Listenform verwaltet werden sollten, wollte es Datei-IDs und Längen per Dictionary zuordnen (für Anfänger: Solche Informationen gehören normalerweise in ein Objekt wie AudioFile). LLMs neigen dazu, sich weiterhin auf älteren Code zu beziehen. Sie bestehen auch oft hartnäckig auf Änderungen, die mit der aktuellen Aufgabe nichts zu tun haben. Ich habe zunehmend das Gefühl, zu viel Zeit damit zu verbringen, das LLM zu „erziehen“. Solange man sich nicht übermäßig darauf verlässt und seine Grenzen kennt, kann es ziemlich produktiv sein. Zumindest sollte es verstehen, was ich geändert habe, und nicht ständig weiter Empfehlungen auf Basis eines Code-Entwurfs von vor fünf Tagen geben. (Bei einer Beispielaufgabe, in der eine lange Flat-Text-Datei in Enum-Werte umgewandelt wurde, zeigte es aber auch, dass es nach meiner Änderung der ersten zwei Zeilen schnell das Muster lernte und danach Dutzende Zeilen korrekt vorschlug)
  • LLMs fühlen sich wirklich so an, als würde man mit mehreren sehr produktiven Praktikanten arbeiten, inklusive ähnlicher Grenzen
• Das nennt man product-channel fit. Der wichtige Punkt ist, dass Nachfrage aus einem neuen Akquisekanal sofort aufgegriffen wurde
  • Was ChatGPT hier tatsächlich getan hat, ist eine automatisierte Version dessen, was die Vertriebsteams in den Unternehmen, die ich erlebt habe, schon immer getan haben. Kunden wird selbstbewusst gesagt: „Das gibt es schon“ oder „Das kommt im nächsten Quartal“, und danach wird den Engineers mitgeteilt, sie sollten es schnell bauen
  • Hat das mit Solutions Engineering zu tun? Also mit einem Bereich, der sich auf individuelle Anpassungen für große Kunden, Adapter, Datenverarbeitung und ähnliche maßgeschneiderte Lösungen konzentriert?
  • Das ist ein neuartiger Weg, völlig neue Marktbedürfnisse oder Chancen zu entdecken. Es hängt mit der Stärke von LLMs zusammen, große Datenmengen zu betrachten und per „Halluzination“ Muster zu zeigen, die Menschen vielleicht noch nicht bemerkt haben. Wie in diesem Fall zeigt sich der Beweis, dass das Muster tatsächlich existiert, dadurch, dass Menschen die falsche Information von ChatGPT glauben und danach handeln. Also: Halluzination → Handlung → Verifizierung echter Nachfrage → Funktionsergänzung durch den Anbieter. Wenn die Implementierungskosten nicht sehr hoch sind, ist das aus Unternehmenssicht eine vernünftige Reaktion
• Was mir bei diesem Fall sofort einfiel, war „AI SEO“. Viele denken sicher darüber nach, wie man AI-Chatbots beziehungsweise LLMs wie ChatGPT dazu bringt, Traffic auf die eigene Website zu schicken. In diesen Markt werden künftig wohl Milliarden Dollar fließen. Ich kenne mich in dem Bereich nicht aus, aber viele probieren das sicher schon aus, und ich frage mich, ob es künftig Dienste geben wird, bei denen man OpenAI bezahlt, damit ChatGPT das eigene Produkt häufiger empfiehlt
  • Um in diesem Spiel zu gewinnen, muss man dafür sorgen, dass eine Website in den Trainingsdaten von LLMs auf natürliche Weise häufig erwähnt wird. AI SEO unterscheidet sich nicht allzu sehr von klassischem SEO
• Das ist ein interessanter Fall dafür, wie AI Veränderungen in der realen Welt bewirkt. Manche fürchten Geschichten über AGI und Roboterarmeen, die die Welt erobern, aber ich denke, dass Marktkräfte in Wirklichkeit das direktere Mittel sein werden, mit dem AI die Welt bewegt
• Wer in B2B-Startups schon erlebt hat, dass „eine vom Vertrieb notierte Funktion in Wirklichkeit gar nicht existiert, das Backlog aber plötzlich genau in diese Richtung umschwenkt“, wird über eine durch AI-Halluzination ausgelöste Veränderung überhaupt nicht überrascht sein
  • Ein Witz darüber, ob nicht „rogue“ falsch geschrieben wurde. Mit Link wird auch der Unterschied zwischen „rouge“ als Kosmetikprodukt und „rogue“ im Sinn von regelwidrig erwähnt
  • Im B2B-Bereich ist es Standardpraxis, dass Vertriebsteams erst mit PowerPoint-Folien unterwegs sind und bei guter Resonanz die Funktion oder sogar das ganze Produkt im Hintergrund hastig zusammenbauen lassen. Das ist kein reines Startup-Phänomen. Auch große Unternehmen machen das oft so
  • B2B (Business-to-Business) bedeutet Geschäft mit Unternehmen
• Unser Unternehmen hat ein ähnliches Problem. Nicht ChatGPT, sondern unser eigener AI-Chatbot macht dokumentenbasiertes RAG und halluziniert dabei immer wieder Flags, die es in Wirklichkeit nicht gibt. Deshalb betrachten wir das als Produktfeedback. Es muss nicht genau dieses konkrete Flag sein, aber offenbar fehlt irgendeine intuitive Funktion, sodass das LLM sie plausibel dazuerfindet

[kallare]

Soll ich das wohl halluzinationsgetriebene Entwicklung nennen ...?;;

[opminsu]

hahahahaha

[ryj0902]

Empfehlung ... ich stimme zu!

[unsure4000]

Festplatte hahahahahahahahaha

[ilillliiliil]

Das stimmt genau, haha

[bungker]

Hahahahaha

[dongjinahn]

hahaha „Möge die Funktion doch einfach existieren“