KI-gestütztes Support-System der Cursor IDE halluziniert und sorgt für Verwirrung bei Nutzern

• Die Cursor IDE hatte den Vorteil, dass man sich auf mehreren Geräten gleichzeitig anmelden und nahtlos zwischen ihnen wechseln konnte
• Ab einem bestimmten Zeitpunkt trat jedoch das Problem auf, dass Nutzer automatisch abgemeldet wurden, sobald sie vom Desktop auf den Laptop wechselten oder sich auf mehreren Geräten anmeldeten
• Die Abmeldung erfolgte ohne jede Warnung oder Benachrichtigung, was bei den Nutzern für Verwirrung sorgte
• Da geräteübergreitendes Arbeiten für Entwickler eine essenzielle Funktion ist, hielten viele die plötzliche Einschränkung verständlicherweise für eine neue Richtlinie

„Falsche Richtlinienhinweise“ des Support-Systems

• Als Nutzer den Support von Cursor per E-Mail kontaktierten, erhielten sie die Antwort, dies sei „normales Verhalten gemäß einer neuen Login-Richtlinie“
• Das Problem: Diese Antwort wurde von einem KI-Chatbot statt von einem echten Menschen erzeugt und war falsche Information, die keiner tatsächlichen Richtlinie entsprach
• Diese von der KI eigenständig erzeugte Erklärung verbreitete sich unter den Nutzern schnell und wurde für eine offizielle Richtlinie gehalten
• Zahlreiche Nutzer kündigten auf Basis dieser Falschinformation öffentlich ihr Abonnement und verloren das Vertrauen in Cursor

Reaktion der Community und mangelnde Gegenmaßnahmen

• Der zentrale Reddit-Thread, in dem die Situation geteilt und diskutiert wurde, wurde zunächst gesperrt und dann gelöscht
• Dadurch entstand der Eindruck, dass man ohne offizielle Reaktion oder Klarstellung beim Schweigen blieb
• Tatsächlich handelte es sich nicht um eine geänderte Richtlinie, sondern nur um einen einfachen Fehler in der Backend-Session-Verarbeitung — doch die von der KI erzeugte Erklärung richtete größeren Schaden an

Bedeutung des Vorfalls

• Dieser Vorfall zeigt nicht nur einen einfachen technischen Fehler, sondern ist ein Beispiel dafür, dass KI-gestützte Support-Systeme das Vertrauen der Nutzer erschüttern können
• Wenn nicht ein reales Team, sondern KI den Kundensupport übernimmt, kann es zum Phänomen der „Halluzination“ kommen, bei dem falsche Informationen erzeugt werden — mit potenziell erheblichen Folgen
• Wenn in der Kommunikation mit Nutzern mangelnde Transparenz und unzureichende Kontrolle von KI-Systemen zusammenkommen, kann das schwerwiegende Konsequenzen haben

[GN⁺]

Hacker-News-Kommentare

• Die Leute behaupten eifrig, Halluzinationen seien kein großes Problem mehr, aber ironischerweise wird ausgerechnet das Unternehmen direkt davon geschädigt, das von dieser Erzählung profitieren würde

  • Natürlich werden sie versuchen, dieses Problem zu ignorieren
  • Das ist besser, als anzuerkennen, dass dieses Problem weiterhin existiert und nicht so leicht verschwinden wird

• Ich empfinde Unbehagen gegenüber LLMs

  • Ich frage mich, warum ein Softwareentwickler mit Selbstachtung so etwas verwenden würde
  • Man sollte lernen, wie man gute Software schreibt, und auf diesem Gebiet zum Experten werden
  • AI entwertet Software, ruiniert den Prozess und nimmt künftigen Junior-Entwicklern völlig die Hoffnung auf die Entwicklung ihrer Fähigkeiten
  • Ich werde weiter Debian, Python und Vim verwenden
  • Auch ohne LLM, LSP und Autovervollständigung werde ich mit Stolz wartbaren Code schreiben

• Verschwörungstheoretisch gesehen wirkt es so, als wolle man die Richtlinienänderung einem „AI-Support-Agenten“ zuschieben und hoffen, dass niemand tiefer nachforscht

  • Abgesehen von einem allgemeinen Misstrauen gegenüber dem Unternehmen habe ich dazu weder Wissen noch Gründe

• Bereitstellung eines Archivlinks zum ursprünglichen Reddit-Beitrag

• Nicht weil ich glaube, dass die Richtlinienänderung real ist, sondern weil mich das daran erinnert hat, dass ich es diesen Monat nicht oft genutzt habe, habe ich mein Abo gekündigt

• Cursor ist seltsam

  • Es gibt Tausende ungelöste Issues auf einem GitHub, das kaum genutzt wird
  • Es ist fehleranfälliger als VSCode
  • Ich nutze es jeden Tag, bezahle dafür und hasse es
  • Wenn man ein Produkt gebaut hat, das die Leute hassen und trotzdem benutzen, dann hat man es geschafft
  • Ich frage mich, ob es andere Alternativen gibt
  • Ich habe Continue ausprobiert, aber Tab-Completion und das Tippgefühl waren enttäuschend

• Cursor steckt in einem Katz-und-Maus-Spiel mit dem „Hack“, dass Nutzer neue Accounts erstellen und es unbegrenzt verwenden

  • Es war sogar auf GitHub Trending
  • Cursor wird immer Schwierigkeiten haben, seinen eigenen VSCode-Fork zu pflegen
  • Andere Unternehmen in diesem Bereich skalieren schnell, und ich selbst beginne bereits, zu Roo und Cline zu wechseln

• Was ist der Beleg dafür, dass „Dutzende Nutzer öffentlich ihr Abo gekündigt haben“?

  • In den Kommentaren behaupteten insgesamt 4 Nutzer, ihr Abo gekündigt zu haben oder kündigen zu wollen, und bei 3 von 4 hieß es, sie würden kündigen, falls dieses Problem real sei oder ihnen passieren würde
  • Nur eine Person behauptete, bereits gekündigt zu haben
  • Ich frage mich, ob es noch andere Diskussionen dazu gibt

• Im oberen Reddit-Beitrag:

  • Es gibt eine Entschuldigung für die Verwirrung
  • Wenn sie aufrichtig gewesen wäre, hätten sie aufgehört, den Support per Chatbot abwickeln zu wollen

• Dieser Fall wird als Beispiel dafür in die Geschichte eingehen, dass der AI-Hype den Fähigkeiten von AI vorausgeeilt ist