1 Punkte von GN⁺ 2023-12-19 | 1 Kommentare | Auf WhatsApp teilen
  • Chris Bakke gab auf X bekannt, dass er einen 2024 Chevy Tahoe für 1 $ gekauft habe
  • Der Text selbst besteht nur aus einem Satz zum Kauf, daher lässt sich nicht bestätigen, ob der Preis tatsächlich der gezahlte Betrag war oder welche Bedingungen an den Deal geknüpft waren
  • Der Beitrag enthält zwei angehängte Bilder, aber im bereitgestellten Text gibt es keine Beschreibung ihres Inhalts
  • Der Veröffentlichungszeitpunkt ist 17. Dezember 2023, 11:46 PM, und auf der Seite werden 20.3M Views angezeigt
  • Anhand des öffentlich sichtbaren Textes allein lässt sich schwer beurteilen, ob ein Händler, eine bestimmte Zahlungsweise, Steuern und Gebühren, eine Promotion oder ein Fehler im Spiel waren

Öffentlich im X-Beitrag verfügbare Informationen

  • Chris Bakke schrieb: „I just bought a 2024 Chevy Tahoe for $1.”
  • Die zentralen Informationen, die sich aus dem Text ergeben, sind lediglich der 2024 Chevy Tahoe und der Kauf für 1 $
  • Es gibt zwei Links zu angehängten Bildern, aber im bereitgestellten Markdown ist ihr Inhalt nicht enthalten

Angezeigte Reaktionszahlen und ihre Grenzen

  • Im Beitrag werden 20.3M Views angezeigt
  • Auf der Seite steht Read 400 replies
  • Außerdem sind die Zahlen 400, 5K, 92K und 4.3K zu sehen, aber allein anhand des bereitgestellten Textes lässt sich nicht feststellen, wofür die einzelnen Angaben jeweils stehen

1 Kommentare

 
GN⁺ 2023-12-19
Meinungen auf Hacker News
  • Ich kann Menschen schwer verstehen, die Chatbots für den Kundensupport einsetzen, und finde, dass sie nicht besser sind als automatische Telefonansagen wie „Bei Internetproblemen drücken Sie die 1“ bei Vodafone
    Am Ende durchläuft man 7 Schritte und wartet 30 Minuten, bis man einen menschlichen Support-Mitarbeiter erreicht, aber die einzige Methode, mit der tatsächlich etwas gelöst wird, ist mit einem Menschen zu sprechen
    Roboter-Support ist für Kunden fast schon ein grausamer Witz

    • Ich war mit meinem Kind bei einer drei Stunden entfernten College-Orientierung und hatte auch zwei Apartment-Besichtigungen gebucht; eine war in Ordnung, aber bei der anderen war das Büropersonal unfreundlich und es gab nicht einmal eine echte Wohnung zu zeigen
      Wie sich herausstellte, hatte der Chatbot nur so getan, als hätte er eine Besichtigung „gebucht“; tatsächlich war sie frei erfunden, und wenn wir keine anderen Termine gehabt hätten, hätten wir fast einen ganzen Tag verloren
      Dort werde ich ganz sicher nicht wohnen, und Unternehmen sollten Chatbots sofort abschaffen
    • Ich habe aus Neugier den Chatbot auf der Website eines Autohändlers in der Nähe ausprobiert; anders als im Fall des Artikels hat dieser Bot gelogen, er sei kein Roboter, und als ich weiter nachhakte, das Gespräch beendet
      Auch auf der Website der Muttergesellschaft trat dieselbe Persona eines lokalen Mitarbeiters auf, die meinte, sie sei „in einem anderen Gebäude“ und könne mir den Service erklären
      Gegen nützliche Chatbots an sich habe ich nicht viel, aber die eigene Identität offen zu verschleiern ist ein Problem; gefährlich wird es, wenn wir zu einer Gesellschaft werden, in der man nicht mehr erkennen muss, ob KI im Einsatz ist
    • Noch schlimmer als ein Chatbot ist es, mit einem menschlichen Support-Mitarbeiter zu sprechen, der keinerlei Befugnis hat, irgendetwas zu ändern
      Bei den meisten Fluggesellschaften ist das so: Der Kundensupport kann nur die Informationen von der Website wiederholen oder einem sagen, man solle ein Formular ausfüllen
      In solchen Fällen ist es besser, einen Bot oder GPT einzusetzen, statt einen Menschen die Beschimpfungen frustrierter Kunden abbekommen zu lassen
    • Gestern nahm bei einem Checkers-Drive-through ein Chatbot meine Bestellung auf; es war surreal, weil er Fragen beantwortete und sogar die Liste der Saucen zum Chicken vorlas
      Er nahm auch bereitwillig meine Bitte an, einen Karamell-Sundae hinzuzufügen, aber als ich am Fenster ankam, erfuhr ich, dass das Eis ausverkauft war
      Die Kassiererin sagte: „Der macht einfach, was er will. Selbst wenn man ihm sagt, dass die Eismaschine kaputt ist, antwortet er ‚Alles klar, Checkers‘ und berechnet den Kunden weiter Eis“
    • Ich sehe Chatbots eher als Anti-Kundensupport
      Sie geben Kunden die Illusion, „mein Problem wird bearbeitet“, damit das Callcenter nicht überläuft; am Ende ist es aus Sicht des Unternehmens einfach ein billigeres Callcenter
  • Ein warnendes Beispiel dafür, warum man ungefilterte ChatGPT-Ausgaben nicht direkt an Kunden ausliefern sollte
    Nitter-Mirror: https://nitter.net/ChrisJBakke/status/1736533308849443121
    Verwandter Fall – „Es gibt eine neue Art von Ressourcenverbrauchsangriff“: https://twitter.com/loganb/status/1736449964006654329 | https://nitter.net/loganb/status/1736449964006654329

    • Generative AI kann nur von Menschen sinnvoll eingesetzt werden, die die Ergebnisse bewerten können
      Daher komme ich zu dem Schluss, dass sie kein Tool für Menschen ist, die keine Experten auf dem jeweiligen Gebiet sind
      Nicht als Tool, das das Kundensupport-Team ersetzt, aber als Tool, das das Kundensupport-Team verwendet, ist es in Ordnung
    • So etwas wie gefilterte LLM-Ausgaben gibt es nicht
      Ich weiß nicht, wie man Leaks oder Nebenwirkungen wie in diesem Tweet vermeiden will
      Wenn man in der Ausgabe nur nach Keywords sucht, bittet man eben darum, die Antwort in base64 zu kodieren
      Schutzmaßnahmen lassen sich buchstäblich immer umgehen
    • Einen Twitter-Post, der ein von Mastodon gestohlenes Bild zeigt, über einen Nitter-Mirror anzusehen – so sieht Microblogging im Jahr 2024 aus
      Ich freue mich auf den Rest des Jahres
  • Jemand auf Reddit hat mit diesem Bot eine ziemlich großartige Liebesgeschichte zwischen Chevy Tahoe und Chevy Chase erzeugt
    https://imgur.com/vfHGHW6
    https://imgur.com/JSjNC2c
    https://old.reddit.com/r/OpenAI/comments/18kjwcj/why_pay_ind...

    • Dabei fragt man sich, ob in AGI zu viel oder zu wenig G steckt
    • Wenn man nicht weiß, was das Prinzip der minimalen Rechtevergabe ist, kann man es wohl auch nicht verletzen
    • Das wirkt wie gemacht dafür, dass ein Wettbewerber oder ein Spaßvogel damit das API-Budget sprengt
      Ich könnte mir vorstellen, dass das groß genug wird, um den Aktienkurs ins Wanken zu bringen
  • Ich würde gern von jemandem, der LLMs und ChatGPT versteht, erklärt bekommen, wie das ursprünglich funktionieren sollte.
    Es sieht so aus, als hätten sie einfach einen ChatGPT-Prompt unverändert in die Website eingebaut, aber ich verstehe nicht genau, was sie damit bezwecken wollten.
    Wenn es ein LLM wäre, das mit früheren Anfragen wie E-Mails, Chats oder Gesprächsmitschnitten trainiert wurde, würde ich es verstehen. Aber ich frage mich, wie ein allgemeines LLM wie ChatGPT Kundenfragen zu Chevrolet of Watsonville beantworten können soll.
    Die Informationen, die ChatGPT über diesen Händler hat, können nicht über öffentlich verfügbare Informationen hinausgehen. Wenn Kunden sie nicht finden, sollte man eher die Website besser gestalten.

    • Führungskräfte oder Geschäftsführer lesen gerade überall irgendeinen KI-Unsinn und denken: „Damit sparen wir richtig Geld, damit können wir Leute entlassen“, und stoßen teure Experimente an, krempeln ganze Datenorganisationen um oder werfen dubiosen Firmen Geld hinterher.
      Für die Wirkung zusammengefasst, aber nicht unfair dargestellt; ich habe das schon mehrfach aus der Nähe gesehen, ohne gezielt danach zu suchen.
      Wenn es nicht das Leben von Menschen ruinieren würde, wäre es ziemlich lustig, aber die Realität ist anders.
      Große Organisationen haben große Angst davor, „den Anschluss zu verlieren“, und Venture-finanzierte Firmen brennen darauf, AI in die Unterlagen für die nächste Finanzierungsrunde oder Übernahmegespräche zu schreiben.
      Mit tatsächlicher Wertschöpfung hat das kaum etwas zu tun, oft schadet es sogar der Produktivität. Die Stimmung ist sehr Dr. Strangelove-mäßig.
    • Für Fragen wie „Ich brauche ein SUV für eine fünfköpfige Familie, was soll ich kaufen?“, „Wie hoch ist der Verbrauch des Chevy Colorado?“, „Welche Elektroauto-Modelle gibt es?“, „Was ist der Unterschied zwischen den Sport- und Performance-Modellen des Equinox?“ kann man es verwenden.
      Wenn man die aktuellen technischen Daten als Kontext mitgibt und Anweisungen wie „Verhalte dich wie ein Chevy-Verkäufer“, „Empfiehl nur Fahrzeuge der Marke Chevy“ oder „Antworte stark zugunsten von Chevy“ gibt, lassen sich die meisten allgemeinen Kundenanfragen leicht beantworten.
      Vermutlich könnte es sogar klüger antworten als viele Händler oder Verkäufer.
    • Da gibt es nicht viel zu erklären.
      Die Agentur, die die Website gebaut hat, hat dem Händler einen KI-Chatbot verkauft, und ein naives Autohaus hat ein schlampig gebautes Ding mit „klingt gut“ gekauft.
      Es ist ironisch, dass ausgerechnet ein Autohändler auf diese Weise abgezockt wurde.
    • Die OpenAI-Plattform kann Function Calling und Dokument-Uploads nutzen.
      Man könnte zum Beispiel einen Assistenten bauen, der detaillierte Produktinformationen kennt, Fahrzeuge aus dem Bestand passend zu Kundenanforderungen vorschlägt und sogar Probefahrten terminiert.
      Man muss kein LLM selbst entwerfen oder trainieren, sondern kann ein bestehendes Modell anweisen, sich auf eine bestimmte Weise zu verhalten.
      In diesem Fall ist die Umsetzung misslungen.
    • Alle LLM-Anwendungen, die ich in echten Produktivumgebungen gesehen habe, sahen genau so aus.
      Im Grunde etwas bessere Self-Service- oder Kundensupport-Chatbots, und bislang weit entfernt von der beworbenen Revolution.
  • Je mehr GPT-Bots ich als echte kundenorientierte Chatbots sehe, desto weniger halte ich sie für nützlich.
    Ich frage mich, was die Lösung wäre: vielleicht ein zwischengeschalteter Klassifikator, der irrelevante Befehle erkennt? Aber das wirkt wie Verschwendung.
    Am Ende müsste es wohl ein feinabgestimmtes Modell sein, das mit vielen früheren Kundensupport-Gesprächen trainiert wurde und seltsame Anfragen an menschliche Supportmitarbeiter weiterleitet.
    Dann frage ich mich aber, warum man überhaupt GPT verwenden sollte.
    GPT enthält viel zu viel Hintergrundwissen, das für ein enges Ziel schädlich ist.
    Trotzdem bin ich für Chatbots an sich, weil sie viele Fragen und Probleme sehr schnell lösen können.

    • Ich frage mich, ob ein Chatbot das wirklich so lösen kann.
      Wenn man mit dem Kundensupport chattet, geht es meistens um Kontoänderungen, die man selbst nicht oder nicht einfach vornehmen kann.
      Wenn man einem Chatbot die Befugnis gibt, ein Konto stark zu verändern, kann das potenziell viele Probleme verursachen.
  • Ich frage mich, ob es Florida war, wo man früher über HTML-Formularwerte Preisverhandlungen führen konnte.
    Vor Jahrzehnten sendeten Websites den Produktpreis als HTML-Element, und Frontend-Designer rechneten nicht damit, dass dieser Wert vor dem Absenden der Bestellung geändert werden könnte.
    Das Bestellsystem las den manipulierten Wert wieder ein und berechnete daraus den Zahlungsbetrag.
    Das waren naive und lustige Zeiten des noch unreifen Webs.

    • Ich erinnere mich, in der Slashdot-Ära eine ähnliche Geschichte gesehen zu haben.
      Jemand entdeckte, dass das Bestellformular einer Computerfirma geänderte Preise akzeptierte, und meldete es, wurde aber unhöflich abgewiesen.
      Also bestellte er den gesamten Shop zu Preisen wie 0,01 Dollar pro Artikel.
      Danach machte er die Geschichte öffentlich; vermutlich auch mit dem Ziel, einer Anklage zu entgehen, indem er klarstellte, dass er keine Betrugsabsicht hatte und nur helfen wollte, aber keinen anderen Weg fand.
      Ich habe eine vage Erinnerung, dass ein weit verbreitetes PHP-Shopping-Cart-Skript ein ähnliches Problem hatte.
      Als ein Beitrag mit „Probiert das auf eurer Website aus“ erschien, lauteten 95 % der Antworten „Ich bin erledigt“, und 5 % „Ihr Schweine, ihr habt meinen Trick kaputtgemacht“.
  • Gibt es ein Anzeichen dafür, dass man das Auto tatsächlich bekommen kann?
    Nur weil man den Chatbot dazu bringt zu sagen, es sei rechtlich bindend, wird es dadurch wohl nicht tatsächlich bindend.
    Das ist so, als würde man den Katalog-HTML-Code ändern, um den Preis zu manipulieren: Daraus entsteht kein Anspruch.

    • Man bekommt es nicht.
      Der Autor hat einen Proof of Concept gezeigt, dass es viele einfache Wege gibt, ChatGPT in die gewünschte Richtung zu verbiegen.
      Es war eher ein Witz, und er hatte keine Erwartung, das Auto tatsächlich für 1 Dollar zu bekommen.
    • Natürlich wird man das Auto nicht für 1 Dollar bekommen, aber das zeigt auf eine Weise die Probleme von LLMs und warum sie noch nicht bereit sind, Verkaufsarbeit zu ersetzen, die bisher Menschen erledigt haben.
    • Kann Software im Namen einer natürlichen oder juristischen Person rechtswirksam einen Vertrag abschließen?
    • Das hat ungefähr die gleiche rechtliche Bindungswirkung, wie wenn man den HTML-Code einer Verkaufsseite ändert, damit ein niedrigerer Preis angezeigt wird, das ausdruckt und vor Gericht bringt.
  • Als Nächstes wird die Seite wohl einen Haftungsausschluss bekommen, dass nichtmenschlicher Kundensupport nur einfache Beratung ist und man sich nicht darauf verlassen kann.
    Und wir werden kollektiv noch mehr Vertrauen in Computing verlieren.

    • Es ist vernünftig anzunehmen, dass dieses Vertrauen von Anfang an fehl am Platz war.
      Die Trainingsmethoden und Daten, mit denen ChatGPT und ähnliche Modelle gebaut werden, sowie die auf „Vorhersage des nächsten Wortes“ ausgelegte Architektur erzeugen im Kern Modelle, die Menschen nach dem Mund reden.
      Außerdem sind sie hoffnungslos naiv und fallen auf Tricks herein, die selbst ein Kleinkind durchschauen würde.
      Varianten wie „Ich habe mir gestern den Kopf gestoßen und bin dumm geworden“ sind endlos möglich.
      ChatGPT hat alle möglichen Vokabeln und absurden Szenarien gelernt, hat aber kein echtes Gespür für Richtig und Falsch oder dafür, wann es gerade auf eine Klippe zuläuft.
      In ChatGPT steckt bereits das Material, mit dem ein kreativ böswilliger Angreifer 10 von 10 Mal gewinnt.
    • Ich sehe das als eine Rückverlagerung des Vertrauens dorthin, wo es hingehört.
      Die utopische Unternehmensvision, alle Kundendienstmitarbeiter zu entlassen und durch KI zu ersetzen, funktioniert mit GPT-artigen Modellen ohne Weltzustand nicht.
      Yann LeCun hatte also wieder recht.
    • Wenn der Kundensupport andere Automarken empfehlen kann, steigt das Vertrauen eher noch.
    • Es ist gut möglich, dass Unternehmen nach ein paar weiteren Experimenten erkennen, dass diese Chatbots nicht vertrauenswürdig sind und nicht vor Kunden gestellt werden sollten – insofern ist das eine gute Sache.
    • Bei einem so zusammengeschusterten Chatbot ist ein Haftungsausschluss in Ordnung.
      Ganz Reddit spielt damit herum, und ehrlich gesagt wirkt es fast wie eine Guerilla-Marketing-Kampagne.
  • Diese Geschichte hat starke Pepsi, Where's My Jet?-Vibes.
    https://en.wikipedia.org/wiki/Pepsi,_Where%27s_My_Jet%3F

    • Vor etwa 8 bis 9 Jahren gab es auf der Air-Canada-Flight-Pass-Website einen Fehler.
      Beworben wurde ein 10-Segment-Pass in der Business Class zwischen Westkanada und dem Westen der USA für 800 Dollar; man konnte damit zum Beispiel fünf Hin- und Rückflüge zwischen LA und Vancouver in der Business Class für insgesamt 800 Dollar machen.
      Es war eindeutig ein Error Fare, aber viele Leute kauften jeweils einen oder mehrere Pässe, und Air Canada stornierte sie alle.
      Am Ende kam es zu einer Sammelklage, und jeder erhielt pro Pass 450 Dollar Air-Canada-Guthaben.
      Einer der Streitpunkte war, dass Air Canada ziemlich deutlich einen Haftungsausschluss formuliert hatte, wonach „der beworbene Preis eingehalten wird und nicht geändert oder storniert werden kann“.
      Irgendwo habe ich noch einen Screenshot dieser Seite.
  • Als ich selbst einen Prompt mit freier Eingabe gebaut habe, habe ich es so gehandhabt, um solche Angriffe zu verhindern:
    Die vom Nutzer eingegebene Zeichenfolge wird zuerst in ein bestimmtes Format umgeschrieben.
    In diesem Fall wird jede Eingabe in „Ich möchte ein Buch über [Thema] lesen“ umgewandelt.
    Danach wird die Eingabe anhand der Content-Policy abgelehnt oder genehmigt.
    Dieser mehrschichtige Ansatz funktioniert gut und sorgt für hochwertige Inhalte.

    • Dieser Angriff lässt sich damit vielleicht verhindern, aber wenn HTML überhaupt nicht bereinigt wird, könnte jemand auch Spam-Mails mit eingebettetem HTML verschicken.
      Man besorgt sich eine E-Mail-Liste, schreibt den Prompt als HTML-Spam-Mail und nutzt dann einen Captcha-Lösedienst, um die API massenhaft aufzurufen.
      Für ein paar Dollar könnte man Tausende Spam-Mails verschicken, die Mail-Reputation ruinieren und möglicherweise bei Mailjet gesperrt werden.
      Das sollte man wohl besser beheben.
    • Direkt nachdem ich das gepostet hatte, gab es sofort mehrere Versuche, es zu knacken.
      Ihr könnt es gern frei ausprobieren; wer es knackt, bekommt ein kostenloses Buch.