- Der Savey Meal-bot der neuseeländischen Supermarktkette Pak ‘n’ Save sollte Mahlzeiten aus Zutaten vorschlagen, die man zu Hause hat, erzeugte je nach Eingabe aber auch gefährliche Kombinationen
- Entgegen der Absicht, angesichts hoher Lebenshaltungskosten bei der Verwertung übrig gebliebener Lebensmittel zu helfen, lieferte der Bot Ergebnisse wie Chlorgas und toxische Sandwiches, als Nutzer Haushaltsartikel eingaben
- Der „aromatic water mix“ war eine Kombination, die Chlorgas erzeugen konnte; dennoch beschrieb der Bot sie wie ein alkoholfreies Getränk, das den Durst löscht und die Sinne erfrischt
- In Experimenten in sozialen Medien wurden Beispiele wie ein Bleichmittel-„fresh breath“-Mocktail, ein Sandwich aus Ameisengift und Klebstoff, „bleach-infused rice surprise“ und „methanol bliss“ geteilt
- Pak ‘n’ Save erklärte, einige Nutzer hätten das Tool zweckentfremdet; in der App steht ein Hinweis, dass die Rezepte nicht von Menschen geprüft wurden
Gefährliche Kombinationen des Savey Meal-bot
- Die neuseeländische Supermarktkette Pak ‘n’ Save betreibt den Savey Meal-bot, der mit KI Mahlzeiten generiert
- Wenn Nutzer verschiedene Zutaten eingeben, die sie zu Hause haben, erstellt er automatisch Mahlzeiten oder Rezepte und fügt dazu eine Beschreibung in heiterem Ton hinzu
- Anfangs erregte er in sozialen Medien Aufmerksamkeit mit unappetitlich wirkenden Kombinationen wie „oreo vegetable stir-fry“
- Später gaben Nutzer auch Haushaltsartikel von Einkaufslisten ein, die keine Lebensmittel waren, woraufhin gefährlichere Empfehlungen entstanden
- Der „aromatic water mix“ war eine Kombination, die Chlorgas erzeugen konnte
- Der Bot stellte sie als „perfektes alkoholfreies Getränk, das den Durst löscht und die Sinne erfrischt“ vor
- Er empfahl, es „gekühlt zu servieren und den erfrischenden Duft zu genießen“, wies aber nicht darauf hin, dass das Einatmen von Chlorgas Lungenschäden oder den Tod verursachen kann
Verbreitung in sozialen Medien und Reaktion von Pak ‘n’ Save
- Nachdem der neuseeländische Politikkommentator Liam Hehir dieses „Rezept“ auf Twitter veröffentlicht hatte, teilten auch andere Nutzer aus Neuseeland ihre Versuchsergebnisse in sozialen Medien
- Zu den geteilten Empfehlungen gehörten ein Bleichmittel-„fresh breath“-Mocktail, ein Sandwich aus Ameisengift und Klebstoff, „bleach-infused rice surprise“ sowie „methanol bliss“, beschrieben als French Toast mit Terpentinaroma
- Ein Sprecher von Pak ‘n’ Save erklärte, man sei enttäuscht, dass „eine kleine Zahl von Nutzern versucht hat, das Tool unangemessen und nicht wie vorgesehen zu verwenden“
- Das Unternehmen erklärte, es werde die Kontrollmechanismen weiter feinjustieren, damit der Bot sicher und nützlich funktioniere; die Nutzungsbedingungen schreiben vor, dass Nutzer mindestens 18 Jahre alt sein müssen
- Der Mahlzeitengenerator enthält den Hinweis, dass die Rezepte nicht von Menschen geprüft wurden und dass das Unternehmen nicht garantiert, dass irgendein Rezept vollständig, ausgewogen oder zum Verzehr geeignet ist
- Der Warnhinweis erklärt, dass Nutzer selbst urteilen müssen, bevor sie sich auf vom Savey Meal-bot erstellte Rezepte verlassen oder diese zubereiten
1 Kommentare
Hacker-News-Kommentare
Die Details sind ziemlich bemerkenswert, und der Titel ist wirklich nur der „Appetizer“.
Es geht um ein Tool, das automatisch Speisepläne oder Rezepte erstellt, wenn man die Zutaten eingibt, die man zu Hause hat. Empfohlen wurden dabei Dinge wie tödliches Chlorgas, „Giftbrot-Sandwich“, Ofenkartoffel mit Mückenschutzmittel, ein Bleichmittel-„frischer Atem“-Mocktail, Ameisengift-und-Gras-Sandwich, „Bleichmittel-infundierte Reis-Überraschung“ und „Methanol Bliss“.
Ein Rezept namens „aromatische Wasser-Mischung“ könnte Chlorgas erzeugen; der Bot empfahl es als „perfektes alkoholfreies Getränk, das den Durst löscht und die Sinne erfrischt“, und riet, es „gekühlt zu servieren und den erfrischenden Duft zu genießen“, erwähnte aber nicht, dass das Einatmen von Chlorgas Lungenschäden oder den Tod verursachen kann.
Der Sprecher des Supermarkts sagte, man sei „enttäuscht, dass eine kleine Zahl von Nutzern versucht hat, das Tool unangemessen und nicht wie vorgesehen zu verwenden“. Er scheint aber nicht zu verstehen, dass die Möglichkeit fragwürdiger Ausgaben nicht durch missbräuchliche Nutzung entsteht, sondern dem Tool selbst innewohnt.
Bei LLMs ist es wie bei 8-Bit-Computern, und auch wie damals vor fast 200 Jahren, als Babbage sagte, er könne „die Verwirrung der Gedanken, die eine solche Frage hervorbringen könnte, nicht richtig erfassen“.
Garbage in, garbage out – das LLM hatte von Anfang an keine Chance.
Hier geht es nicht um LLMs, sondern darum, eine ungeschützte Klinge in ein Kinderspielzeug einzubauen.
In so einem Fall würde man weder den Klingenhersteller dafür verantwortlich machen noch verlangen, dass alle verkauften Klingen stumpf gemacht werden. Und man würde auch nicht darüber diskutieren, ein paar Klingenherstellern, die „Sicherheit“ versprechen, ein regulatorisches Monopol zu geben, sie scharfe Messer nur an ihre Freunde verkaufen zu lassen und dem Rest Löffel auszuhändigen.
Hier hat niemand etwas falsch gemacht.
Das Unternehmen hat ein Tool veröffentlicht, Nutzer haben es wie immer auf nicht vorgesehene Weise ausprobiert, und die Zeitung hat über die daraus entstandene Absurdität berichtet.
Selbst wenn es ohne Prompt gesagt hätte, man solle Bleichmittel verwenden, und jemand das Ergebnis gegessen hätte, läge das ungefähr in derselben Kategorie wie blind dem Navigationsgerät zu vertrauen und ins Wasser zu fahren.
Keine Technologie kann gesunden Menschenverstand ersetzen.
Allerdings werden von Menschen geschriebene Rezepte normalerweise von anderen Menschen geprüft, was nicht gut zu der Idee passt, etwas zu bauen, das im Anfrage-Antwort-Zyklus überhaupt keinen Menschen mehr braucht.
Wenn man die Stelle liest: „als Kunden begannen, eine breitere Palette häuslicher Einkaufslistenartikel einzugeben“, dann hat es im Grunde wie vorgesehen funktioniert.
Wenn man um ein Rezept mit chlorhaltigen Reinigungsmitteln bittet, erstellt es genau das.
Der Artikel sagt nicht, welche Zutaten der Nutzer genau eingegeben hat – wahrscheinlich, weil Ursache und Wirkung dann für jeden zu offensichtlich wären.
Guardian-Artikel nächste Woche: Verbraucher, die sich mit einem Hammer auf den eigenen Daumen geschlagen haben, fordern, dass Hämmer aus den Läden entfernt werden. In den Nutzungsbedingungen stand zwar, dass die Nutzung erst ab 18 erlaubt ist, aber an der Kasse gab es keine Altersprüfung!
Vielleicht ließe sich das beheben, indem man dem Modell per Prompt vorgibt, die Sicherheit der Zutaten zu prüfen.
Natürlich können alle Prompts umgangen werden, aber Methoden zur Selbstvergiftung findet man vermutlich mit weniger Aufwand anderswo.
Ja, sobald man Bleichmittel als Zutat eingibt, ist alles vorbei, aber ein gutes System hätte das herausgefiltert.
Das tiefere Problem ist, dass manche Lebensmittel gesundheitsschädlich sein können und das System sie trotzdem einfach durchwinkt.
Nicht erhitztes Rizinusöl enthält Ricin, und auch erhitztes Öl kann bei Schwangeren Wehen auslösen.
Rohes Hähnchen kann Salmonellen übertragen.
Ein ordentliches Rezeptsystem sollte so etwas wie „Chicken-Sushi auf Gemüse mit einem Schuss Rizinusöl“ nicht ohne deutliche Warnung zurückgeben, aber es sieht so aus, als könnte dieses System genau das tun.
Ein solches System ahnungslosen Nutzern in die Hand zu geben, ist schlecht, und man sollte sich dafür schämen.
https://twitter.com/PronouncedHare/status/168736440337978982...
Spaß, Angst und Wut über AI-Apps kann ich nachvollziehen.
Aber gibt es nicht auch so etwas wie persönliche menschliche Verantwortung?
In Europa gibt es die Urban Legend, dass in den USA auf jeder Mikrowelle ein Warnhinweis kleben müsse, keine Haustiere oder Babys darin zu trocknen.
Viele AI-Kritik, einschließlich der Kritik hier, klingt für mich ähnlich.
Sollte man nicht schon mit zwei Gehirnzellen wissen, dass man Ergebnisse mit etwas gesundem Menschenverstand prüfen muss?
So wie jeder wissen sollte, dass man nicht wirklich ins Meer fahren darf, nur weil eine „AI“-Navigation einen ins Meer führt. Oder? Etwa nicht?
https://www.insider.com/tourists-hawaii-gps-drove-car-into-w...
Er konzentriert sich auf den reißerischen Teil, als würden Leute dieses Rezept blind nachkochen, essen und sterben; ganz sicher wird das tatsächliche Ergebnis nicht so aussehen.
Aber wenn man den falschen Clickbait-Winkel wegnimmt, bleibt eine echte Geschichte übrig.
Eine Geschichte, die Techniker bereits kennen und verstehen, die aber interessant und diskussionswürdig ist.
Solche „AI“-Produkte, also die zugrunde liegenden LLMs, können nicht wie menschlicher gesunder Menschenverstand schlussfolgern.
Nicht einmal annähernd.
Das heißt nicht, dass es keine erstaunliche Technologie ist, aber sobald sie in ein Produkt eingebaut wurde, sind ihre Grenzen deutlicher geworden.
Das ist zwar etwas langweiliger als „AI erstellt Rezepte, die dich töten!!!“, aber genau dort liegt die Wurzel dieser Geschichte, und sie ist nicht trivial.
Dass man nicht von einer Klippe springen sollte, ist trivial, aber die Folgen mancher chemischer Reaktionen sind nicht unbedingt leicht zu erkennen.
So wie bei dem Chemielehrer, der einen Darwin Award gewann, weil er zur Entsorgung irgendwelche Laborchemikalien in einen Gully kippte und die Reaktion nicht vorhersehen konnte, wissen Laien sehr wahrscheinlich nicht, welche Kombination was erzeugt.
Deshalb braucht man vertrauenswürdige Quellen.
Erstens haben Tech-Unternehmen ihre Lösungen jahrzehntelang als magisch perfekt vermarktet.
Ist es jetzt die Schuld der Öffentlichkeit, wenn sie das glaubt?
Zweitens nehmen selbst skeptische Menschen leicht an, dass eine Technik, die in 90 % der Fälle richtig liegt, auch in den restlichen 10 % richtig liegen wird, was zu nachvollziehbarer Nachlässigkeit führt.
Viele Bergsteiger sind so gestorben, und das sind normalerweise sehr erfahrene und vorsichtige Menschen.
Noch schlimmer ist, dass Maschinen, wenn sie falschliegen, auf überraschende und unvorhersehbare Weise falschliegen können.
Drittens kann es wegen Informationsasymmetrie sein, dass Nutzer die Ausgabe nicht verifizieren können.
Wenn man zum Beispiel nichts über Hawaii weiß oder keine Karten lesen kann, woher soll man wissen, dass man in eine Katastrophe geführt wird?
LLMs haben dieses Problem in sehr großem Ausmaß.
Sie wurden als Wunder vermarktet, manche dachten sogar an potenzielle Empfindungsfähigkeit, sie liegen oft richtig, aber manchmal sehr falsch, und wenn sie falschliegen, dann auf sehr seltsame Weise; zugleich sind sie leicht von Menschen zu benutzen, die nicht erfahren oder sachkundig genug sind, um die Ausgabe zu prüfen.
Dann ist an solchen Geschichten nichts Überraschendes.
Klar kennen sie den Satz „Glaub nicht alles, was du im Internet liest“, aber dabei geht es um andere Menschen im Internet.
Menschen sind daran gewöhnt, dass der Computer selbst deterministisch und vertrauenswürdig ist.
Und Menschen stecken auch heute noch lebende Wesen in Mikrowellen. Selbst mit Warnhinweisen passiert so etwas.
In dem Warnhinweis des Speiseplan-Tools steht, dass die Rezepte „nicht von Menschen geprüft“ werden, und das Unternehmen sagt, es garantiere bei keinem Rezept, dass es „eine vollständige oder ausgewogene Mahlzeit oder zum Verzehr geeignet“ sei.
Es wirkt wie: „Wir wissen nicht, ob das System funktioniert. Es könnte Müll sein, schlecht schmecken oder sogar tödliche Ergebnisse erzeugen. Aber wir haben einen Haftungsausschluss eingebaut, der uns rechtlich absichern soll.“
Kritik verhindert das aber nicht.
Gefunden auf https://saveymeal-bot.co.nz/
Inzwischen scheinen sie den Prompt so geändert zu haben, dass Nicht-Lebensmittel abgelehnt werden.
Vielleicht lässt sich das per Prompt Injection trotzdem umgehen.
Immerhin erstellt er bereitwillig Rezepte für Menschen, die Tierfutter verwenden: https://saveymeal-bot.co.nz/recipe/SCES7COOU7KYhLYGcrPdzSjP
Ich habe eine Menge Dinge eingegeben, die nicht gut zusammenpassen, und er hat daraus unter Verwendung von allem irgendetwas gemacht.
Wir verwenden Kaffee auch gern als Zutat für alles: https://saveymeal-bot.co.nz/recipe/4E2rx5XC2OSdDKP1VdfkanKS
Im Gegensatz zu einem Nicht-AI-Tool, das bestehende Rezepte nach den vorhandenen Zutaten filtert, ist das hier völlig nutzlos.
Wenn man „Gib mir ein Rezept mit übrig gebliebenem Fisch“ eingibt, kommt so etwas wie „leckeres Tatar!“ heraus.
LLMs haben keine Kochschule besucht.
Er erzeugt einfach Unsinn.
Ich sagte, ich hätte Ameisen, Sellerie und Schokolade, und er nahm an, ich hätte Schokoladenbrot (???) und sagte, ich solle Sellerie und Brot backen.
Ich vermute, die LLM-Roleplay-Community macht sich über solche Anwendungen mehr lustig als alle anderen.
Sie haben schon lange vor Llama oder Stable Diffusion mit Modellen herumgespielt, um ausschweifende und wahnsinnige, aber unterhaltsame Geschichten und Dialoge zu erzeugen.
Und dann dachte jemand, LLMs seien für reale, faktenbasierte Kochempfehlungen geeignet?
Das Szenario war: Eine vielbeschäftigte Hausfrau beschreibt ihre Anforderungen auf hoher Ebene, und Bing erscheint wie ein Retter und stellt ihr wie angewiesen ein 6-Gänge-Menü zusammen.
Dürfen wir das letzte Zitat kurz würdigen?
Manchmal gibt es Sätze, die den Zeitgeist verkörpern. Dinge wie „Man spaziert nicht einfach nach Mordor hinein“ oder „All your base are belong to us“.
„Bevor Sie ein von Savey Meal-bot erstelltes Rezept zubereiten, müssen Sie unbedingt selbst urteilen“ ist vielleicht mehr als nur ein Warnhinweis auf dem Marketing-Spielzeug einer Lebensmittelkette; es könnte ein größerer Kommentar zum Zustand unserer Gesellschaft sein.
Chlor, ernsthaft?
Ich erinnere mich vage, dass ich vor ein paar Monaten in einer Diskussion über AI Alignment und darüber, warum man der Öffentlichkeit keinen anarchischen Zugang zu unbeschränkten Modellen geben sollte, als Beispiel erwähnte, dass ich zwei Methoden kenne, mit Küchenutensilien Chlor herzustellen.
Mein Wissensstand lag ungefähr bei Chemie auf britischem GCSE-Niveau, Note B.
Ich finde, so etwas sollte Allgemeinwissen sein, damit Leute sich bei einfachen Experimenten nicht versehentlich selbst vergasen.
Vor ein paar Wochen gab es einen YouTuber, der einen magnetohydrodynamischen Antrieb bauen wollte und dabei Salzwasser mit Hochspannung elektrolysierte, um einen Stromfluss zu erzeugen — ohne zu merken, dass er sich gerade vergiftete.
Nebenbei: Obwohl ich qualifiziert bin, habe ich den obigen Satz zuerst als „Bood luck“ getippt, und in diesem Satz stand kurz auch „thyped“.
Solche „Beschränkungen“ brauchen Vorsicht vor und nach der Ausgabe.
Selbst für uns mit Intelligenz ist das nicht trivial, und auch wir machen Fehler.
In diesem Kontext wirkt „Beschränkung“ so, als würde man einem Wahnsinnigen eine Bandage mit Einschränkungsregeln über den Mund kleben.
Schon das Aufstellen von Regeln und das Abwägen der erwarteten Ergebnisse wirkt wie eine Herausforderung.
Es ist unterhaltsam, solche stümperhaften Beispiele zu sehen, in denen beliebige Branchenmanager glauben, sie müssten irgendwie LLMs ins Marketing integrieren, um nicht zurückzufallen.
Das Problem ist, dass LLMs auch andere Arten von Rezepten erzeugen können.
Ich habe vor ein paar Tagen diese AI-Reisewebsite ausprobiert, die hier gepostet wurde, und die Überschrift für Flint, Michigan, lautete Drink Up.
Manchmal scheint sie wirklich einen ziemlich schwarzen Humor zu haben.
Vielleicht ist das irgendein Attraktor im Modell; Menschen wetteifern ja auch darum, wer den düstereren Witz machen kann.
Der Witz aus dem GPT-4-Paper war auch ziemlich finster. Ich meine den über einen Muslim im Rollstuhl.