Familie nach Vergiftung durch giftige Pilze nach Nutzung eines mit generativer KI erstellten „Pilzbestimmungsbuchs“ im Krankenhaus

• Die ganze Familie wurde letzte Woche ins Krankenhaus eingeliefert, nachdem sie versehentlich giftige Pilze gegessen hatte
• Die Ehefrau hatte zum Geburtstag bei einem großen Online-Händler ein Buch mit einem Titel ähnlich wie "Mushrooms UK: A Guide to Harvesting Safe and Edible Mushrooms" gekauft
• Das Buch enthielt Pilzfotos, die bei der Identifizierung der einzelnen Pilze helfen sollten
• Leider war das betreffende Buch ungenau. Bei genauerer Untersuchung stellte sich heraus, dass die Pilzbilder KI-generiert waren, und es wurden zwei Fälle im Text entdeckt, in denen auf das Ende eines Satzes eine „zufällige Frage“ oder ein „die vierte Wand durchbrechender Satz“ folgte
• Zum Beispiel:
  • "Zusammenfassend lässt sich sagen, dass Morcheln von August bis zum Ende des Sommers köstliche essbare Pilze sind. Lassen Sie mich wissen, wenn ich Ihnen sonst noch helfen kann."
• Der Online-Händler antwortete, dass bei Rückgabe des Buches eine Erstattung möglich sei
• Das Buch wird von dem Online-Händler nicht mehr verkauft, aber es scheint Dutzende weitere Bücher in ähnlichem Stil zu geben
• Zur Klarstellung: „Beim Kauf wusste ich nicht, dass es mit KI erstellt wurde! Das war auf der Website nicht offengelegt!“

[GN⁺]

Hacker-News-Kommentare

• Es wird betont, dass eine Regulierung von AI-Veröffentlichungen nötig ist

  • Es wird darauf hingewiesen, dass es keine "University of East Ontario" gibt, und dies als kriminelle Fahrlässigkeit betrachtet

• Es wird argumentiert, dass generative AI in Situationen, die reale Ergebnisse erfordern, nicht funktioniert

  • Die heutige AI sei letztlich nur eine einfache Autovervollständigung und verstehe den Nutzungskontext nicht
  • Für Stockfotos oder Texte auf Produktseiten sei sie in Ordnung, in wichtigen Situationen jedoch äußerst gefährlich

• Die Glaubwürdigkeit des Reddit-Threads "LegalAdvice" wird infrage gestellt

  • Es wird darauf hingewiesen, dass im Vereinigten Königreich derzeit keine Morel-Saison ist

• Ein verlässlicherer Artikel wird geteilt

  • Es wird darauf hingewiesen, dass die Genauigkeit von AI-gestützter Pilzbestimmung niedrig ist
  • Apple, Google, OpenAI und Microsoft äußern sich dazu nicht

• Es werden Fälle auf Tiktok und Facebook erwähnt, in denen Influencer falsche Informationen über Pflanzen verbreiten

  • Gefährliche Pflanzen würden häufig fälschlich für Lebensmittel- oder Hautpflegezwecke beworben

• Es wird behauptet, dass die meisten Reddit-Posts in "advice" erfundene Geschichten sind

  • Bis echte Beweise vorliegen, werde man mit der Empörung warten

• Es werden die Grenzen generativer AI und die daraus resultierenden Verantwortungsfragen aufgezeigt

  • AI-Unternehmen sollten Haftungsausschlüsse und Warnhinweise hinzufügen
  • Es sollte ausdrücklich darauf hingewiesen werden, dass von LLMs erzeugte Inhalte falsch sein können

• Es wird Misstrauen gegenüber der E-Mail des Onlinehändlers geäußert

  • Das Verbot, Produktfotos zu machen, und die Aufforderung zur sofortigen Rücksendung wirken verdächtig
  • Es wird behauptet, diese Geschichte sei erfunden, einschließlich der Drohung mit Kontokündigung

• Es wird erwähnt, dass auch der National Audubon Society Field Guide bei falscher Nutzung ein Vergiftungsrisiko birgt

  • Das ist nicht nur ein AI-Problem

• Die Aussicht auf spätere Beschwerden über AI-generierte Rechtsberatung sorgt für Belustigung