Fintech-Gründer wegen Betrugs angeklagt; KI-App entpuppt sich auf den Philippinen als von Menschen betrieben

• Albert Saniger, Gründer und ehemaliger CEO von Nate, wurde vom US-Justizministerium wegen des Vorwurfs angeklagt, Investoren getäuscht zu haben
• Nate ist ein 2018 gegründetes Fintech-Startup, das behauptete, ein KI-basiertes „universelles Checkout“-Erlebnis anzubieten
• Das Unternehmen erhielt insgesamt mehr als 50 Millionen US-Dollar von Coatue, Forerunner Ventures und anderen; 2021 folgte eine Series-A-Finanzierung über 38 Millionen US-Dollar unter Führung von Renegade Partners

Eine KI-Shopping-App, die in Wirklichkeit von Menschen betrieben wurde

• Nate behauptete, dass KI auf allen E-Commerce-Websites Käufe automatisch abwickle, tatsächlich wurden Bestellungen jedoch manuell von Hunderten Beschäftigten in einem Callcenter auf den Philippinen bearbeitet
• Das Justizministerium erklärt, der Automatisierungsgrad von Nate habe faktisch bei 0 % gelegen
• Um Investitionen einzuwerben, wurde damit geworben, dass „die KI alles ohne menschliches Eingreifen verarbeitet“, doch der Großteil der Arbeit wurde von Menschen erledigt
• Es gab zwar einige Ansätze zur Einführung von KI-Technologie und zur Einstellung von Data Scientists, funktionsfähige Automatisierung wurde jedoch nicht erreicht

Whistleblowing und der Niedergang von Nate

• 2022 wurde durch eine Berichterstattung von The Information aufgedeckt, wie Nate tatsächlich funktionierte
• Laut LinkedIn ist Saniger seit 2023 nicht mehr CEO
• Nate verkaufte im Januar 2023 wegen Geldmangels seine Vermögenswerte; die Investoren verloren dabei nahezu ihr gesamtes Kapital
• Saniger ist derzeit als Managing Partner von Buttercore Partners aufgeführt, hat aber keine offizielle Stellungnahme abgegeben

Fälle übertriebener KI-Darstellungen reißen nicht ab

• Neben Nate wurde auch über ein Startup für „KI-Drive-through“-Software berichtet, das überwiegend Arbeitskräfte auf den Philippinen einsetzte; The Verge berichtete 2023 darüber
• Zuletzt berichtete Business Insider, dass beim KI-Legaltech-Unicorn EvenUp in Wirklichkeit viele Aufgaben von Menschen ausgeführt wurden

[aer0700]

Heutzutage sieht man gelegentlich Businesses, die damit werben, bislang bereits gut funktionierende Aufgaben mit etwas Neuem zu erledigen, etwa sie mit AI zu automatisieren oder in rust zu implementieren.
Sie machen ~.
Ich finde, allein danach sollte man das beurteilen. Ob dabei AI eingesetzt wird oder es in rust implementiert ist: Bewertet werden sollte doch einfach, wie gut ~ gemacht wird; mit welchen internen Mitteln es umgesetzt ist, scheint aus Sicht von Nutzern oder Investoren nicht besonders wichtig zu sein. Wenn der Code offengelegt wurde, wäre es aus Entwicklersicht natürlich interessant.

[GN⁺]

Hacker-News-Kommentar

• Erinnert mich an einen Artikel von vor zwei Jahren und meinen HN-Kommentar dazu. Typischer Verlauf eines weiteren AI-Startups

  • Jemand entdeckt ein interessantes Problem, das sich möglicherweise mit ML/AI lösen lässt, und versucht es selbst zu lösen
  • Denkt: „Das Modell funktioniert einigermaßen. Es ist nützlich genug, dass andere dafür bezahlen würden“
  • Startet eine kostenpflichtige API, ein SaaS-Startup usw. und gewinnt einige Kunden
  • Es zeigt sich, dass sich der ML/AI-Ansatz nicht verallgemeinern lässt. Da der Ruf wichtig ist, werden Menschen eingestellt, um das Problem zu lösen
  • Die Modellleistung sinkt, und menschliche Arbeit wird zu einem wichtigen Teil des gesamten Workflows
  • Jemand schreibt einen Artikel darüber, dass günstige Arbeitskräfte eingesetzt werden

• Wurde an der Selbstbedienungskasse im Supermarkt durch die Analyse von CCTV-Aufnahmen als potenzieller Dieb markiert. (War natürlich eine falsche Analyse.) Beim Verlassen des Ladens habe ich mich gefragt, ob das eine Softwareanalyse war oder ob mich in Echtzeit jemand in Indien oder auf den Philippinen beobachtet hat

• Ich habe mich gefragt, warum es keine Bedenken des DOJ gab, als Amazon Go dasselbe gemacht hat

  • Amazon Go: Anfangs wurde klar kommuniziert, dass die „Just Walk Out“-Technologie noch getestet wird, und in der Tech-Community war bekannt, dass Menschen die Videofeeds überprüften, um Edge Cases zu beurteilen
  • Es wurde argumentiert, dass die Technik am Ende besser werden würde und das menschliche Backup hauptsächlich für Trainingsdaten und Qualitätssicherung gedacht sei
  • Es wurde nicht behauptet: „Es läuft jetzt zu 100 % mit AI und ohne menschliche Hilfe“
  • Nate: behauptete, bereits vollständig automatisiert zu sein
  • Der CEO sagte ausdrücklich, dass AI die gesamte Arbeit erledige und nur für seltene Edge Cases Vertragskräfte eingesetzt würden
  • Laut DOJ machten in Wirklichkeit Menschen alles, und AI war nur ein Branding-Tool
  • Investoren wurde gesagt, es sei eine Softwareplattform, tatsächlich war es aber BPO

• Ich frage mich, ab wann so etwas als „Betrug“ gilt. Fast alle „AI“-Anwendungen haben viel menschliches Backup. Waymo hat menschliche Fahrer, die Fahrzeuge aus der Ferne steuern können, wenn diese anhalten. Amazon-Go-Läden wurden tatsächlich von Teams in Indien betrieben. Unternehmen behaupten seit 10 Jahren, „von AI angetrieben“ zu sein

  • Vielleicht, weil Investoren auf die Margen geschaut und einen riesigen Posten im Ausland entdeckt haben. Sonst ist die „Automatisierungsrate“ eine zu vage Kennzahl, als dass Investoren sie gut verfolgen könnten
  • Diese Art von Täuschung macht unschuldige Investoren zu Opfern

• In den letzten fünf Jahren gab es viele Startups mit irgendeiner Variante von „AI kann jetzt die Interaktion mit Unternehmen automatisieren, die eigentlich gar nicht mit dir interagieren wollen“. Das ist verbreitet in Healthcare, Fintech, Consumer Shopping usw.

  • Verfügbarkeit von Anbietern, Terminfindung und Buchungen sollen durch AI-Anrufe automatisiert werden
  • Es sollen Consumer-Geräte verkauft werden, die alle App-Interaktionen mit einem „Large Action Model“ automatisieren
  • Interaktionen von Krankenhäusern mit Krankenkassen bei Abrechnungen sollen durch AI-Screen-Scraper automatisiert werden
  • Wenn ein Mitarbeiter eine Aufgabe einmal in einem Business-Software-Tool ausführt, soll AI sie für immer automatisieren und so alle Anbietersysteme ohne individuelle Programmierung verbinden
  • Mit AI soll man automatisch auf jeder Website einkaufen können

• Die meisten Startups sind kein „Betrug“. Sie starten mit den besten Absichten (qualifizierte technische Gründer, echter Zielmarkt, Kunden, die bei funktionierendem Produkt gern zahlen würden), scheitern dann aber, schwenken komplett um oder greifen in einem fehlgeleiteten Überlebensversuch zu Betrug

  • Das Problem ist, dass sie versuchen, mit Technologie ein menschliches Problem zu lösen. Der aktuelle Zustand der Welt ist, dass die Dienstleister auf der anderen Seite der Gleichung keine Vermittlung wollen und nicht zur Ware gemacht werden wollen. Sie werden sich der Automatisierung nicht fügen
  • Wenn du perfekt darin wirst, sie mit einem Roboter anzurufen, gehen sie einfach nicht ans Telefon. Wenn du perfekt darin wirst, ihre iPhone-App im Namen der Nutzer zu automatisieren, blockieren sie IP-Adressbereiche und präsentieren immer komplexere Captchas. Wenn du den Login-Flow automatisierst, wechseln sie zu einem anderen Login-Flow oder sperren Kunden, die Automatisierung verwenden. Die Kundenerfahrung ist bestenfalls inkonsistent, und man kann den Menschen nicht aus dem Loop entfernen. Das führt zum Tod durch tausend Papierschnitte – selbst wenn Kunden weiterhin darum bitten, für den Service bezahlen zu dürfen

• Mechanical-Turk-Remix

• Verwandter Artikel aus der Mitte der Pandemie: AI-Shopping-Startup zeigt die Exzesse des Finanzierungsbooms

• Ein Freund bat mich etwa 2021, eine Due Diligence zu dieser Firma zu machen. Der Gründer behauptete eine AI-basierte „100%ige Checkout-Erfolgsquote“, was offensichtlich falsch war. Gleichzeitig führte er noch zwei andere Startups

• „Ich bin ein Computer, aber ich werde sagen, dass ich ein Mensch bin“ und „Ich bin ein Mensch, aber ich werde sagen, dass ich ein Computer bin“ sind beides verbreitete Ideen