a16z-finanziertes Startup: Hack deckt Werbung über KI-TikTok-Konten auf

• Eine „Phone Farm“ mit 1.100 Smartphones wurde gehackt, wodurch die Aktivitäten von auf TikTok betriebenen KI-generierten Werbekonten offengelegt wurden
• Das System wird von Doublespeed, einem von a16z finanzierten Startup, betrieben und verwaltet mehrere hundert KI-basierte Social-Media-Konten, die zur Produktwerbung eingesetzt werden
• Der Hacker verschaffte sich Zugriff und konnte Kontozuweisungen, Proxy-Informationen und Arbeitsverläufe einsehen
• Mit generativer KI erstellte Personenbilder und Videos wurden zur Bewerbung verschiedener Produkte wie Nahrungsergänzungsmittel, Apps und Massagegeräte verwendet; in vielen Fällen wurden Produkte ohne Werbekennzeichnung beworben
• Der Hacker erklärte, er habe die Schwachstelle am 31. Oktober dem Unternehmen gemeldet, habe aber weiterhin Zugriff auf Backend und Phone Farm

---

Überblick über den Doublespeed-Hack

• Ein Hacker übernahm eine Phone Farm aus 1.100 Mobiltelefonen und legte damit die Aktivitäten von auf TikTok betriebenen KI-generierten Werbekonten offen
  • Diese Phone Farm wird von Doublespeed verwaltet und dient der Produktwerbung über mehr als mehrere hundert KI-generierte Social-Media-Konten
• Durch den Hack wurde offengelegt, dass es zahlreiche Werbeinhalte ohne Kennzeichnung als Werbung gab
  • Die betreffenden Konten warben in Form von KI-Influencern für Produkte
• Der Hacker griff auf das Backend des Unternehmens zu und konnte sehen, welcher PC-Manager welche Telefone und TikTok-Konten steuert
  • Dabei wurden auch Proxy-Server, Passwörter und die Aufgabenwarteschlangen einzelner Konten offengelegt
  • Nach eigenen Angaben konnte der Hacker rund 1.100 Smartphones frei steuern und sie für Rechenressourcen oder Spam missbrauchen

So funktionierte die KI-Influencer-Werbung auf TikTok

• Von den mehr als 400 von Doublespeed betriebenen TikTok-Konten wurden etwa 200 tatsächlich zur Produktwerbung genutzt
• Viele Beiträge wurden ohne Kennzeichnung als Werbung hochgeladen
• Einige Konten scheinen einen „Warm-up“-Prozess durchlaufen zu haben, um wie echte Nutzer zu wirken
• Um die Erkennung unauthentischen Verhaltens durch TikTok zu umgehen, wurden echte Smartphone-Nutzungsmuster nachgeahmt

Konkrete Werbebeispiele

• Eine KI-generierte Figur einer Frau mittleren Alters sprach über körperliche Schmerzen und zeigte wiederholt das Vibit-Massagegerät
• Eine als UCLA-Studentin dargestellte KI-Figur kritisierte die Pharmaindustrie und bewarb dabei das Rosabella-Moringa-Nahrungsergänzungsmittel
  • Dass die Schrift auf dem Etikett der Produktflasche bedeutungslos generiert war, verriet das Bild als KI-Erzeugnis
• Einige Konten nutzten sogar KI-generierte Videos, um TikTok-Content-Agenturen wie Playkit zu bewerben

Zugriff des Hackers und Reaktion des Unternehmens

• Der Hacker bat aus Angst vor Vergeltung um Anonymität und erklärte, Doublespeed die Schwachstelle am 31. Oktober gemeldet zu haben
• Auch zum Zeitpunkt der Artikelerstellung habe der Hacker weiterhin Zugriff auf das Firmen-Backend und das Phone-Farm-System
• Doublespeed reagierte nicht auf Anfragen der Presse nach einer Stellungnahme

Reaktionen von Plattformen und Investor

• Doublespeed ist ein von Andreessen Horowitz (a16z) finanziertes Startup
• TikTok schreibt eine Kennzeichnungspflicht für KI-generierte Inhalte vor und ergänzte nach dem Hinweis entsprechende Labels bei den Konten
• a16z und Doublespeed gaben zu dem Vorfall keine offizielle Stellungnahme ab
• Ein Sprecher von Reddit erklärte, der Dienst von Doublespeed verstoße gegen die Nutzungsbedingungen
• Meta gab keine offizielle Antwort, doch das Geschäftsmodell verstoße strukturell gegen die Richtlinie zur authentischen Identitätsdarstellung

[roxie]

Wow, was für ein Business …

[GN⁺]

Hacker-News-Kommentare

• archive-Link

• AI zerstört langfristig die sozialen Medien
  Schon vor AI waren viele Posts und Kommentare Bots oder bezahlte Accounts
  Inzwischen ist Reddit ein noch weniger vertrauenswürdiger Ort als ChatGPT
  Immerhin gibt es noch satirische Räume wie das The Onion-verse

  • Die Dead Internet Theory fühlt sich an, als wäre sie von einem Witz zur Realität geworden
  • Ich glaube nicht, dass eine Struktur, in der die ganze Welt improvisiert miteinander redet, zu positiven Ergebnissen führen kann
    Menschen sind anfällig für Anonymität und unkontrollierte Umgebungen, und solche Foren maximieren genau diese Schwäche
    Schon in der heutigen Größenordnung war das von Anfang an keine gute Idee
  • Vielleicht ist das sogar etwas Gutes
    Wenn immer mehr Menschen solche Plattformen verlassen und zu den Mainstream-Medien zurückkehren, werden sie womöglich vernünftiger
  • Für mich war Reddit schon diesen Sommer eine tote Plattform, als private Profile erlaubt wurden
  • Ich sehe das ähnlich, aber mich beunruhigt, dass die Leute solchen minderwertigen Inhalten (sloppy content) offenbar etwas abgewinnen können
    Ich frage mich, ob das nur aus Neugier passiert oder ob sie so etwas wirklich wollen

• Es ist so seltsam, dass wir inzwischen in einer Realität leben, in der Bot-Farmen alltäglich sind
  Früher habe ich so etwas mit autoritären Regimen wie Russland oder China verbunden, und jetzt werden wir selbst so?
  Dazu kommt noch der Schock, dass VCs in so etwas investieren
  Jedes Mal, wenn ich jetzt den a16z-Podcast höre, muss ich an Bot-Farmen denken, und das macht es schwer, zuzuhören
  Das lässt mich daran zweifeln, ob Menschen überhaupt ernsthaft über Moral und Ethik nachdenken

  • Trotzdem glaube ich weiterhin, dass eine Zukunft in Form eines Web of Trust möglich ist
    Ich weiß nur nicht, wie ich das erklären soll

• Das erinnert mich an den Satz: „Baue keine Maschinen nach dem Vorbild des menschlichen Geistes“
  Es fühlt sich an, als wäre der Butlerian Jihad früher als geplant angekommen
  Nicht Unterdrückung oder Gewalt, sondern virales Marketing und Fake-Accounts lösen den Aufstand aus

  • Aber Gewalt hat in gewisser Weise bereits begonnen
    OpenAI reagiert auf mehrere Klagen, weil es Fälle gab, in denen Chatbot-Nutzer sich das Leben genommen haben

• Lustig. Ich habe gerade erst jemandem gesagt, dass es viel zu viel Vibit-Werbung gibt und die Kommentare alle gefälscht wirken

• Wenn durch den Hack am Ende nur herauskam, dass das Startup genau das tut, was es angekündigt hat, dann frage ich mich, ob das nicht einfach nur Werbung ist

• Wenn man sich Zuhairs Twitter und die offizielle Website ansieht, ist das wirklich abstoßend
  Seine Phone-Farm-Fotos sind alle in diesem Tweet zu sehen
  „Das tote Internet beschleunigen“ — ich verstehe nicht, warum wir diese Verwahrlosung öffentlicher Räume (enshitification) auch noch fördern

  • Er scheint einfach nur auf Ragebait aus zu sein, aber das Problem ist, dass das Produkt tatsächlich existiert
    Cory hatte von Anfang an recht
  • Er wirkt klug, aber wie ein Jugendlicher, der falsch abgebogen ist
    Weniger wie ein schlechter Mensch als jemand, der bessere Vorbilder gebraucht hätte
    Ich denke, man bekommt auch keine Gelegenheit zur Selbstreflexion, wenn man nie etwas tut, wofür man sich später schämt
  • Ein zugänglicher Link ist xcancel.com/rareZuhair
  • Solche Werkzeuge zu bauen ist gefährlich
    Irgendwann könnten sie zu einer Waffe werden, die auf ihren Schöpfer zurückfällt
  • Das ist nicht seltsam, sondern einfach das Ergebnis von Gier und Kontrollsucht

• Das wirkt einfach wie ein Bericht darüber, wie dieses Unternehmen sein Geschäft betreibt
  doublespeed.ai

  • Es ist fast schon erfrischend, dass sie Formulierungen wie „never pay a human again“ und „** spawn variation**“ ganz offen verwenden
    Natürlich hasse ich das, aber es wirkt immer noch ehrlicher als andere Firmen, die alles mit Marketingverpackung verschleiern
  • Ich hätte gedacht, so ein Geschäft sei illegal oder zumindest eine Grauzone, aber inzwischen scheint es, als hätten VCs ihre Moral komplett aufgegeben
    Glücksspiel? Super. Spam? Wir investieren. Werbebetrug? Kein Problem
  • Ich frage mich, wie solche AI-Content-Farmen auf TikTok überhaupt Geld verdienen
  • Am Ende wird genau diese Kontroverse für sie zur kostenlosen Werbung
  • Es fühlt sich an, als würde man echte „Schurken-Werbetexte“ in freier Wildbahn sehen

• Ich frage mich, warum man solche Firmen nicht nach dem Computer Fraud and Abuse Act (CFAA) verklagt

  • Den CFAA gegen alles einzusetzen, was man nicht mag, ist gefährlich
    Es gibt bereits Gesetze, die sich mit solchem irreführenden Marketing befassen
    Zum Beispiel: U.S. Code of Federal Regulations 16 CFR Part 255
  • Aber Unternehmen mit Geld und einem starken Fördernetzwerk entgehen der Anwendung des Rechts
    Und selbst im schlimmsten Fall sind Begnadigungen (pardons) heutzutage wohl nicht besonders teuer, wie man hört