Whistleblower sagen aus, Meta und TikTok hätten für mehr Engagement die Ausspielung schädlicher Inhalte zugelassen

• Whistleblower haben offengelegt, dass Meta und TikTok trotz interner Forschungsergebnisse, wonach Algorithmen umso mehr Engagement erzeugen, je stärker sie Wut auslösen, mehr schädliche Inhalte in den Feeds der Nutzer angezeigt hätten
• Ein Meta-Ingenieur erklärte, er habe mit Verweis auf den fallenden Aktienkurs die Anweisung erhalten, die Ausspielung von „Grenzinhalten“ zu erhöhen; ein TikTok-Mitarbeiter legte ein internes Dashboard vor, auf dem Fälle mit Bezug zu Politikern Vorrang vor Schäden an Kindern hatten
• Metas Reels seien zur Konkurrenz mit TikTok ohne ausreichende Schutzmechanismen gestartet worden; interne Forschung habe bestätigt, dass der Anteil an Belästigung, Hassrede und gewaltverherrlichenden Kommentaren höher war als im Haupt-Feed von Instagram
• Ein Mitarbeiter aus dem internen Sicherheitsteam von TikTok sagte aus, dass Kindersicherheit zugunsten politischer Beziehungen nachrangig behandelt worden sei, und warnte: „Eltern sollten die App löschen“
• Beide Unternehmen bestritten eine vorsätzliche Verstärkung schädlicher Inhalte, doch interne Dokumente und Aussagen zeigen ein strukturelles Problem, bei dem engagementzentrierte Algorithmen Erlöse über die Sicherheit der Nutzer stellten

---

Überblick über die Enthüllungen der Whistleblower

• Mehr als 12 Whistleblower und Beteiligte sagten aus, dass im Wettbewerb um Nutzerengagement Sicherheitsprobleme wie Gewalt, sexuelle Ausbeutung und terrorbezogene Inhalte ignoriert worden seien
  • Ein Meta-Ingenieur erklärte, er habe von der Führung die Anweisung erhalten, „Grenzinhalte“ wie Frauenhass und Verschwörungstheorien stärker auszuspielen
  • Ein TikTok-Mitarbeiter legte der BBC Fälle vor, in denen Meldungen mit Bezug zu Politikern vor Schäden an Kindern priorisiert wurden
• Innerhalb von TikTok sei die Pflege der Beziehungen zu Politikern als Grund genannt worden, um Risiken durch Regulierung oder Verbote zu vermeiden

Interne Meta-Forschung und die Probleme von Reels

• Der Meta-Forscher Matt Motyl sagte, bei der Einführung von Reels (2020) habe es an Schutzmechanismen gefehlt
  • Laut interner Forschung lag der Anteil von Reels-Kommentaren gegenüber dem Instagram-Haupt-Feed bei Belästigung um 75 %, Hassrede um 19 % und Gewaltförderung um 7 % höher
• Das Unternehmen setzte für das Wachstum von Reels 700 Mitarbeitende ein, während Aufstockungen bei Teams für Kinderschutz und Wahlintegrität abgelehnt wurden
• Interne Dokumente kritisierten, dass der Algorithmus die Gewinnmaximierung über das Wohlergehen der Nutzer stelle
  • Darin findet sich auch die Formulierung, Facebook könne Nutzer „wie Fast Food“ konsumieren lassen, sei aber auf Dauer schwer aufrechtzuerhalten

Aussagen aus dem internen Sicherheitsteam von TikTok

• Die BBC stand 2025 über mehrere Monate mit dem TikTok-Trust-and-Safety-Mitarbeiter „Nick“ in Kontakt
  • Er sagte, durch den Einsatz von KI und Personalabbau sei die Reaktion auf schädliche Inhalte geschwächt worden
  • Er habe eine Zunahme von Material zu Terrorismus, sexualisierter Gewalt, Missbrauch und Menschenhandel festgestellt
• In einem internen Dashboard wurden Fälle gezeigt, in denen ein satirischer Beitrag über einen Politiker vor einem Fall sexueller Erpressung eines Jugendlichen geprüft wurde
  • Dabei wurde unter anderem bestätigt, dass ein Fall eines 16-jährigen Opfers aus dem Irak mit geringerer Dringlichkeit eingestuft worden war
• Nick sagte, „das Unternehmen messe politischen Beziehungen mehr Bedeutung bei als der Sicherheit von Kindern“, und riet Eltern, „TikTok zu löschen“
• TikTok entgegnete, politische Inhalte hätten keinen Vorrang vor Kindersicherheit, und bezeichnete die Aussagen als verzerrt
  • Für Konten von Jugendlichen würden mehr als 50 standardmäßige Sicherheitseinstellungen gelten

Algorithmischer Wettbewerb und Metas Reaktion

• Als TikTok während der Covid-19-Pandemie 2020 stark wuchs, brachte Meta Reels im Eilverfahren auf den Markt
  • Motyl sagte, Geschwindigkeit habe Vorrang vor Nutzerschutz gehabt
  • Das Reels-Team habe sich gegen Sicherheitsfunktionen gesträubt, weil schädliche Inhalte mehr Engagement erzeugten
• Brandon Silverman (Gründer von Crowdtangle) sagte aus, Mark Zuckerberg sei damals extrem sensibel gegenüber Wettbewerb gewesen
  • Für den Ausbau von Reels wurden 700 Personen eingesetzt, während Sicherheitsteams Schwierigkeiten hatten, Personal zu bekommen
• Der frühere Meta-Ingenieur „Tim“ sagte, im Wettbewerb mit TikTok seien Beschränkungen für „Grenzinhalte“ gelockert worden
  • Er erklärte, angesichts fallender Aktienkurse und Umsatzdrucks sei entschieden worden, Maßnahmen zu lockern, um kurzfristig Erlöse zu sichern

Funktionsweise des Algorithmus und gesellschaftliche Auswirkungen

• Interne Dokumente halten fest, dass Inhalte, die Wut und moralische Reize auslösen, hohes Engagement erzeugen und vom Algorithmus bevorzugt werden
  • Die Struktur sei so, dass Nutzer umso mehr Inhalte konsumieren, je wütender sie werden
• Britische Polizeiexperten für Terrorismus berichteten, sie hätten zuletzt eine „Normalisierung“ antisemitischer, rassistischer und rechtsextremer Gewaltbeiträge beobachtet
• Ein jugendlicher Nutzer sagte aus, er sei seit seinem 14. Lebensjahr durch den Algorithmus „radikalisiert“ worden; Wut und Abscheu seien verstärkt worden

Offizielle Stellungnahmen der Unternehmen

• Meta: „Die Behauptung, wir würden schädliche Inhalte für finanziellen Gewinn verstärken, entspricht nicht den Tatsachen“
  • Das Unternehmen betonte, in den vergangenen zehn Jahren massiv in Sicherheit und Schutz investiert und Funktionen zum Schutz Jugendlicher eingeführt zu haben
• TikTok: Die Behauptungen seien manipuliert; das Unternehmen investiere weiter in Technik, damit schädliche Inhalte nicht angezeigt werden
  • Zudem hieß es, man unterstütze Millionen Menschen dabei, neue Interessen zu entdecken und Communities zu bilden

[GN⁺]

Hacker-News-Kommentare

• In den letzten fünf Jahren scheint so etwas bereits gesunder Menschenverstand geworden zu sein
  Aber die eigentliche Frage ist: „Was sollen wir also tun?“
  Ich versuche, online keine Zeit mit Wut zu verschwenden, aber das ist ein gesellschaftliches Übel, das für den Einzelnen zu groß ist

  • Ich denke, man sollte solches Verhalten durch Regulierung verhindern oder die Unternehmen gleich schließen
    Wenn Meta oder TikTok für die Gesellschaft netto negativ sind, haben sie kein natürliches Recht zu existieren
  • Online-Werbung sollte besteuert und streng reguliert werden
    Die Wurzel des Problems ist, dass „Engagement“ zu profitabel ist. Solange dieser finanzielle Anreiz nicht verschwindet, wird auch das Problem nicht verschwinden
  • Mein Instagram-Feed besteht in letzter Zeit fast nur noch aus Videos von Politikern, Kontroversen rund um den Präsidenten und provokanten Inhalten
    Ich habe das Gefühl, mehr Informationen zu bekommen als wenn ich nur NPR höre, aber ich meide produzierte Inhalte (Schnitt, Musik, Kommentar usw.)
    Ich möchte eigentlich nur die emotionale Reaktion aufnehmen, die aus tatsächlich Geschehenem oder aus den Aussagen einer Person entsteht
    „Inhalte als Nachrichten“ müssen Echtheit haben
  • Ein Ansatz nach dem Motto „Machen wir die Droge weniger wirksam“ ist keine Lösung. Ein Verbot ebenso wenig
    Wenn man sich ansieht, warum Gen Z weniger Alkohol trinkt als Millennials, könnte dort vielleicht ein Lösungsansatz liegen
  • Wahrscheinlich werden wir nichts tun und uns weiter nur beschweren

• Der Ausdruck „schädliche Inhalte“ bedeutet am Ende einfach etwas, das einer Regierung oder einem bestimmten Staat nicht gefällt
  Letztlich klingt das wie die Forderung nach einer weiteren Form von Zensur

  • Laut interner BBC-Forschung gab es in Reels-Kommentaren Belästigung und Hassrede in viel größerem Ausmaß als anderswo
    Wenn sich irgendeine Gruppe gegen solche Gewalt stellt, ist das dann nicht eher etwas Gutes?
  • In meinem TikTok-Feed taucht manchmal direkte Aufstachelung zu Gewalt gegen Juden auf
    Selbst wenn ich das melde, kommt nur die Antwort zurück: „Kein Verstoß gegen die Richtlinien“

• Es ist frustrierend, dass diese Plattformen noch immer so betrieben werden
  Seit mehr als zehn Jahren ist der gesellschaftliche Schaden bekannt, und trotzdem passiert nichts
  Facebook und TikTok sind im Grunde digitale Drogen. Und sie wurden von Menschen entworfen, denen gesellschaftliches Einfühlungsvermögen fehlt

• Dieses Ergebnis ist nicht überraschend. Für die meisten Menschen vermutlich auch nicht
  Trotzdem ist es gut, dass die Belege klar vorgelegt werden

• Ist dieses Phänomen unvermeidlich?
  Weil es Klicks, Views und Nutzer-Engagement erzeugt, wird, wenn eine Plattform so handelt, der Rest wohl nachziehen müssen

  • Inzwischen müssen Nutzer ihren Feed selbst kuratieren. Man kann nicht erwarten, dass die Plattform das für einen übernimmt
  • Engagement ist nicht dasselbe wie Marktanteil
    Wenn zum Beispiel ein McDonald’s-Mitarbeiter Kunden beleidigt, steigt vielleicht das „Engagement“, aber der Marktanteil würde sinken

• Natürlich haben sie so gehandelt
  Solange es legal ist und Profit bringt, werden sie weitermachen

• Diese Geschichte wiederholt sich mindestens seit 2012
  In Max Fishers Buch The Chaos Machine ist das gut zusammengefasst
  Facebook und YouTube sagen bei Kritik beide, sie hätten „Maßnahmen ergriffen“, doch tatsächlich wiederholt sich nur Ausweichen, Verzögern, Verkleinern und Leugnen

• Ich frage mich, ob es Organisationen gibt, die schädliche Algorithmen überwachen und sogar Klagen führen
  Reset.tech leistet auf diesem Gebiet gute Arbeit, aber ich würde gern wissen, ob es noch andere gibt und wer sie finanziert

• Wenn sie 20 Milliarden Dollar verdienen und die Strafe 200 Millionen Dollar beträgt, werden sie sich überhaupt nicht um die psychische Gesundheit der Nutzer kümmern

• Solange die Öffentlichkeit noch immer auf sensationelle Inhalte reagiert, gibt es für Plattformen keinen Grund, das nicht auszunutzen
  Die meisten Beiträge sind am Ende nichts weiter als Clickbait