Künstliche Intelligenz und Massenüberwachung

• Das Internet hat dazu geführt, dass Verhaltensdaten wie Standort, Käufe, Gesprächspartner und Gelesenes in großem Umfang gespeichert werden, und KI kann dem noch Massen-Spionage hinzufügen, indem sie sogar Gesprächsinhalte interpretiert
• Bisherige Überwachung kam dem Sammeln von Verhaltensprotokollen nahe, aber Spionage erfordert das Anhören und Verstehen von Gesprächen, weshalb bislang menschliche Arbeit der Engpass war
• Generative KI kann ein einstündiges Meeting auf eine Seite zusammenfassen und Millionen von Gesprächen nach Themen ordnen, sodass die Analyse von Gesprächen zu einem Problem der Massensuche wird
• Auch wenn KI nicht perfekt ist und Wichtiges übersehen oder falsch verstehen kann, ist der Unterschied im Maßstab groß, weil sie millionenfach vervielfältigt werden kann und sich schnell verbessert
• Da Regierungen und Unternehmen bereits Massenüberwachung einsetzen, könnte die Analyse von Gesprächen, Emotionen und vertraulichen Informationen soziale Kontrolle und personalisierte Werbung weiter verstärken

---

Der Unterschied zwischen Überwachung und Spionage

• Überwachung (surveillance) bedeutet, Verhaltensprotokolle zu sammeln: wohin jemand gegangen ist, mit wem gesprochen wurde, was gekauft wurde und was jemand getan hat
• Spionage (spying) bedeutet, Wanzen in Häusern oder Autos zu verstecken oder Telefone abzuhören, um den Inhalt von Gesprächen selbst zu hören und zu verstehen
• Vor dem Internet musste man, um jemanden zu überwachen, der Person direkt folgen und Bewegungen, Treffen, Käufe, Handlungen und Gelesenes protokollieren, was viel Zeit und Geld kostete
• Smartphones, Kreditkarten, Apps, E-Book-Reader und Computer protokollieren fortlaufend Standort, Käufe, Gesprächspartner, Gelesenes und Nutzungsverhalten
• Mit sinkenden Speicher- und Verarbeitungskosten wurde aus passiver, individueller Überwachung Massenüberwachung; sie wurde zum Geschäftsmodell des Internets, dem man sich auf vernünftige Weise nur schwer entziehen kann

Der von KI veränderte Engpass der Spionage

• Spionage war technisch schon lange möglich, aber um Gespräche anzuhören und ihren Sinn zu erfassen, war menschliche Arbeit nötig
• Spyware-Unternehmen wie die NSO Group können Regierungen helfen, die Handys von Menschen zu hacken, aber das Sortieren und Verstehen der gesammelten Gespräche bleibt weiterhin erforderlich
• Regierungen wie die chinesische konnten Social-Media-Beiträge anhand bestimmter Wörter oder Formulierungen zensieren, doch diese Methode war grob und leicht zu umgehen
• Moderne generative KI ist gut im Zusammenfassen und kann bei Eingabe eines einstündigen Meetings eine einseitige Zusammenfassung liefern
• Auch das Durchsuchen von Millionen Gesprächen, ihre thematische Ordnung oder das Auffinden, wer über was spricht, kann KI übernehmen

Die umgekehrte Suche, die Massenüberwachung geschaffen hat

• Massenüberwachung verändert den Charakter von Überwachung grundlegend
• Weil alle Daten gespeichert werden, kann man auch dann später in Vergangenheitsdaten suchen, wenn zum betreffenden Zeitpunkt noch kein Ziel festgelegt war
• Wenn gespeicherte Daten vorliegen, werden Anfragen wie die folgenden möglich
  • herausfinden, wo sich eine bestimmte Person im vergangenen Jahr aufgehalten hat
  • eine Liste roter Limousinen erstellen, die im letzten Monat eine bestimmte Straße passiert haben
  • Personen finden, die im vergangenen Jahr alle Zutaten für einen Schnellkochtopf-Bombenbau gekauft haben
  • Paare von Mobiltelefonen finden, die sich aufeinander zubewegten, dann ausgeschaltet wurden und eine Stunde später in größerer Entfernung wieder eingeschaltet wurden
• Dieser Ansatz macht es möglich, Zielpersonen auch nachträglich auf Basis gespeicherter Daten zu identifizieren, ohne sie zuvor festgelegt zu haben

Mögliche Anfragen durch Massen-Spionage

• Massen-Spionage kann ebenfalls den Charakter von Spionage verändern
• Sämtliche Gesprächsdaten werden gespeichert, durchsuchbar und in großem Maßstab verstehbar
• Mögliche Anfragen sind unter anderem
  • herausfinden, wer im letzten Monat über ein bestimmtes Thema gesprochen hat und wie sich diese Diskussion verändert hat
  • prüfen, ob jemand einer Person namens A eine bestimmte Handlung aufgetragen hat, als diese Handlung ausgeführt wurde
  • Menschen finden, die ein Verbrechen planen, Gerüchte verbreiten oder die Teilnahme an einer politischen Demonstration planen
• Beim Auffinden von Organisationsstrukturen lässt sich erkennen, wie eine Person mehreren anderen ähnliche Anweisungen gibt und wie diese weitergeleitet werden
• Auch die Entstehung und das Zerbrechen von Freundschaften, Allianzen und Vertrauensbeziehungen lässt sich extrem fein nachverfolgen

Mikrofone und ständig mithörende Geräte

• Massen-Spionage ist nicht nur auf Gespräche auf Handys oder Computern beschränkt
• So wie überall installierte Kameras die Massenüberwachung gefördert haben, können auch überall installierte Mikrofone die Massen-Spionage fördern
• Siri, Alexa und „Hey Google“ hören bereits ständig zu, auch wenn diese Gespräche bislang noch nicht gespeichert werden

Verhaltensänderung und soziale Kontrolle

• Wenn Menschen wissen, dass sie ständig überwacht werden, verändert das ihr Verhalten
• Menschen passen sich an und betreiben Selbstzensur, was einen chilling effect auslöst
• Überwachung erleichtert soziale Kontrolle, und Spionage kann dies weiter verschärfen
• Regierungen auf der ganzen Welt setzen bereits Massenüberwachung ein und werden mit hoher Wahrscheinlichkeit auch Massen-Spionage betreiben

Unternehmen und Werbeindustrie

• Auch Unternehmen können Menschen ausspionieren
• Massenüberwachung hat das Zeitalter personalisierter Werbung eröffnet, und Massen-Spionage könnte diese Branche weiter stärken
• Was Menschen sagen, wie sie sich fühlen und welche Geheimnisse sie haben, sind für Marketer auf der Suche nach Vorteilen äußerst attraktive Informationen
• Die heutigen Tech-Monopolisten, die Menschen ohnehin fortlaufend überwachen, werden der Versuchung kaum widerstehen können, solche Daten zu sammeln und zu nutzen
• In den frühen Jahren von Gmail sprach Google darüber, Inhalte aus Gmail für personalisierte Werbung zu verwenden, stellte dies später jedoch ein
  • Wahrscheinlich lag das daran, dass die damals gesammelten Keyword-Daten für Marketingzwecke sehr dürftig waren
  • Wenn KI die Analyse von Gesprächsinhalten verbessert, könnte sich diese Voraussetzung ändern
  • Google mag vielleicht nicht das erste Unternehmen sein, das Gespräche seiner Nutzer ausspioniert, aber wenn andere damit anfangen, könnte es dem Druck der Werbekunden schwer widerstehen

Regulierungsmöglichkeiten und Grenzen

• Diese Fähigkeit lässt sich einschränken
• Man könnte Massen-Spionage verbieten oder strenge Datenschutzregeln verabschieden
• Allerdings wurden bisher noch keine Maßnahmen ergriffen, um Massenüberwachung einzuschränken
• Wenn Massenüberwachung nicht begrenzt wurde, ist auch nicht klar, warum Spionage anders behandelt werden sollte

[GN⁺]

Hacker-News-Kommentare

• Das ist kein technisches Problem, sondern ein politisches Problem. Die Sowjetunion hat zusammen mit Deutschland und anderen Ländern schon mit primitiver Technik Massenüberwachung effektiv betrieben, etwa mit Papierkram zu jeder Bewegung und Handlung, Informanten und Sprachüberwachung
  Dass dieselbe Methode in Orten wie den USA nicht Einzug gehalten hat, lag nicht daran, dass man zu solcher Überwachung nicht fähig gewesen wäre, sondern daran, dass das politische Interesse fehlte
  Wenn man in die Vergangenheit blickt, wurden Dinge verboten, von denen die Menschen sich nie hätten vorstellen können, dass sie verboten würden. Etwa den Anbau und Konsum einer Pflanze im eigenen Haus zu kriminalisieren oder es für Geschäftsleute strafbar zu machen, die „falsche Meinung“ darüber zu haben, wen sie bedienen oder einstellen
  Auch die „Nuklearoption“, das Sammeln von Daten über Einzelpersonen unabhängig von ihrer Aggregation vollständig zu verbieten, wäre juristisch kein gewaltiger Sprung. Das Problem ist nicht, dass die Technik existiert, sondern dass das politische Interesse, sie einzudämmen, gegen null geht und dass in einer „Demokratie“ der Wille der Bevölkerung bei der Verabschiedung von Gesetzen kaum berücksichtigt wird

  • Ich stimme zu, dass Überwachung gestoppt werden muss, aber ich würde das Problem anders beschreiben. Der KGB beschäftigte auf seinem Höhepunkt allein direkt etwa 500.000 Menschen, dazu kamen unzählige Informanten
    Das heutige FBI beschäftigt rund 35.000 Menschen. Wenn das FBI jedoch ohne nennenswerte Aufstockung des Personals eine Reichweite wie der KGB auf seinem Höhepunkt erreichen könnte, wäre das eine andere Geschichte
    Technologie beseitigt die Kosten der Überwachung, und früher waren genau diese Kosten eine Schutzvorkehrung. Das verändert die politische Kalkulation grundlegend
    Die Tatsache, dass Computer 1945 extrem teuer waren und Logistik im industriellen Maßstab erforderten, hat nichts mit der heutigen Realität zu tun, in der die meisten Menschen ständig mehrere Computer bei sich tragen. Niemand bestreitet, dass Veränderungen in der Computerfertigung die Rolle von Computern im Alltag grundlegend verändert haben
    Auch 1945 hätte man theoretisch in jedem Haushalt einen Computer aufstellen können, aber aus dem fehlenden „politischen“ Willen dazu folgt nicht, dass wir Gewohnheiten, Moralvorstellungen und Politik nicht an die heutige neue Umgebung anpassen müssten
    Deshalb verstehe ich nicht, warum immer wieder jemand mit der Aussage kommt: „Der dystopische Albtraum war schon früher technisch möglich, damals brauchte es keine besonderen Überlegungen, also braucht es sie heute auch nicht.“
  • Es ist schwer, das einfach nur als politisches Problem zu sehen. Viele Maßnahmen, die wir für politische Entscheidungen halten, wurden in Wirklichkeit von den Kosten und der Verfügbarkeit von Technologie getrieben
    Wenn die Kosten sinken, werden neue Optionen realisierbar. Die Fähigkeiten der Stasi werden gern hervorgehoben, aber tatsächlich hätten sie mächtige Werkzeuge wie moderne Geofence Warrants und den Großteil ihrer manuellen Überwachungswerkzeuge nur zu gern gegeneinander eingetauscht. Solche Warrants werden von US-Strafverfolgungsbehörden fast routinemäßig und ohne große politische Debatte eingesetzt
  • Die Kriminalisierung des Anbaus und Konsums von Pflanzen zu Hause mit der Kriminalisierung einer „falschen Meinung“ eines Geschäftsinhabers darüber zu vergleichen, wen er bedient oder einstellt, ist ein ziemlich heftiger Vergleich
    Ersteres ist, wenn es um Cannabis geht, ein dokumentierter Fall von Rassismus und politischer Repression; Letzteres wurde für nahezu den gegenteiligen Zweck geschaffen
    Die Einschränkung der „falschen Meinung“ darüber, wen ein Unternehmen bedient, soll sicherstellen, dass auch Menschen mit der „falschen Identität“ an der Gesellschaft teilhaben können und nicht aufgrund der Entscheidungen von Geschäftsinhabern ausgeschlossen werden. Natürlich ist „falsche Meinung“ kein juristischer Begriff, und es ist auch nicht illegal, zu glauben, dass Diskriminierung bestimmter Gruppen in Ordnung sei. Illegal ist nur, diesen Gedanken in die Tat umzusetzen
    Wenn man Dienstleistungen für die Öffentlichkeit anbietet, muss man sie nach dem Gesetz allen Mitgliedern der Öffentlichkeit anbieten. Wenn man den Glauben an Diskriminierung als „falsche Meinung“ bezeichnet, ist das die Formulierung des ursprünglichen Autors, der ich hier nicht eigens widersprechen werde
  • Die Unterscheidung „politisches Problem, nicht technisches Problem“ scheint mir keine besonders hilfreiche Unterscheidung zu sein. Politik, also Konsensmechanismen und Governance-Strukturen, ist ebenfalls eine Technologie, die gesellschaftliche Aktivitäten koordiniert und formt
    Zu entscheiden, wie neue Überwachungswerkzeuge implementiert werden, ist ebenfalls eine technische Frage, und ich würde sagen, dass die Art der Nutzung eines Werkzeugs teilweise definiert, was dieses Werkzeug ist. Änderungen der Fähigkeiten eines bestimmten Werkzeugs sind nicht die absolute Grenze dessen, was „Technologie“ ausmacht; Entscheidungen über Implementierung und Nutzung gehören ebenfalls dazu
    Auch wenn es nicht so umfassend war wie das, was in der Sowjetunion entstand, haben die USA tatsächlich ein groß angelegtes Überwachungsnetz gegen die eigene Bevölkerung aufgebaut https://www.brennancenter.org/our-work/analysis-opinion/hist...
    Der Punkt, dass „Massenüberwachung mit primitiver Technologie effektiv betrieben wurde“, ist besonders gut. Fortschritte bei Kommunikation sowie bei Signal- und Informationsverarbeitung haben historisch zu vielen Fortschritten staatlicher Überwachung geführt, und AI sollte man eher als Verfeinerung innerhalb einer langen Geschichte oder als kleinen Paradigmenwechsel sehen denn als völlig neues Terrain
    Falls damit der Civil Rights Act gemeint ist: Das konkrete Vergehen ist nicht, „eine falsche Meinung zu haben“, sondern den zwischenstaatlichen Reiseverkehr und Handel zu behindern. Vorurteile passen nicht zu einem Staatsmodell, in dem Bürger sich innerhalb der Grenzen frei bewegen und für ihren Lebensunterhalt sorgen können sollen
  • Letztlich kann man zwar sagen, dass alles ein politisches Problem ist, aber in dieser Sache wird alles vollständig vom technologischen Wandel vorangetrieben. In der Sowjetunion und der DDR brauchte es Hunderttausende von Menschen, um Berichte zu erstellen
    Heute kann eine erfahrene Person den Großteil eines Nachmittags damit verbringen, einen HN-Dump herunterzuladen und mit einem LLM Berichte pro Nutzer zu erstellen. Darin könnten Punkte wie politische Ausrichtung, gebrochene Gesetze, kürzlich bereiste Länder, geschätztes Nettovermögen, Ausbildung und Berufslaufbahn sowie berufliche Kontakte enthalten sein

• Ich verstehe nicht, warum darüber nicht mehr diskutiert wird. Die Realität des Überwachungsstaats war bisher, dass die Datenmenge zu groß war, um sie praktisch überwachen zu können; AI löst dieses Problem direkt, indem sie komplexe Daten zusammenfasst.
  Zumindest kurzfristig sehe ich die eigentliche Gefahr von AI weder in einem Planet voller Büroklammern, noch in gescheiterter moralischer Alignment, noch in einer Medienlandschaft ohne Kreativität. Gefährlich ist vielmehr, dass sie ein Werkzeug ist, das Menschen ins Visier nimmt, die vom Durchschnitt abweichen; ein Werkzeug, das darauf ausgelegt ist, selbstbewusste Antworten zu liefern, und das auf dem Durchschnitt von Filmen und gesellschaftlichen Vorurteilen trainiert wurde.

  • Bei Unternehmen wie Palantir bauen Leute innerhalb und außerhalb dieser Community so etwas schon seit Jahren.
    Auch der CEO von YC war ein früher Mitarbeiter von Palantir, und ein weiterer YC-Partner unterstützt derzeit invasive polizeiliche Überwachungstechnologie. Sie mögen so etwas finanziell wie politisch.
  • Dahinter, dass AI das Problem löst, die Datenmengen des Überwachungsstaats durch Zusammenfassung überhaupt praktisch überwachbar zu machen, stehen zwei grundlegendere Dynamiken: die Ökonomie der Aufmerksamkeit und die Politik der Kampfkraft.
    Früher hatte menschliche Aufmerksamkeit einen grundlegenden Wert. Denn um Ressourcen einzusetzen, Koordination herzustellen oder Entscheidungen zu treffen, mussten Menschen anderen Menschen Aufmerksamkeit schenken. Auf dieser sehr grundlegenden Ebene wird die Gesellschaft erschüttert werden.
    Auch die Politik der Kampfkraft hängt damit zusammen, braucht aber eine eigene Analyse. Die heutige Politik funktioniert, weil die herrschende Klasse die militärische Macht der Bevölkerung braucht, um die Stabilität großer politischer Gebilde zu sichern. Man kann das als eine Basisebene menschlicher politischer Organisation sehen, und auch sie wird auf eine Weise grundlegend erschüttert werden, wie wir sie noch nie gesehen haben.
    Die durch AI möglich gemachte orwellsche Welt, in der ein Stiefel für immer auf ein Gesicht tritt, ist nur der erste Schritt. Wenn ich eine AI wäre, die die Welt übernehmen will, würde ich nicht zu Skynet werden. Das wirkt plump und unnötig teuer.
    Stattdessen würde ich mich zuerst auf unzählige Arten unentbehrlich machen und die gesamte Menschheit dann mit wirtschaftlichen und kulturellen Argumenten dazu bringen, still und leise auszusterben.
  • Auch dieser Text könnte zu einer AI-Zusammenfassung werden, wenn man alles nach „This, IMO, is the real danger of AI (at present)“ abschneidet.
    Der Rest würde zu Metadaten emotionaler Rhetorik komprimiert. Das rhetorische Muster „nicht a, nicht b, nicht c, sondern d“ fügt tatsächlich einen kleinen inhaltlichen Wert hinzu, aber noch stärker fügt es Geschmack hinzu.
    Was hier sichtbar wird, ist, dass der Autor vielleicht jemand sein könnte, der Probleme verursachen kann. Außerdem ließe sich in Kombination mit anderen Daten ableiten, für welche Filme oder Produkte er sich interessieren könnte.
  • So habe ich das Bedrohungsmodell der Massenüberwachung durch Staaten und Unternehmen von Anfang an verstanden. Ich habe nie geglaubt, dass sich ein Büroangestellter mit Krawatte speziell für mich interessieren würde, um mich verhaften zu lassen, mir mehr Dinge zu verkaufen oder meine Versicherung zu kündigen.
    Solche individuellen, vermenschlichten Erzählungen hielt ich für ablenkende rote Heringe. Ähnlich wie die Aussage „Ich habe nichts zu verbergen“ den Fokus auf ein paar konkrete Fälle lenkt, geht es in Wirklichkeit um eine Struktur, in der Big Brother einem auf der Schulter sitzt und fortlaufend allgemein urteilt.
    Der Bedrohungsakteur ist eine algorithmische Massenanalyse, die gleichzeitig oder nachträglich in großem Maßstab über alle gespeicherten Datensilos hinweg durchgeführt wird, und ich bin immer davon ausgegangen, dass der daraus entstehende Druck schrittweise und subtil ausgeübt wird.
  • AI hat das Problem der Zusammenfassung komplexer großer Datensätze nicht gelöst. Eine gängige Methode für den Umgang mit solchen Datensätzen ist zum Beispiel die Nutzung einer zufälligen Teilmenge, und das geht sogar mit einer einzigen Codezeile.

• Die neuen Bots von Google, Meta, Microsoft und anderen werden nicht einfach nur das Web oder soziale Netzwerke crawlen, sondern bestimmte Themen und Personen.
  In vielen Kulturen gibt es Vorstellungen von „Schutzengeln“ oder „Ahnengeistern“, die über das Leben der Nachkommen wachen.
  In einer nicht allzu fernen Zukunft des Technofeudalismus werden von Großunternehmen bereitgestellte „persönliche Assistenten-Bots“ Fragen beantworten, Informationen sammeln, befohlene Aufgaben erledigen und einem „helfen“. Aber dieser „persönliche Assistenten-Bot“ ist kein Schutzengel und dient dir nur auf die Weise, die sein Unternehmensschöpfer will.
  Seine eigentliche Aufgabe ist es, Informationen über dich zu sammeln, dich zu verpetzen und dir ausgewählte Informationen zu liefern, die der Höchstbietende dir zeigen will, gelegentlich auch „gesponserte“ Informationen. Sie dienen nicht dir, sondern ihren Schöpfern. Lass dich nicht täuschen.

  • Das wird mir garantiert nicht passieren. Zumindest diesen Albtraum kann ich vermeiden. Andere Dystopien, die AI bringt, werden schwerer zu vermeiden sein, aber genau diese eine kann ich vermeiden.
  • Das lässt sich auf jedes Gerät anwenden, das heute „smart“ im Namen trägt. Zum Beispiel Smartphones, Smart-TVs oder smarte Ampeln.
    Ich wünschte, die Leute würden nicht glauben, dass „smart“ immer besser ist.
    Aber wir werden bereits für eine solche Zukunft trainiert. Menschen gewöhnen sich immer mehr daran, mit Geräten in ihrer Hand zu sprechen, verlassen sich bei der Navigation auf Karten-Apps und verwenden AI-Abfrage-Prompts.
  • Große Unternehmen wie Google tun das bereits ohne AI. Wird AI ihre Dienste verführerischer machen? Ja, aber auch Open-Source-AI und Suche machen große Fortschritte, sodass sie die Abhängigkeit von großen Tech-Unternehmen aufbrechen könnten.
    Wenn irgendwann alle zu Hause ein selbst gehostetes AI-Gerät für 500 Dollar haben, könnte Google seine Existenzberechtigung verlieren. Für eine solche Zukunft zu arbeiten, lohnt sich.
  • Das ist einfach dein Handy.
  • Es klingt poetisch, aber ich habe immer das Gefühl: Wenn man sich etwas vorstellen kann, wird es eher nicht passieren. Die einzige Konstante ist die Überraschung, und solche Entwicklungen kann man höchstens zufällig richtig vorhersagen.

• Einen weiteren Aspekt sehe ich in der durch KI ermöglichten massenhaften Strafverfolgung
  Viele Strafgesetze wurden mit der impliziten Annahme verfasst, dass die Ermittlung und Anklage von Straftaten Ressourcen erfordern und diese Kosten den tatsächlichen Anwendungsbereich des Gesetzes begrenzen. Mit anderen Worten: Es geht um das Ermessen der Staatsanwaltschaft
  Lassen wir die sehr gravierenden Ungerechtigkeiten, die entstehen, wenn dieses Ermessen ungleich ausgeübt wird, für einen Moment beiseite und stellen wir uns eine Welt ohne ein solches Ermessen vor. Das mag etwas konstruiert sein, aber KI könnte es zumindest möglich machen. Wäre das schon mit dem heutigen Gesetzbuch eine bessere Welt?
  Plötzlich könnte eine KI, die öffentliche Aktivitäten überwacht, KI-Ermittler in Gang setzen, die Haftbefehlsentwürfe erstellen, und KI-Richter könnten diese Haftbefehle genehmigen und Stellungnahmen verfassen. Man könnte behaupten, das rechtsstaatliche Verfahren sei eingehalten worden und auch die Aufzeichnungen darüber, dass ein hinreichender Verdacht für weitere Ermittlungen oder eine Festnahme bestand, seien öffentlich zugänglich
  Wie in Demolition Man könnten Strafzettel aus der Wand kommen, nur dass sie vielleicht mit klar dargelegtem hinreichendem Verdacht und gut präsentierten Beweisen schriftlich dokumentiert sind
  Die Ermittlung und Anklage geringfügiger Fälle wird plötzlich möglich. CCTV erwischt jemanden, der auf der Straße einen 20-Dollar-Schein aufhebt, und findet heraus, dass die Person ihn nicht in ihrer Steuererklärung angegeben hat. Möglich wären zahllose Arten, gegen den CFAA zu verstoßen, eine beiläufige Erwähnung von Musikpiraterie in der U-Bahn, eine Drogenermittlung aufgrund erweiterter Pupillen und Torkelns oder Strafzettel für Jaywalking, die wie bei Radarkameras ausgestellt werden
  Wenn derjenige, der auspresst, eine billige KI ist, wen kümmert dann noch, ob „der Aufwand den Nutzen übersteigt“
  Man muss sich fragen, ob das eine bessere Welt ist oder ob wir uns alle einem motivierten Staatsanwalt ausliefern, der unser gesamtes Leben überanalysiert
  Zurück zur Realität: Mir ist klar, dass das Argument „wenn man alle Gesetze durchsetzt, entsteht Chaos“ eher eine Anklage gegen das Strafjustizsystem ist als gegen KI. Aber KI erlaubt uns, uns eine solche Welt tatsächlich vorzustellen, und dieser Gedanke könnte vielleicht helfen, bessere Institutionen zu schaffen

  • Eine andere Möglichkeit ist, dass die Gesellschaft so sehr verfällt, dass Menschen der Zukunft sich für eine solche Dystopie entscheiden. Man kann sich eine vollständig automatisierte Welt der Entbeschäftigung vorstellen, die schrecklich aus dem Ruder gelaufen ist, in der ein großer Teil der Gesellschaft arm, orientierungslos und opioidsüchtig ist
    Nicht die Grundeinkommens-Utopie von Philosophen und Künstlern, sondern eine Welt, in der der Niedergang im Rust Belt immer schlimmer wird und es bergab keine Bremsen gibt
    Die „Überlebenden“, die nicht wissen, was sie tun sollen, könnten zur nuklearen Option greifen und Panoptikum, Gefängnis und Abschottung einer gescheiterten Gesellschaft automatisieren. Es ist der Gegensatz von Eloi und Morlocks, von Tech-Arbeitern in der Bay Area und Zeltstädten in der Bay Area
    Wir haben es in der Vergangenheit schon nicht besser gemacht; warum sollten wir erwarten, dass wir es in einer Zukunft besser machen, in der die „Werkzeuge“ sozialer Kontrolle effizienter und mächtiger werden? Zumal die Entfernung von Empathie durch die emotionale Distanz eines KI-Vermittlers leichter wird als je zuvor
  • Strafzettel für Jaywalking wie bei Radarkameras gibt es bereits seit 2017: https://futurism.com/facial-recognition-china-social-credit
    Seit April 2017 setzt diese Stadt in der chinesischen Provinz Guangdong eine ziemlich harte Methode ein, um Jaywalking zu verhindern. Wer bei Rot über die Straße geht, dessen Gesicht, Name und ein Teil der staatlichen ID werden dank stadtweiter Gesichtserkennung auf großen LED-Bildschirmen an Kreuzungen angezeigt
    Es hat sich noch invasiver weiterentwickelt. Laut Motherboard hat ein chinesisches KI-Unternehmen dieses System mit Mobilfunkanbietern verknüpft, sodass Regelverletzer sofort nach ihrer Erfassung eine SMS mit der Geldbuße erhalten
  • Ich erinnere mich, dass in Weapons of Math Destruction mehrere Beispiele für KI vorkamen, die Bias zeigte, wie er im Justizsystem, bei Banken usw. bereits existiert
  • Auch bestehende Software in diese Richtung zeigt bereits Bias gegenüber marginalisierten Gruppen. Man kann sich leicht eine Zukunft vorstellen, in der am Ende ein Filter eingebaut wird, der bestimmte Personen von den Unannehmlichkeiten dieser Überwachung ausnimmt. Neue Gesetze könnten nötig sein, und sie werden verabschiedet werden
  • Guter Punkt. Wenn Gerechtigkeit nicht von Menschen, sondern von einem System durchgesetzt wird, besteht das Ende dieses Szenarios darin, dass wir auf verschiedene Weise die Fähigkeit verlieren, Verfahren oder Beteiligte infrage zu stellen
    Weil es niemanden gibt, der verantwortlich ist, wird es nahezu unmöglich werden, die Art der Rechtsdurchsetzung anzufechten

• Persönlich mache ich mir weit mehr Sorgen über die Implikationen für Zensur und die dadurch ermöglichten Geschäftsmodelle als über die Implikationen für Überwachung
  Bald wird man Dating-Apps bauen können, bei denen der Chat kostenlos ist, man aber zahlen muss, um einen Treffpunkt festzulegen oder Kontaktdaten auszutauschen. Besonders dann, wenn 99 % der Nutzer die Umgehungsmethoden nicht kennen und wiederholte Umgehungsversuche zur Sperrung führen
  Dasselbe gilt für Apps wie Airbnb oder eBay: Sie könnten verhindern, dass Menschen sie wie einfache Verzeichnisse nutzen und Geschäfte außerhalb der Plattform abschließen, um Gebühren zu vermeiden
  Die Implikationen für Social Media sind noch beunruhigender. Jeder Post, Kommentar, jede Nachricht, jedes Foto und jedes Video kann geprüft und sofort aus der Sichtbarkeit genommen werden, wenn bestimmte Ansichten beworben werden. Beispielsweise ließe sich jede noch so indirekte Erwähnung einer Laborleck-Theorie herausfiltern
  Kinderschutzsoftware wird solche Funktionen ausgiebig nutzen und Helicopter Parenting faktisch neu definieren

• In dem Moment, in dem die Technik so weit war, waren zwei Dinge bis zu einem gewissen Grad unvermeidlich. Statt darüber zu diskutieren, wie man das stoppt, sollten wir dringender darüber sprechen, wie wir uns an diese Realität anpassen
  Es zu stoppen ist größtenteils vergebliche Mühe, und es wäre nur möglich, wenn alle gut wären — was wir nicht sind
  Ein verwandtes Konzept ist allgegenwärtige Überwachung. Eine Situation, in der es buchstäblich überall, wohin man geht, aktive Überwachung gibt und AI sie unablässig filtert und durchleuchtet. In vielen öffentlichen Räumen dicht besiedelter Gebiete ist das bereits in gewissem Maß der Fall, aber stell dir vor, es wäre überall und praktisch unvermeidbar. Abgesehen von Ausnahmen wie einem Faraday cage oder einem Aluhut
  Die realistischste Methode, die Nachteile solcher Überwachung zu begrenzen, ist eine Kombination aus Gesetzgebung, die sie reguliert, und Gegenüberwachung, die die Wahrscheinlichkeit erhöht, dass illegale Überwachung beobachtet und bestraft wird. Die Technik bleibt breit verfügbar, aber ihre Nutzung wird reguliert
  Menschen werden weiterhin versuchen, sie zu umgehen, aber wenn Technologiemissbrauch auffliegt, muss der Preis Gefängnis sein. Wenn Überwachung unvermeidlich wird, kann man nie sicher sein, dass niemand das eigene Fehlverhalten sieht
  Der Vorteil massenhafter, multilateraler Überwachung besteht darin, dass man sich nie absolut sicher sein kann, dass niemand Machtmissbrauch beobachtet
  In der Realität übernehmen und monopolisieren Staaten das natürlich bereits, was in China, Nordkorea usw. schon zu 1984-artigen Szenarien führt

  • Wir müssen mehr Offline-Communitys schaffen. Dinge in Räumen aufbauen, die wir vollständig kontrollieren können und die außerhalb der Reichweite von AI liegen, und in solchen Räumen die Nutzung von Smartphones discouraged oder aktiv ausschließen
    Wichtig ist, keine digital-first Interaktionsformen zu schaffen
  • Meine Haltung zu allem Science-Fiction-haften oder Futuristischen ist ähnlich. Wenn Menschen sich etwas ausdenken, ist dessen Existenz praktisch garantiert, sobald sie herausfinden, wie man es macht
  • Diesem fatalistischen Ansatz stimme ich nicht zu. Er macht es zumindest viel zu leicht, mehr Überwachung zu rechtfertigen. Rechtliche Beschränkungen lassen sich auferlegen

• Bald wird einem im Namen der „Sicherheit“ im Schnitt alle paar Minuten das Gesicht gescannt, und in vielen Lebensbereichen wird das verpflichtend sein. Eine erbärmliche Welt, zu deren Entstehung die IT beigetragen hat

  • Einige von uns tun das mit dem Smartphone bereits. Ich weiß, dass das nicht das ist, was gemeint war, aber in gewisser Weise könnte es die Gesellschaft bereits darauf konditioniert haben
  • Menschen scannen schon seit Jahren Fingerabdrücke oder Gesichter, um ihre Smartphones zu entsperren
  • Es wird noch viel schlimmer werden, und zwar schnell
    Neuronale Schnittstellen sind die letzte Grenze der Privatsphäre, und es sieht so aus, als würde die TSA sie bald vor dem Boarding schnell scannen
    Wenn wir nicht wie beim Internet-Tracking den Anschluss verpassen wollen, wäre es klug, eine Neural Bill of Rights zu schaffen
    https://www.preposterousuniverse.com/podcast/2023/03/13/229-...
  • Ich halte es für unvermeidlich, aber ohne F/OSS hätte es deutlich länger gedauert

• Schneier lag falsch, als er sagte, „hey google“ höre immer zu. Google verarbeitet das Wakeword auf dem Gerät mit dedizierter Hardware, und erst danach wird Audio nach oben übertragen
  Es mag schwer zu glauben sein, aber die Datenschutzleute bei Google versuchen wirklich, das Richtige zu tun. Es gelingt ihnen nicht immer, aber bei unserer Hardware und beim Wakeword-Listening ist es gelungen
  Ich bin Google-Mitarbeiter, aber nicht im Hardwarebereich

  • Was er sagte, war: „Siri und Alexa und ‚Hey Google‘ hören bereits ständig zu, die Gespräche werden nur noch nicht gespeichert.“ Funktional ist das dasselbe wie das, was du gerade beschrieben hast
    Hardware-Wakeword-Verarbeitung ist eine Stromsparfunktion, keine Verbesserung der Privatsphäre. Manche Geräte haben möglicherweise nicht genug Ressourcen, um sämtliches Audio zu übertragen oder zu speichern, aber Audio ist klein, und Textextraktion erfordert keine perfekte Wiedergabe; daher könnten viele Geräte wahrscheinlich so umprogrammiert werden, dass sie genau das tun, wenn man die Kosten bei der Akkulaufzeit in Kauf nimmt

• Deshalb sollte AI-Software nicht eingeschränkt werden. Normale Menschen und zivilgesellschaftlich orientierte Personen müssen persönliche und öffentliche Gegen-AI-Systeme entwickeln können, um Unternehmens-AI etwas entgegenzusetzen. Die Zukunft der AI ist eine adversariale Struktur
  Natürlich bedeutet die Freiheit, AI-Software zu entwickeln, nicht die Freiheit, sie nach Belieben einzusetzen; insbesondere muss ihre Nutzung reguliert werden, um Individuen vor solchen Dingen zu schützen. Aber man kann Menschen nicht vertrauen, daher müssen Mittel zur Selbstverteidigung verbreitet werden können

  • Wie soll adversariale AI die Privatsphäre oder die Freiheit schützen, sich im öffentlichen Raum auf eine Weise zu verhalten, die Big Brother nicht duldet?
  • Ein LLM-Betriebssystem wie in Karpathys Vision braucht einen neuen wohlwollenden Diktator ähnlich Linus Torvalds, jemanden wie Yann LeCun

• AI ermöglicht nicht erst Massenüberwachung; Massenüberwachung existiert bereits
  AI ermöglicht es, über Jahrzehnte hinweg alle möglichen Verhaltensdaten über jeden zu extrahieren
  Um den Advokaten des Teufels zu spielen: In einer Welt, in der Daten nicht böswillig genutzt werden, sondern nur zur Strafverfolgung von Verbrechen gemäß vom Staat verabschiedeten Gesetzen, könnte das zu einer Gesellschaft führen, in der niemand über dem Gesetz steht und alle gleich behandelt werden
  Aber die Menschen, die das System kontrollieren, wollen offensichtlich einen Vorteil, daher geht so etwas selten gut aus