Gavin Newsom legt Veto gegen KI-Sicherheitsgesetz SB 1047 ein

 (wsj.com)
1 Punkte von GN⁺ 2024-09-30 | 1 Kommentare | Auf WhatsApp teilen
  • Kaliforniens Gouverneur Gavin Newsom hat sein Veto gegen das KI-Sicherheitsgesetz SB 1047 eingelegt; die Debatte über den Umfang von KI-Regulierung geht damit weiter
  • Kern der Begründung für das Veto ist, dass der Gesetzentwurf nur für die größten und teuersten KI-Modelle gilt und damit zu eng gefasst ist
  • Newsom kritisiert, dass der Gesetzentwurf nicht berücksichtigt, ob Modelle in Hochrisikosituationen eingesetzt werden
  • OpenAI und Meta lehnten den Gesetzentwurf ab, während renommierte Forschungswissenschaftler, die KI-Technologie mitentwickelt haben, ihn unterstützten
  • Newsom will umfassendere KI-Regeln vorantreiben als SB 1047

Veto-Entscheidung und Interessenlagen

  • Kaliforniens Gouverneur Gavin Newsom hat sein Veto gegen den umstrittenen KI-Sicherheitsgesetzentwurf SB 1047 eingelegt
  • Der Gesetzentwurf brachte große Tech-Unternehmen und renommierte Forschungswissenschaftler, die KI-Technologie mitentwickelt haben, gegeneinander in Stellung
  • OpenAI und Meta lehnten den Gesetzentwurf ab, während Forschungswissenschaftler ihn unterstützten

Umfang des Gesetzentwurfs und Gründe für das Veto

  • Newsom erklärte in seiner Veto-Botschaft, dass der Anwendungsbereich des Gesetzentwurfs begrenzt sei
    • Der Gesetzentwurf gilt nur für die größten und teuersten KI-Modelle
    • Er berücksichtigt nicht, ob ein KI-Modell in Hochrisikosituationen eingesetzt wird
  • Newsom wünscht sich umfassendere KI-Regeln als diesen Gesetzentwurf

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-09-30
Hacker-News-Kommentare

  • https://www.wsj.com/tech/ai/californias-gavin-newsom-vetoes-...

  • Newsoms Entscheidung war großartig. Das kalifornische Parlament ist sehr aktiv, aber in den letzten Jahren gab es zu viel Gesetzgebung nach dem Muster „dem Trend hinterherlaufen“. Zwar unterstütze ich Wieners Agenda, insbesondere in der Wohnungspolitik, aber dieser Gesetzentwurf lag völlig daneben.
    Im Grunde war er ein Torpedo gegen offene Modelle, und führende Anbieter wie OpenAI oder Anthropic machten sich wegen dieses Gesetzentwurfs oder offener Modelle im Allgemeinen keine großen Sorgen. Die Unterstützer waren eher Nachzügler wie Musk, die das untere Ende des Feldes bereinigen wollen, oder Akteure wie westliche Gegner und vorsichtige Rechteinhaber, die KI ablehnen, die sie nicht kontrollieren können: https://techcrunch.com/2024/08/26/elon-musk-unexpectedly-off...

    • Einer der Gründe, warum Newsom sein Veto einlegte, war, dass die Schwellenwerte für die Anwendung dieses Gesetzes weit über denen jedes aktuellen Modells lagen, und er wollte stattdessen deutlich kleinere Modelle mit geringerem Trainings-Rechenaufwand breiter einschränken, die von diesem Entwurf gar nicht erfasst werden.
      Außerdem führte OpenAI gemeinsam mit Google und Meta den organisierten Widerstand gegen den Gesetzentwurf an, während Anthropic im Gegenteil ein wichtiger Unterstützer war.
    • Wenn dieser Gesetzentwurf ein Torpedo gegen offene Modelle war, fragt man sich, warum Google, Microsoft, OpenAI dagegen waren. Wären sie nicht in der besten Position, am meisten davon zu profitieren?
    • Gesetze, die eine große neue Industrie abwürgen können, sollten, wenn überhaupt, reaktiv sein. Das war ein miserabler Gesetzentwurf, und die Entscheidung des Gouverneurs ist erfreulich.
    • Man sollte das Tempo herausnehmen und beide Seiten anhören, statt nur denen zuzuhören, die glauben, AGI komme in ein bis zwei Jahren und der T1000 sei hinter uns her.
      Ich denke, LLMs haben eine glänzende Zukunft, besonders je mehr spezialisierte Hardware gebaut wird. Die meisten Probleme kann der Markt lösen; der Staat sollte eingreifen, wenn die Entwicklung in die falsche Richtung läuft oder Monopole und Missbrauch klar erkennbar werden, nicht auf Grundlage breiter Spekulationen von beiden Extremen.
    • Auch ich stimme politisch im Großen und Ganzen mit Wiener überein, besonders bei Wohnungsbau und öffentlichem Nahverkehr, aber bei diesem Gesetzentwurf nicht.

  • https://legiscan.com/CA/text/SB1047/id/3019694
    Dieser Gesetzentwurf scheint es illegal zu machen, offene Gewichte für Modelle ab einer bestimmten Größe bereitzustellen; er würde Anbieter dazu verpflichten, vor dem Verkauf von Rechenressourcen, die ausreichen, um ein solches Modell zu trainieren, zu prüfen, ob der Kunde nicht einfach das Gesetz ignorieren und das Modell trotzdem trainieren wird; und er würde Audit-Anforderungen erzwingen, mit denen nachgewiesen werden soll, dass ein Modell keine Katastrophen unterstützt und abgeschaltet werden kann.

    • Audits können nichts beweisen und haben keinen Wert für die Planung der Zukunft. Audits sind lediglich ein reines Post-mortem-Werkzeug, das Einblicke in potenzielle Risikofaktoren gibt.
      Und bei der Passage „muss abschaltbar sein“ wünscht man sich, die Gesetzgeber würden sich in der Realität bewegen und nicht in einer Star-Trek-Folge.
    • Die Aussage, dass „es illegal wird, offene Gewichte für Modelle ab einer bestimmten Größe bereitzustellen“, steht nirgends in dem Gesetzentwurf. Viele Leute sind nur wegen der Gegner des Entwurfs zu diesem Missverständnis gekommen.
    • Dieser Gesetzentwurf klingt nach Gesetzgebung, die die Grundursache fälschlich bei „vielleicht sind Computer zu intelligent“ verortet und den Punkt verpasst, dass „Menschen und Unternehmen verantwortlich sein sollten, wenn sie Werkzeuge böswillig einsetzen“.
    • Ein sehr schlechtes Gesetz. Die Leute, die dieses Gesetz befürworten, insbesondere Unternehmen, sollten daraufhin beobachtet werden, ob sie nicht versuchen, den Markt zu monopolisieren.
    • Das vorgeschlagene Gesetz ist so absurd dumm, dass ich, wenn ich in Kalifornien lebte, ernsthaft in Betracht ziehen würde, bei der nächsten Wahl für den Gegenkandidaten von Anthony Weiner zu stimmen.
      Es fällt schwer, dieser Person Macht anzuvertrauen, und es ist nicht das erste lächerliche Gesetz, das er vorangetrieben hat. Insbesondere stand er hinter dem offensichtlich verfassungswidrigen AB2098, das die kalifornische Legislative stillschweigend aufhob, bevor es vor Gericht gekippt wurde: https://finance.yahoo.com/news/ncla-victory-gov-newsom-repea...
      https://www.sfchronicle.com/opinion/openforum/article/COVID-...
      Das ist keine Frage der Parteizugehörigkeit. Unabhängig von der politischen Ausrichtung oder der Haltung zu „KI-Sicherheit“ sollte man sich einen umsichtigeren Vertreter wünschen als jemanden mit derart schlechtem Urteilsvermögen und solcher Selbstdarstellung durch Gesetzgebung.

  • Verwandte Beiträge. Gibt es noch mehr?
    OpenAI, Anthropic, Google employees support California AI bill - https://news.ycombinator.com/item?id=41540771 - September 2024, 26 Kommentare
    Y Combinator, AI startups oppose California AI safety bill - https://news.ycombinator.com/item?id=40780036 - Juni 2024, 8 Kommentare
    California AI bill becomes a lightning rod–for safety advocates and devs alike - https://news.ycombinator.com/item?id=40767627 - Juni 2024, 2 Kommentare
    California Senate Passes SB 1047 - https://news.ycombinator.com/item?id=40515465 - Mai 2024, 42 Kommentare
    California residents: call your legislators about AI bill SB 1047 - https://news.ycombinator.com/item?id=40421986 - Mai 2024, 11 Kommentare
    Misconceptions about SB 1047 - https://news.ycombinator.com/item?id=40291577 - Mai 2024, 35 Kommentare
    California Senate bill to crush OpenAI competitors fast tracked for a vote - https://news.ycombinator.com/item?id=40200971 - April 2024, 16 Kommentare
    SB-1047 will stifle open-source AI and decrease safety - https://news.ycombinator.com/item?id=40198766 - April 2024, 190 Kommentare
    Call-to-Action on SB 1047 – Frontier Artificial Intelligence Models Act - https://news.ycombinator.com/item?id=40192204 - April 2024, 103 Kommentare
    On the Proposed California SB 1047 - https://news.ycombinator.com/item?id=39347961 - Februar 2024, 115 Kommentare

  • Die unmittelbare Gefahr großer KI-Modelle besteht nicht darin, die Erde in Büroklammern zu verwandeln, sondern darin, Betrug als Service zu ermöglichen und eine Gesellschaft zu schaffen, in der man nichts mehr vertrauen kann.
    Ich könnte sogar ein etwas unbeholfenes Gesetz unterstützen, das vorschreibt, dass Bilder, Audio und Video, die von Modellen mit mehr als X Parametern erzeugt wurden, Metadaten tragen müssen, die sie als KI-generiert kennzeichnen. Also etwa ein Verbot, Modelle zu bauen, die solche Tags nicht anbringen.
    Das offensichtliche Problem ist allerdings, dass man auch das erneute Hochladen eines Screenshots eines KI-Bildes ohne Metadaten illegal machen müsste; besonders bei Bildern könnte die Durchsetzung völlig chaotisch werden. Vor allem müssen alle Maßnahmen in diesem Bereich unter der Annahme entwickelt werden, dass wir praktisch nicht kontrollieren können, was „böswillige Akteure“ tun. Verantwortlich zu handeln heißt, auf Geld zu verzichten, und dieses Geld fließt dann an weniger verantwortungsvolle Länder.

    • Bei offenen Modellen kann jeder eine solche Tagging-Funktion einfach abschalten; Ausgaben ohne Tag zu verbieten ergibt daher keinen Sinn.
    • Gesetze, die nicht vertrauenswürdige Inhalte klassifizieren wollen, wirken zum Scheitern verurteilt. Stattdessen müssen wir bessere Wege finden, Vertrauenswürdigkeit zu vermitteln, und ich bin mir nicht sicher, ob zusätzliche Gesetze hier helfen.
    • Der realistischste Weg zur Verifizierung von KI-Bildern scheint mir zu sein, Fingerprints aller von einem Generator erzeugten Bilder zu speichern.
      Wenn später ein Bild auftaucht, könnte man Meta oder wen auch immer fragen: „Sieht das so aus, als hättet ihr es erzeugt?“ Ähnliche Technik existiert bereits, etwa YouTubes Content ID oder die Erkennung von CSAM. Sie ist nicht perfekt, könnte aber helfen, ohne die massiven Nebenwirkungen eines Versuchs, jede Bilderzeugung abzuriegeln.
    • Für Fälle, in denen es um Betrug geht, kann man Gesetze erlassen, die eine Kennzeichnung von KI-Inhalten verpflichtend machen.
    • Dass die Erde in Büroklammern verwandelt wird, wird nicht unmittelbar passieren; dieses Risiko kann man also getrost ignorieren.

  • Ich war neugierig, ob der Artikel die Risiken, die der Gesetzentwurf behandelt, überzeichnet, und habe deshalb den Originaltext gelesen.
    „Erheblicher Schaden“ bezeichnet einen Schaden, der durch ein erfasstes Modell oder dessen abgeleitetes Modell verursacht oder wesentlich ermöglicht wird, und umfasst Fälle, in denen durch die Herstellung oder den Einsatz chemischer, biologischer, radiologischer oder nuklearer Waffen Massenopfer entstehen; Fälle, in denen durch einen Cyberangriff auf kritische Infrastruktur Massenopfer oder Schäden von mehr als 500 Mio. US-Dollar entstehen; Fälle, in denen ein Modell unter begrenzter menschlicher Aufsicht durch Handlungen, die Straftaten darstellen würden, Tod, schwere Verletzungen oder Sachschäden verursacht; sowie vergleichbare erhebliche Schäden für die öffentliche Sicherheit.
    Ausgenommen sind jedoch Fälle, in denen die vom Modell ausgegebenen Informationen für die Allgemeinheit aus anderen Quellen vernünftigerweise öffentlich zugänglich sind; Fälle, in denen das Modell bei Kombination mit anderer Software nicht wesentlich zur Möglichkeit des Schadens beigetragen hat; sowie Fälle, in denen der Schaden nicht durch die Erstellung, Speicherung, Nutzung oder Veröffentlichung des Modells durch den Entwickler verursacht oder ermöglicht wurde.

    • Glaubt Newsom, dass KI-Modelle solche Schäden autonom verursachen können, oder versteht er, dass das nur möglich ist, wenn Menschen sie nutzen und beaufsichtigen?
      Wenn Menschen mit KI Schaden anrichten können, könnten sie es vermutlich auch ohne KI schaffen; entscheidend ist, wie stark KI die Wahrscheinlichkeit destruktiver Ziele erhöht. Ich verstehe nicht, ob die Sorge darin besteht, dass KI dies zugänglicher und effektiver macht, und was genau das Monster sein soll. Ich glaube nicht, dass diese Modelle über nichtöffentliche Informationen zu missbrauchbaren Infrastrukturen und Systemen verfügen.
    • Die Ausnahme für Schäden durch „Informationen, die für die Allgemeinheit aus anderen Quellen vernünftigerweise öffentlich zugänglich sind“, verschlingt die gesamte Regel und zielt nicht auf das ab, was KI anders macht. KI ist tatsächlich besser als normale Menschen darin, mehrere Faktenströme zusammenzuführen.
      Deshalb wirkt dieses Gesetz wie Gesetzgebungstheater. Es könnte darauf ausgelegt sein, Aufmerksamkeit und Spenden anzuziehen und eine politische Franchise aufzubauen. Dass es nur auf die größten Modelle zielt, sodass nur die größten Akteure betroffen sind, könnte ebenfalls daran liegen, dass sie pro Entscheidung die größten Spendenmöglichkeiten haben und durch Widerstand den geringsten Goodwill-Verlust riskieren.
      KI-Regulierung wird eine legislative und administrative Aufgabe von der Komplexität einer neuen Steuergesetzgebung werden; wenn man sie als politische Franchise behandelt, wird sie unmöglich. Wenn man sieht, wie OpenAI zu einem gewinnorientierten Unternehmen wird, reicht die Non-Profit-Form allein nicht aus, um die Gemeinwohlorientierung zu erhalten. Eine solche Umwandlung zuzulassen, liegt auf einer ähnlichen Größenordnung wie die Umwandlung gemeinnütziger Krankenhaussysteme in gewinnorientierte Unternehmen seit den 1990er-Jahren.
      Das Potenzial von KI macht unsere Governance-Schwäche deutlich sichtbar. Schwache Governance eröffnet zwar auch mehr Chancen, doch der Antrieb, der Ausbeutung durch ihr Scheitern zu entkommen, stärkt Autokratie, und Autokratie verschlingt neben anderen Rechten auch Eigentumsrechte.

  • Ist eine der Sorgen, dass außer Kontrolle geratene KI-Berechnungen einfach außerhalb Kaliforniens stattfinden werden?
    Ähnlich wie bei der County-Abstimmung in Sonoma zu CAFOs gibt es das Argument, dass selbst lokal erzielte Umweltfortschritte am Ende das Problem in andere Bundesstaaten mit laxerer Regulierung exportieren könnten: https://www.kqed.org/news/12006460/the-sonoma-ballot-measure...

    • Wie bei allen Gesetzen wird es sicher Menschen geben, die Regulierung geografisch umgehen. Gut geschriebene Gesetze werden später in anderen Regionen, die eine Regulierungsfunktion wollen, als Präzedenzfall oder Ausgangspunkt herangezogen.
      Die EU und Kalifornien scheinen bei Technologie und Datenschutz oft in dieser Vorreiterrolle zu sein. Oberflächlich kann das wie vergebliche Mühe wirken, aber es ist ein Wegbereiter und ein notwendiger Schritt, damit gute Gesetze weltweit Fuß fassen können.

  • Es war ein dummes Gesetz, also hat ein Politiker ausnahmsweise mal etwas Kluges getan.

  • Mich würde interessieren, ob es Material gibt, das die Argumente für und gegen diesen Gesetzentwurf zusammenfasst. Mein erster Gedanke beim Lesen des Artikels war, dass Formulierungen wie „angemessene Sorgfalt“ und „unvernünftiges Risiko“ so wirken, als könnten sie endlos zu Klagen führen und seien für ein Gesetz nahezu unmöglich vage
    Gleichzeitig haben Informatiker wie Geoffrey Hinton und Yoshua Bengio, die einen erheblichen Teil der Basistechnologien der aktuellen Welle generativer KI geschaffen haben, ihn öffentlich unterstützt, und auch 119 ehemalige und aktuelle Mitarbeitende großer KI-Unternehmen haben einen Brief unterzeichnet, der zur Verabschiedung aufrief. Natürlich heißt Intelligenz in einem Fachgebiet nicht, dass man Rechtsrat ungeprüft vertrauen sollte, aber ich würde gern wissen, warum Hinton und Bengio dieses Gesetz so stark unterstützt haben

    • „Angemessene Sorgfalt“ und „unvernünftiges Risiko“ sind überhaupt keine problematischen Formulierungen, sondern völlig standardmäßige Rechtsbegriffe. Zum Beispiel befasst sich das Deliktsrecht genau mit solchen Dingen
      Natürlich kann es zu Klagen kommen, aber der Kern ist: Wenn es Grauzonen gibt, müssen Unternehmen eindeutig innerhalb des unproblematischen Bereichs operieren, und wenn sie Grenzen ausreizen, müssen sie wissen, dass sie ein rechtliches Glücksspiel eingehen. Mit vernünftigen Verfahren, klarer Dokumentation und anwaltlich abgesegneten Entscheidungen bleibt man in der Regel leicht im sicheren Bereich. Der Gesetzentwurf kann aus anderen Gründen schlecht sein, aber diese beiden Formulierungen selbst sind nicht das Problem
    • Die Sorge ist, dass Systeme in naher Zukunft sehr viel leistungsfähiger werden als heutige Systeme und dass es dann zu spät sein könnte, noch zu reagieren
      Viele Menschen in großen führenden KI-Unternehmen glauben, dass eine weltverändernde AGI innerhalb von fünf Jahren kommen könnte; siehe etwa Aschbrenners Situational Awareness. Es gibt auch die parallele Sorge, dass KI Terrorismus erleichtern könnte: https://www.theregister.com/2023/07/28/ai_senate_bioweapon/
      Yoshua Bengio hat kürzlich seine Sicht auf KI-Sicherheit ausführlich dargelegt; er gewichtet die These, dass KI auf menschlichem Niveau sehr bald kommt, weniger stark, hält aber übermenschliche Intelligenz innerhalb von 5 bis 20 Jahren für möglich. Er sagt: „Angesichts dieser Unsicherheit, des Ausmaßes katastrophaler oder existenzieller Risiken und der Tatsache, dass wir die jüngsten schnellen Fortschritte der KI-Fähigkeiten nicht vorhergesehen haben, ist agnostische Vorsicht der weitaus klügere Weg“
      Auch Hinton hält derzeit ausführliche Vorträge über das Risiko eines Kontrollverlusts. Befürworter sehen diesen Gesetzentwurf im Allgemeinen als eng zugeschnittenes Gesetz, das die schlimmsten Szenarien von Kontrollverlust und Missbrauch bis zu einem gewissen Grad adressiert: https://yoshuabengio.org/2023/05/22/how-rogue-ais-may-arise/
      https://yoshuabengio.org/2023/06/24/faq-on-catastrophic-ai-r...
      https://yoshuabengio.org/2024/07/09/reasoning-through-argume...
    • Ich habe mir angesehen, was als angemessene Sorgfalt gelten würde, und meine Schlussfolgerungen hier zusammengefasst: https://www.lesswrong.com/posts/kBg5eoXvLxQYyxD6R/my-takes-o...
    • Der Informatiker Scott Aaronson hat in seinem Blog einen unterstützenden Beitrag dazu geschrieben: https://scottaaronson.blog/?p=8269
      Er verlinkt auf frühere Erklärstücke und enthält Argumente pro und contra sowie weitere Diskussionen in den Kommentaren
    • Das California Office of Legislative Counsel stellt für jeden vollständigen Gesetzestext immer ein „digest“ bereit: https://leginfo.legislature.ca.gov/faces/billTextClient.xhtm...
      Das ist keine Liste von Pro- und Contra-Argumenten aus Branchensicht, dürfte aber die neutralste Erklärung dazu sein, was dieser Gesetzentwurf bewirkt

  • Das war eine schreckliche Gesetzgebung, und es ist gut, dass der Gouverneur sie gestoppt hat
    Genau so sieht regulatory capture aus. Wenn jemand dein Produkt zur Commodity macht, wird es illegal gemacht, es weiterhin kostenlos anzubieten
    Das ist im Grunde nichts anderes, als Linux zu verbieten, damit alle Microsoft und Apple nutzen

    • Ich stimme nicht zu. Zu diesem Thema sehe ich viel zu viele ideologische und schlecht informierte Behauptungen
      Ich glaube, viele Menschen, die davon träumen, ein KI-Startup zu gründen, tun sich schwer damit, die KI-Landschaft sowie ihre Vor- und Nachteile rational und neutral zu bewerten
    • Solche Gesetze können Unternehmen auch daran erinnern, dass es noch 49 andere Bundesstaaten und fast Hunderte andere Länder gibt
      Kalifornien hat einen seltenen Zeitgeist aus Technologie und Universitäten, aber mit genügend Geld und Zusagen ist das anderswo nicht unmöglich zu reproduzieren
    • Dieses Veto dürfte vor allem daran gelegen haben, dass Kalifornien im KI-Wettbewerb nicht ins Hintertreffen geraten wollte