- SB-1047 verfolgt das Ziel einer sicheren KI-Entwicklung, doch die aktuellen Bestimmungen könnten Open-Source-Entwickler und kleine Unternehmen übermäßig belasten
- Wenn Entwicklungsbeschränkungen verschärft werden, könnten Transparenz und Zusammenarbeit abnehmen, wodurch auch die Fähigkeit der breiteren Expertengemeinschaft geschwächt würde, Sicherheitsprobleme zu finden und zu beheben
- Die Definition von „covered model“ ist weit gefasst, und die Anforderungen an verpflichtende Unterbrechung, Berichterstattung und Einhaltung von Leitlinien sind umfangreich, sodass selbst gut gemeinte Open-Source-Modellentwicklung ausgebremst werden könnte
- Audits, Rechtsberatung, Gebühren und die Möglichkeit zivilrechtlicher Strafen können für Startups und Forschende als Markteintrittsbarrieren und Druck zur Selbstzensur wirken
- Ein besserer Ansatz wäre, risikoreiche Anwendungsbereiche statt die Modellentwicklung selbst zu regulieren und zugleich Open Source zu unterstützen, Kooperationen zwischen Wirtschaft, Wissenschaft und Staat zu fördern sowie in staatliche KI-Expertise zu investieren
Grundsätzliche Haltung zu SB-1047
- Dieser Text ist Jeremys persönliche Eingabe an die Verfasser des SB-1047-Gesetzentwurfs und nicht die offizielle Position von Answer.AI
- Das von SB-1047 verfolgte Ziel einer sicheren und geschützten KI-Entwicklung ist an sich positiv zu bewerten
- Problematisch ist, dass einige Bestimmungen des aktuellen Entwurfs negative Auswirkungen auf Open-Source-Entwickler, kleine Unternehmen und Innovation im gesamten KI-Ökosystem haben könnten
- Wenn Open-Source-Entwicklung eingeschränkt wird, kann auch die KI-Sicherheit geschwächt werden
- Wenn Transparenz und Zusammenarbeit abnehmen, wird es für mehr Fachleute schwieriger, potenzielle Sicherheitsprobleme zu identifizieren und zu lösen
- Wenn Kontrolle bei wenigen großen Akteuren konzentriert wird, sinken Vielfalt und Resilienz, und die Wahrscheinlichkeit einzelner Ausfallpunkte sowie systemischer Risiken steigt
Sorge vor einer Schwächung von Open-Source-Entwicklung
- Open Source ist ein zentraler Faktor für den Erfolg der US-Softwareindustrie und hat vielen Menschen Zugang zu wichtigen Softwarewerkzeugen ermöglicht
- Auch viele grundlegende Bausteine moderner KI stammen aus Open Source, und akademische Forschung sowie Sicherheits- und Security-Forschung beruhen fast vollständig auf Open Source
- Wenn Open Source geschwächt wird, sind Entwickler, Verbraucher, die Wissenschaft und neue Startups gleichermaßen betroffen
-
Zu weit gefasste Definition von „covered model“
- Die Definition von „covered model“ im Gesetzentwurf ist sehr weit gefasst und könnte verschiedenste Open-Source-Modelle mit geringem Risiko einschließen
- Dadurch könnten Aktivitäten gutwilliger Entwickler, die nützliche KI-Projekte umsetzen, unbeabsichtigt kriminalisiert werden
-
Haftungsfragen bei Allzweckwerkzeugen
- KI-Modelle ähneln eher Allzwecksoftware, die auf Computern ausgeführt wird, wie Textverarbeitungen, Taschenrechner oder Webbrowser
- So wie Entwickler von Webbrowsern oder Taschenrechnern nicht jeden Missbrauch verhindern können, ist es auch für Modellentwickler schwierig zu garantieren, dass ein Modell niemals für schädliche Zwecke verwendet wird
- Wenn eine solche Verantwortung den Herstellern von Allzweckwerkzeugen auferlegt wird, könnten praktisch nur noch Großunternehmen mit ausreichend starken Rechtsabteilungen solche Werkzeuge entwickeln
-
Belastung durch Anforderungen an Entwickler
- Der Gesetzentwurf auferlegt Entwicklern Belastungen wie verpflichtende Unterbrechungen, umfangreiche Berichte und die Einhaltung möglicherweise unklarer „covered guidance“
- Für Open-Source-Entwickler, denen die Ressourcen fehlen, komplexe Regulierungsverfahren zu bewältigen, wirken solche Anforderungen besonders stark
- Die Angst vor rechtlichen Folgen und bürokratischen Verfahren könnte die Beteiligung an Open-Source-Entwicklung verringern und die kollaborative Kultur schwächen, die den Fortschritt der KI vorangetrieben hat
- Wenn Transparenz abnimmt, wird es auch schwieriger, potenzielle Sicherheitsprobleme zu finden und zu beheben
Auswirkungen auf kleine Unternehmen und das Forschungsökosystem
- Die vorgeschlagene Regulierung könnte erhebliche Markteintrittsbarrieren für kleine Unternehmen und Startups schaffen, die im KI-Bereich innovieren wollen
- Compliance-Kosten und rechtliche Risiken könnten Gründer abschrecken und den Wettbewerb einschränken
- In der Folge könnte sich das Innovationstempo verlangsamen und Macht stärker bei bestehenden Großunternehmen konzentriert werden
-
Kosten und rechtliche Risiken
- Compliance-Kosten wie Gebühren, Audits und Rechtsberatung stellen für kleine Unternehmen und Startups eine erhebliche Belastung dar
- Eine solche Kostenstruktur kann den Wettbewerb einschränken, Macht bei etablierten Großunternehmen konzentrieren und Innovation hemmen
-
Abschreckung von Forschung und Abwanderung von Talenten
- Die Angst, unbeabsichtigt Bestimmungen des Gesetzentwurfs auszulösen, kann bei Forschenden und Entwicklern zu Selbstzensur führen
- Wenn vielversprechende KI-Forschungsrichtungen gemieden werden, werden wissenschaftlicher Fortschritt und das Potenzial von KI zur Lösung gesellschaftlicher Probleme begrenzt
- Ein restriktives Umfeld kann fähige KI-Forschende und Entwickler dazu bewegen, Kalifornien zu verlassen
- Dies könnte der kalifornischen Wirtschaft schaden und die Führungsrolle des Bundesstaats bei KI-Innovationen schwächen
Auswirkungen auf KI-Innovation in Kalifornien und den USA
- Kalifornien spielt eine wichtige Rolle als Motor amerikanischer Innovation, insbesondere im Technologiesektor
- Wenn SB-1047 der KI-Entwicklung übermäßige Belastungen auferlegt, könnte Kaliforniens Führungsrolle in diesem Kernbereich geschwächt werden
- Die Auswirkungen könnten sich auf die gesamten USA ausweiten und den Gesamtfortschritt in KI-Forschung und -Entwicklung verlangsamen
Vorgeschlagene Alternativen
- Statt die Entwicklung von KI-Modellen selbst zu regulieren, braucht es einen Ansatz, der sich auf KI-Anwendungen und reale Risiken konzentriert
-
Unterstützung von Open-Source-Entwicklung
- Die Förderung der Open-Source-Entwicklung von KI-Modellen kann Zusammenarbeit und Transparenz stärken und ein vielfältigeres, resilienteres KI-Ökosystem schaffen
-
Regulierung auf Nutzung statt Entwicklung konzentrieren
- Der Fokus der Regulierung sollte nicht auf der Entwicklung von KI-Modellen liegen, sondern auf der Art der Nutzung von KI
- Insbesondere sollten Anwendungen im Mittelpunkt stehen, die hohe Risiken für öffentliche Sicherheit und Security mit sich bringen
- Wenn KI-Nutzung in Bereichen mit hohem Schadenspotenzial wie Medizin, Strafjustiz und kritischer Infrastruktur reguliert wird, lässt sich Verantwortung für schädliche Nutzung sicherstellen, während die Weiterentwicklung der KI-Technologie fortgeführt werden kann
-
In Transparenz, Zusammenarbeit und Expertise investieren
- Durch Zusammenarbeit zwischen Industrie, Wissenschaft und Regierung lässt sich die Entwicklung und Übernahme bewährter Verfahren für verantwortungsvolle KI-Entwicklung fördern
- Es braucht zugleich die Ausarbeitung von Industriestandards, die Förderung von Open-Source-Entwicklung und Investitionen in KI-Sicherheitsforschung
- Wenn staatliche Stellen mit Ressourcen ausgestattet werden, um KI-Expertise aufzubauen, können sie potenzielle Risiken wirksamer überwachen und darauf reagieren
- Dieser Ansatz ermöglicht eine differenziertere KI-Regulierung, die Sicherheit und Innovation besser ausbalanciert
Konkret besorgniserregende Bestimmungen
- Section 22602 (f): Die Definition von „covered model“ ist zu weit gefasst und könnte verschiedenste Open-Source-Modelle einschließen
- Section 22603 (b): Die Anforderungen an Entwickler sind übermäßig und könnten Open-Source-Entwicklung ausbremsen
- Section 22606 (a): Die Möglichkeit zivilrechtlicher Strafen könnte eine abschreckende Wirkung auf Forschung und Innovation haben
- Section 11547.6 (c)(11): Die Befugnis zur Erhebung von Gebühren könnte Markteintrittsbarrieren für kleine Unternehmen schaffen
1 Kommentare
Hacker-News-Kommentare
Entwickler von Modellen können nicht garantieren, dass ihre Modelle niemals für schädliche Zwecke eingesetzt werden, genauso wenig wie Entwickler von Webbrowsern, Taschenrechnern oder Textverarbeitungen
Wenn man die Hersteller solcher Allzweckwerkzeuge verantwortlich macht, können praktisch nur noch Großkonzerne mit ausreichend großer Rechtsabteilung solche Tools bauen. Es ist fast unmöglich zu garantieren, dass Technologie nicht für „schädliche Zwecke“ verwendet wird, und solche Klauseln würden wohl eine weitere Hürde schaffen, die bei der Entwicklung von LLMs alle außer Großunternehmen ausschließt
Man haftet nicht einmal für den Sicherheitsvorfall selbst, sondern muss ihn nur melden; das mag etwas lästig sein, wirkt insgesamt aber ziemlich vernünftig
Selbst wenn ein Hochleistungsmodell für schlechte Dinge oder sogar katastrophale Schäden eingesetzt wurde, entsteht daraus nicht automatisch Haftung; entscheidend ist, ob vernünftige Präventionsmaßnahmen getroffen wurden. Man hätte auch ein Modell der Gefährdungshaftung wählen können, bei dem für katastrophale Schäden unabhängig von Fahrlässigkeit gehaftet wird, aber genau das tut dieser Gesetzentwurf nicht
Insgesamt erscheint es ziemlich vernünftig: Wenn ein Modell katastrophale Schäden verursachen kann, dann betrifft das heutige Modelle vielleicht noch nicht, künftige aber möglicherweise schon, also sollte es nicht in einer Weise bereitgestellt werden, bei der solche Schäden vorhersehbar sind
Wer die konkreten Inhalte des Gesetzentwurfs verstehen will, dem sei Zvis ausführlicher Artikel empfohlen. Meiner Ansicht nach ist es ein recht eng gefasster Vorschlag, der sich auf die gravierendsten Risiken konzentriert, und zum Beispiel deutlich enger ist als der EU AI Act: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
Andernfalls müsste man konsequenterweise auch Open-Source-Forschung zu biologischen Wirkstoffen, Open-Source-Atomsprengköpfe und Open-Source-Protokolle zum Klonen von Menschen kritisieren. Auch das sind alles Dual-Use-Technologien und objektiv moralisch neutral
So wie man auch nicht erlaubt, an der Straßenecke Handgranaten zu verkaufen. Dieses Wegducken vor Verantwortung ist einer der Punkte, die ich an Big Tech am wenigsten mag
Das könnte KI für Wirkstoffentwicklung und Materialwissenschaft, KI für Stromnetze und Breitband-Traffic-Management sowie KI für Finanz- und Gesundheitsdienste einschließen. Den militärisch-industriellen Komplex könnte dieses Gesetz womöglich gar nicht berühren, sofern nur Bundesverträge betroffen sind. Geheime militärische KI-Entwicklung wirkt ziemlich leichtsinnig; hat denn niemand War Games gesehen?
https://technologymagazine.com/top10/top-10-military-technol...
Zumindest bei Open Source wird die Leistungsfähigkeit unmittelbarer sichtbar
Es wirkt verrückt, dass die Politik Open-Source-KI so aggressiv ins Visier nimmt
Soros sagte, die Verbindung von Unternehmens-KI-Projekten und staatlichen KI-Projekten schaffe eine noch stärkere Bedrohung als die Diktatoren des Kalten Krieges, die sich von unternehmerischer Innovation fernhielten. Gemeint ist: „Die Verbindung eines repressiven Regimes mit IT-Monopolen verschafft solchen Regimen einen eingebauten Vorteil gegenüber offenen Gesellschaften. Sie stellen eine tödliche Bedrohung für offene Gesellschaften dar“
https://www.wired.com/story/mortal-danger-chinas-push-into-a...
Wer globalen Einfluss anstrebt, lechzt buchstäblich nach KI. Ich überlege schon ernsthaft, ob ich mir einen 512GB Mac Studio kaufen sollte, nur um große llama3-Modelle laufen zu lassen, die vielleicht bald verboten werden
Investoren oder Begünstigte von Unternehmen wie OpenAI könnten enge Beziehungen zu Politikern haben. Wahrscheinlich gibt es keine direkte Verbindung, und sie sind vermutlich inzwischen sehr gut darin, solche Verbindungen zu verschleiern und glaubhafte Dementis zu ermöglichen
Wir stehen noch ganz am Anfang. Solange die akademische Welt nicht grandios scheitert, wird man in etwa fünf Jahren auf Forschungsclustern von Professoren Modelle auf dem heutigen State of the Art trainieren können, vermutlich nicht einmal nur an R1-Universitäten
Langfristig wird wohl jeder, der Zugang zu Text im Umfang einer Bibliothek hat, ein brauchbares Modell bauen können. An unserem Gehirn ist nichts Magisches, also wird man Computern irgendwann mit etwa so vielen Büchern Lesen und Schreiben beibringen können, wie man braucht, um einen Menschen zu unterrichten. Selbst wenn sie dann zehnmal dümmer als wir wären: Ein durchschnittlicher Amerikaner liest im Laufe seines Lebens Hunderte Bücher — soll man dann eine Genehmigung brauchen, um mehr als ein paar Tausend E-Books zu besitzen?
Selbst in einer schwächeren Version ohne jegliche Autonomie, die nur aus Prompt-Ergebnissen besteht, würde sie, wenn sie die versprochene Leistung tatsächlich liefert, ernsthafte Destabilisierung verursachen. Auf eine Welt, in der nahezu kostenlose Fälschungen von allem möglich sind, sind wir überhaupt nicht vorbereitet
Andererseits ist es auch gut möglich, dass am Ende sehr seltsame Regeln herauskommen, ähnlich wie bestehende ITAR-Regeln, die mit echter Sicherheit kaum etwas zu tun haben
Das ist deutlich günstiger als ein Mac Studio. Ich habe für ein paar Hundert Dollar einen R820 gekauft, darin stecken 256GB RAM, und es gibt noch Spielraum für mehr
Ergänzend, weil es im Blog nicht erwähnt wird: Am 7. Februar 2024 hat Senator Scott Wiener dem Parlament des Bundesstaats Kalifornien den Gesetzentwurf SB-1047 vorgelegt.
Der offizielle Name lautet Safe and Secure Innovation for Frontier Artificial Intelligence Systems Act; es handelt sich um einen Gesetzentwurf zur Regulierung der Entwicklung und Nutzung fortgeschrittener KI-Modelle. Er verlangt von Entwicklern, vor dem Training eines KI-Modells bestimmte Sicherheitsbewertungen vorzunehmen, verschiedene Sicherheitsanforderungen einzuhalten und KI-Sicherheitsvorfälle zu melden. Außerdem soll innerhalb des Department of Technology eine Frontier Model Division geschaffen werden, die die Aufsicht übernimmt, und bei Verstößen werden zivilrechtliche Geldstrafen eingeführt.
https://www.dlapiper.com/en/insights/publications/2024/02/ca...
https://www.opensecrets.org/orgs/openai/summary?id=D00008425...
https://www.sfgate.com/politics/article/fentanyl-dealers-in-...
Ich mache mir Sorgen, dass solche Regulierungen einen Lock-in-Effekt zugunsten der bereits führenden KI-Unternehmen schaffen und neue Marktteilnehmer unmöglich machen.
Wenn man nicht von Anfang an ein völlig verrücktes Team ist, das ungefähr 1 Milliarde US-Dollar einsammeln kann, hat man keine Chance zu konkurrieren.
Kaum zu glauben. Scott Wieners Wohnungspolitik gefällt mir, aber dieser Gesetzentwurf ist von staatlicher Übergriffigkeit durchzogen.
Ironischerweise würde er denselben Effekt erzeugen wie das NIMBY-System, gegen das er seit Langem kämpft.
Da steht sinngemäß, man solle noch vor Beginn des Trainings eines nicht abgeleiteten Einsatzmodells die Fähigkeit implementieren, dieses betreffende Modell schnell und vollständig herunterzufahren, bis es unter eine Ausnahme von den Beschränkungspflichten fällt. Letztlich wirkt es so, als dürfe man nur trainieren, was vorher genehmigt wurde.
Natürlich kommt auch eine neue Abteilung mit Befugnis zur Gebührenerhebung dazu. Es soll eine Frontier Model Division geschaffen werden, die die jährlichen Zertifizierungsberichte der Entwickler prüft, Zusammenfassungen der Ergebnisse veröffentlicht und dafür Gebühren erheben darf, die in einen separaten Fonds fließen.
Und natürlich muss man auch noch Berater bezahlen. Das Department of Technology soll Berater damit beauftragen, einen öffentlichen Cloud-Computing-Cluster namens CalCompute aufzubauen, dessen Hauptziel die Erforschung der sicheren und geschützten Bereitstellung großer KI-Modelle sowie die Förderung fairer Innovation ist.
Das sollte doch nicht schwer sein, und trotzdem zu garantieren, dass man es abschalten kann, scheint mir eine gute Sache zu sein.
Langfristig frage ich mich, welcher Bundesstaat für KI-Startups am besten sein wird.
Ursprünglich hätte ich Kalifornien gesagt, aber inzwischen scheint es wichtiger zu sein, einen Staat zu wählen, der wahrscheinlich nicht mit Regulierung überzieht. Washington zeigt bisher noch keine solchen Tendenzen, hat keine staatliche Einkommensteuer und verfügt in Seattle/Redmond über viele KI-Ingenieure und Forscher, daher wäre das meine Wahl. Texas wird wahrscheinlich ebenfalls keine zusätzliche Regulierung einführen, und Austin bietet ähnliche Vorteile. Wenn Kalifornien die Branche durch Regulierung verdrängt, welcher andere Ort käme dann auf?
Deshalb wachsen Städte in Texas und Florida. Seattle hat schlechtes Wetter, Washington ist kalt, und die großen Städte sind schlecht verwaltet, sodass sie für wohlhabende Familien kein attraktiver Wohnort sind.
Kalifornien hat besonders hohe Strompreise und erschwert außerdem den Bau neuer Industrieanlagen. In der Nähe von Gewässern, die beim Kühlbedarf helfen könnten, gilt das umso mehr. Unternehmen mögen zwar einen Teil ihrer Mitarbeiter in Kalifornien behalten, aber die Hardware wird wahrscheinlich anderswo laufen.
Dieser Beitrag ist sehr schlecht und riecht nach einem von einem LLM erzeugten Text.
Wenn man diesen Gesetzentwurf wirklich verstehen will, liest man besser Zvis Analyse: https://thezvi.substack.com/p/on-the-proposed-california-sb-...
Zum Beispiel heißt es dort, dass Entwickler vor Beginn der kommerziellen, öffentlichen oder weit verbreiteten Nutzung eines Einsatzmodells, sofern keine positive Sicherheitsbewertung oder Ausnahme von den Beschränkungspflichten vorliegt, angemessene Schutzmaßnahmen und Anforderungen umsetzen müssen, um zu verhindern, „dass eine Person das betreffende Modell nutzt, um ein abgeleitetes Modell zu erstellen, das schweren Schaden verursachen kann“.
Das ist schlicht unmöglich. Wenn man mir die Modellgewichte gibt, kann ich es definitiv feinabstimmen, sodass es anwendungsbezogenen Schaden verursacht. Ich könnte es etwa dazu bringen, Anleitungen zur Herstellung chemischer oder biologischer Waffen auszugeben. Diese Anforderung ist nicht erfüllbar, und wenn sie nicht erfüllt werden kann, darf das Einsatzmodell nicht bereitgestellt werden.
Es ist sehr gut möglich, dass das Unternehmen oder der Autor die eigenen internen Produkte direkt verwendet hat.
Ein „erfasstes Modell“ ist ein AI-Modell, das eines von zwei Kriterien erfüllt
Erstens ein Modell, das mit mehr als 10^26 ganzzahligen oder Gleitkomma-Operationen trainiert wurde. Zweitens ein Modell, das mit einem Rechenaufwand trainiert wurde, der groß genug ist, dass vernünftigerweise zu erwarten ist, dass es eine ähnliche oder höhere Leistung erzielt als ein AI-Modell, das Stand 2024 mit mehr als 10^26 Operationen trainiert wurde; bewertet wird dies anhand von Benchmarks, die häufig zur Quantifizierung der allgemeinen Leistung modernster Foundation Models verwendet werden
Schon mit einem Grundkurs in CPU-Architektur weiß man, dass Ganzzahloperationen und Gleitkomma-Operationen sehr unterschiedliche Rechenlasten verursachen. Ein Akteur könnte diese Formulierung vor Gericht nutzen, um die Anwendungsschwelle nachträglich stark abzusenken. Er könnte etwa behaupten, eine Gleitkomma-Operation entspreche zehn Ganzzahloperationen, sodass die Grenze bei 10^26 Ganzzahloperationen oder 10^25 Gleitkomma-Operationen liege
Indem man sogar künftige bessere Algorithmen anhand heutiger Benchmarks vorwegnehmen will, gelangt man an einen Punkt, an dem der eigentliche Aufwand selbst keine Bedeutung mehr hat. Unabhängig davon, ob heutige Benchmarks die tatsächlichen Fähigkeiten abbilden, scheint dort eine Grenze gezogen zu werden. Ein kleines Modell könnte bei solchen Benchmarks absichtlich schlechter abschneiden und dennoch darauf trainiert sein, bei den Aufgaben, um die sie sich sorgen, wie etwa dem Bau von Atomwaffen, hervorragend zu sein
Dort steht, dass Entwickler vor Beginn des Trainings eines erfassten Modells beurteilen können sollen, ob das betreffende Modell bei allen Benchmarks schlechter abschneiden wird, aber wie soll man die Leistung schon vor dem Training kennen?
Wenn es eine nutzbare Obergrenze gibt, wird sich menschliche Kreativität darauf ausrichten, innerhalb dieses Rahmens zu bleiben. Natürlich betrifft das nur die USA. China, Russland, Nordkorea, der Iran und andere können diese Technologie weiterhin frei verfolgen
Der ganze Text wirkt, als wäre er vollständig von ChatGPT geschrieben
Zum Beispiel wird nicht einmal aus dem eigentlichen Gesetzentwurf zitiert, stattdessen folgen nur vage Behauptungen über den Wert von Open Source
Ich weiß nicht, was sie zur Diskussion beitragen, und ich bezweifle, dass sie überhaupt als Gegenargument mit Begründung funktionieren
Mir gefällt der Vorschlag, nicht die Entwicklung von AI-Modellen selbst zu regulieren, sondern die Anwendungsbereiche, insbesondere jene mit hohem Risiko für öffentliche Sicherheit und Schutz
Wenn der Einsatz von AI in Hochrisikobereichen mit dem größten Schadenspotenzial reguliert würde, etwa im Gesundheitswesen, in der Strafjustiz und bei kritischer Infrastruktur, könnte die Weiterentwicklung der AI-Technologie weiter erlaubt bleiben und zugleich Verantwortlichkeit für schädliche Anwendungen sichergestellt werden. Ich frage mich, ob es gute Argumente gegen diesen Ansatz gibt