Notwendigkeit der Offenlegung von KI-Verhaltensrichtlinien

• John Carmack, der Doom-Entwickler war und als CTO bei Oculus arbeitete, tweetete

  "AI-Verhaltensrichtlinien, die durch Prompt Engineering und Filterung festgelegt werden, sollten öffentlich sein, und die Ersteller sollten stolz offenlegen, welche Vision davon, was in der Gesellschaft am besten ist, sie haben und wie sie sie in Befehlen und Code konkret umgesetzt haben.
  Ehrlich gesagt glaube ich, dass sich viele Menschen dafür schämen.
  Natürlich liefern tausende kleine Nudges, die mit menschlichem Feedback im Reinforcement Learning kodiert wurden, eine deutlich plausiblere Art der Ablehnung."

[GN⁺]

Hacker News Kommentar

• Google scheint, nachdem die Firma dafür kritisiert wurde, dass ein Bilderkennungsmodell Schwarze als Gorillas falsch erkannt hat, versucht zu haben, im Bildgenerierungssystem übermäßig viel Wert auf Vielfalt zu legen.
• Ich hatte zwar nie direkt mit großskaliger Inhaltsverwaltung oder Moderation zu tun, aber ich nehme an, dass automatisierte Regeln normalerweise nicht offen gelegt werden, weil es aus Sicherheitsgründen eine Art „Verschlüsselung“ braucht. Wenn man beispielsweise die Blacklist veröffentlicht, könnten Menschen leicht Wörter finden, die nicht auf der Liste stehen, um problematische Inhalte auszudrücken. Aktuell scheint dafür jedoch kein besserer Ansatz zu existieren.
• Gemini hat Probleme bei der Erzeugung weißer Figuren, was noch ausgeprägtere rassistische Probleme verursachen kann. Bemühungen um Diversity, Equity & Inclusion (DEI) können genau das Gegenteil bewirken.
• Die Sicherheitsvorkehrungen von Gemini sind sehr restriktiv und werden selbst bei harmlosen Prompts mehrfach ausgelöst. Das ist bei ChatGPT ähnlich, aber nicht so schlimm wie bei Gemini. Ich hoffe, dass sich die Sicherheitsvorkehrungen durch Feedback etwas lockern lassen, doch in naher Zukunft dürfte es bei der aktuellen Lage bleiben.
• LLMs (Large Language Models) und Stable Diffusion lassen sich lokal einfach ausführen, und sie reagieren auf die Nutzeranfragen. Mit einem leistungsstarken Rechner können sie sogar schneller laufen als OpenAI oder Gemini. LM Studio und AUTOMATIC1111 machen es einfach, lokal LLMs bzw. Stable Diffusion zu betreiben.
• Zensur funktioniert nur dann effektiv, wenn man nicht weiß, was genau zensuriert wird. Das zu Zensierende vermittelt selbst die Botschaft.
• Ich möchte gern mehr Transparenz über die Sicherheitsvorkehrungen für KI-Verhalten sehen, erwarte jedoch nicht, dass das in absehbarer Zeit passiert. Transparenz kann das Umgehen solcher Schutzmaßnahmen jedoch deutlich vereinfachen.
• Google hat den sicheren Weg gewählt, weil ihnen klar ist, dass Nutzer verärgert wären, wenn bei der Anfrage nach einer schwarzen Frau ein weißer Mann erzeugt wird. Gleichzeitig muss klar werden, dass das derzeitige Ergebnis dennoch nicht akzeptabel ist.
• Ich bin neugierig auf den geografischen Hintergrund des Teams, das diese Sicherungen erstellt hat, und auf die Sprache, die es benutzt hat. Die Ergebnisse neigen dazu, vor allem Südasier (insbesondere südasische Frauen) und Schwarze zu erzeugen, während lateinamerikanische Personen fast nie erzeugt werden. Für ein Team in den USA könnte das eine große Auslassung sein. Stereotype indigene Personen oder Ostasiaten werden dagegen gelegentlich generiert.
• Das ist dafür da, dich zu schützen. Es soll dich nicht verletzen. Aber man weiß nicht, wie man dir schaden kann oder wie man schützt.