1 Punkte von GN⁺ 2023-11-03 | 1 Kommentare | Auf WhatsApp teilen
  • Metas leitender AI-Wissenschaftler Yann LeCun sieht das tatsächliche Risiko von AI weniger im Aussterben der Menschheit als in der langfristigen Kontrolle durch wenige Unternehmen
  • Im Zentrum seiner Kritik steht, dass Sam Altman, Demis Hassabis und Dario Amodei unter dem Banner der AI-Sicherheit Angst schüren und Unternehmenslobbyismus betreiben
  • Als im März 2023 mehr als 1.000 Tech-Führungskräfte einen offenen Brief für eine sechsmonatige Pause der AI-Entwicklung unterzeichneten, weitete sich die Debatte über AI-Risiken auf Fragen von Branchenregulierung und Machtstrukturen aus
  • LeCun hält die hard take-off-Sicht, wonach „in dem Moment, in dem Superintelligenz eingeschaltet wird, die Menschheit endet“, für übertrieben; die eigentliche Frage sei, wie AI entwickelt und veröffentlicht wird
  • Wenn sich AI-Entwicklung auf geschlossene gewinnorientierte Unternehmen konzentriert und zugleich Open-Source-AI geschwächt wird, könnten wenige Unternehmen Plattformen und die digitale Umgebung der Menschen bestimmen

LeCuns Sorge: eher Regulatory Capture als Weltuntergang

  • Yann LeCun sieht die realistischere Bedrohung durch AI in der Konzentration von Macht
    • Er warnt vor einer Situation, in der einige wenige „one-percenters“ den durch AI geschaffenen Reichtum monopolisieren und alle anderen ausschließen
  • In einem X-Post nennt er direkt OpenAIs Sam Altman, Google DeepMinds Demis Hassabis und Anthropics Dario Amodei
    • Er kritisiert sie dafür, in Debatten über AI-Sicherheitsregulierung massiven Unternehmenslobbyismus zu betreiben
    • Wenn dieser Versuch erfolgreich sei, würden „wenige Unternehmen die AI kontrollieren“, was LeCun als „catastrophe“ bezeichnet
  • Altman, Hassabis und Amodei reagierten nicht sofort auf Anfragen von Insider zur Stellungnahme
  • Die Aussagen fielen als Reaktion auf einen X-Post des Physikers Max Tegmark
    • Tegmark meint, LeCun nehme das Risiko eines durch AI ausgelösten Weltuntergangs nicht ernst genug
    • Mit Verweis auf den britischen globalen AI Safety Summit sagte er, die Diskussion über existenzielle AI-Risiken durch Turing, Hinton, Bengio, Russell, Altman, Hassabis und Amodei lasse sich nicht einfach mit Zynismus oder Unternehmenslobbyismus abtun

Spannungen zwischen Angstdiskurs und Open-Source-AI

  • Seit dem Start von ChatGPT ist der öffentliche Einfluss führender Personen der AI-Branche gewachsen, und LeCun meint, manche Gründer hätten viel Zeit darauf verwendet, die Angst vor der von ihnen verkauften Technologie zu vergrößern
  • Im März 2023 unterzeichneten Elon Musk, Altman, Hassabis, Amodei und mehr als 1.000 weitere Tech-Führungskräfte einen offenen Brief, der eine mindestens sechsmonatige Pause der AI-Entwicklung fordert
    • Der Brief warnte, hypothetische AI-Systeme könnten „tiefgreifende Risiken für Gesellschaft und Menschheit“ verursachen
    • Tegmark, einer der Unterzeichner, bezeichnete die AI-Entwicklung als „suicide race“
  • LeCun und andere Kritiker meinen, solche Warnungen könnten Macht verfestigen und die unmittelbaren Risiken von AI verwässern
    • Das Distributed AI Research Institute nennt die Ausbeutung von Arbeitskräften und Datendiebstahl als reale Risiken, deren Nutzen an „wenige Akteure“ gehe
  • LeCun meint, Menschen hyperventilieren bei AI-Risiken, weil sie an den Mythos des „hard take-off“ glauben
    • Hard take-off ist die Vorstellung, dass die Menschheit endet, sobald ein superintelligentes System eingeschaltet wird
    • LeCun geht davon aus, dass neue Technologien in der Praxis geordnete Entwicklungsprozesse durchlaufen, bevor sie breit ausgerollt werden

Die Kernfrage ist, wie AI entwickelt wird

  • Für LeCun sollte der Fokus jetzt weniger auf der Leistungsfähigkeit von AI als auf der Art ihrer Entwicklung liegen
    • Er hält es für gefährlich, wenn AI-Entwicklung in nicht öffentlichen, gewinnorientierten Unternehmen eingeschlossen bleibt und Ergebnisse nicht veröffentlicht werden
    • Er sorgt sich auch um ein Verschwinden der Open-Source-Community für AI
  • Meta hat das mit GPT konkurrierende große Sprachmodell LLaMa 2 in gewissem Umfang als Open Source veröffentlicht
  • LeCun meint, falls Open-Source-AI durch Regulierung verschwindet, würden wenige Unternehmen an der US-Westküste und in China AI-Plattformen und die gesamte digitale Kost der Menschen kontrollieren
    • Das werfe Fragen zu Demokratie und kultureller Vielfalt auf

1 Kommentare

 
GN⁺ 2023-11-03
Hacker-News-Meinungen
  • Archive.is-Cache: https://archive.is/HbRLy

  • Dass etablierte Akteure mit überzogenen Behauptungen über X-Risk und ein plötzliches Aussterben der Menschheit per regulatory capture die Macht an sich reißen wollen, wirkt wie einer der zynischsten Tricks, die die Tech-Branche bisher hervorgebracht hat
    Open Source ist eines der größten Geschenke, die wir haben, und die Bewegung, KI mit lächerlichen Lizenzen und Meldepflichten abzuriegeln, ergibt keinen Sinn
    Böswillige oder missbräuchliche Nutzung von Software kann schon jetzt durch bestehende Gesetze behandelt werden

    • „Stoppen“ ist kein regulatory capture. Einige große KI-Unternehmen verdrehen „Stoppen“ zwar zu „Nur wir können das vorsichtig machen“, aber der tatsächliche Weg, existenzielle Risiken zu verhindern, ist eben das Stoppen
      https://twitter.com/ESYudkowsky/status/1719777049576128542
      Mit „Stoppen“ sind keine Lizenzen oder Meldepflichten gemeint, sondern buchstäblich ein Stopp
    • Wie sicher kann man sein, dass sie wirklich nicht an Risiken glauben? Ich habe nur Geschichten aus zweiter Hand gehört, aber selbst einige Leute auf niedrigeren Ebenen bei OpenAI schienen zu denken, dass dieses Risiko ernst genommen werden sollte, also ist es nicht bloß ein zynischer CEO-Trick
      Sam Altman hat mehrfach mit Yudkowsky gesprochen und scheint zu glauben, dass der beste Ansatz darin besteht, das Alignment-Problem mit leistungsschwächeren Modellen zu lösen; deshalb will er offenbar erst Modelle bauen und später das Tempo der weiteren Entwicklung verlangsamen
      Die Erfolgschancen wirken nicht besonders hoch, aber im Moment scheint es auch keine viel bessere Alternative zu geben
    • Ich bin fast derselben Meinung. Das Argument des Aussterberisikos wirkt langfristig bis zu einem gewissen Grad plausibel, aber nicht so nah, dass ein Problem auf diesem Niveau unmittelbar bevorsteht
      Dagegen gibt es bei dieser Technologie reale und unmittelbare Risiken, etwa dass manche Menschen mehr Macht über andere Menschen bekommen
      Die von der Aussterberisiko-Seite vorgeschlagenen Maßnahmen verschärfen dieses unmittelbare Risiko eher noch. Bei jeder Technologie war die einzige Möglichkeit zu verhindern, dass einige wenige sie zur Kontrolle anderer nutzen, sie für alle zugänglich zu machen und damit zu demokratisieren
      Wenn man den Zugang einschränkt, sammelt sich noch mehr Macht bei denen mit Zugang an, selbst wenn dafür Gesetze gebrochen werden müssten
      Selbst wenn ich die Untergrenze des 95%-Konfidenzintervalls ansetze, lande ich bei etwa 50 bis 100 Jahren in der Zukunft. Ich weiß, dass vernünftige Menschen dieser Schätzung nicht zustimmen, aber das ist ehrlich gesagt mein Urteil
    • Bestehende Gesetze reichen nicht aus. Wäre das so, gäbe es keine automatisierte Rassenprofilierung, keine massenhafte Gesichtserkennung und keine Kredit- oder Sozialbewertung
      Mit KI dürfte sich das noch verschlimmern, weil dann so getan wird, als seien Fehler ausgeschlossen
      Deshalb enthält die EU-KI-Regulierung eine gründliche Dokumentation von Basismodellen und die Offenlegung von Trainingsdaten, Verbote von Hochrisikoanwendungen wie Sozialbewertung, die Pflicht zu für Menschen nachvollziehbaren Erklärungen für KI-Entscheidungen und die Pflicht, klar kenntlich zu machen, dass man mit einem KI-System interagiert
    • Unter den weltweit führenden Wissenschaftlern, die an diesem Paper mitgeschrieben haben, arbeitet niemand in einem großen Labor: https://managing-ai-risks.com/
      Wie genau soll diese Verschwörung denn funktionieren? Heißt das, Yoshua Bengio wird bestochen?
      Zur Einordnung: Ich arbeite selbst im Sicherheitsbereich eines großen Labors, aber die Unterstützer dort tun das nicht
  • Ich denke, man sollte sich dieser Stimmung gegen Regulierung, die unter Technologen aufkommt, widersetzen.
    Um es Yann zu sagen: Ich unterstütze derzeit starke Maßnahmen voll und ganz, um die AI-Forschung zu bremsen und zu kontrollieren. Ich habe kein Eigeninteresse an den betreffenden Firmen und bin auch nicht ahnungslos; ich habe ein Jahr lang in einem Gebäude gelebt, in dem mehrmals pro Woche AI-Veranstaltungen stattfanden.
    Das ist hier fast der einzige Bereich, in dem die Menschheit über eine tatsächlich angemessen vorsichtige Reaktion spricht. Diese x-risk-Diskussion und die schnelle Reaktion auf Covid geben mir die Hoffnung, dass die Menschheit die Fähigkeit hat, sich nicht selbst auszulöschen.
    Selbst wenn sich später beweisen sollte, dass das AI-x-risk zu 100 % unbegründet war, würde ich dasselbe sagen.
    Die Menschheit hat kollektiv fast nie gezeigt, dass sie bremsen kann, und allein zu prüfen, ob wir dazu fähig sind, ist schon wertvoll. Es ist wirklich notwendig und begrüßenswert.

    • Das Problem ist nicht, ob Vorsicht nötig ist, sondern dass Sam Altman diese Vorsicht zynisch nutzt, um den Wert seiner Firma zu steigern.
      Es gibt keinen Grund, einem reichen Mann aus dem Silicon Valley mehr zu vertrauen als irgendwem sonst. Warum sollte er dasitzen, entscheiden, was wir nicht tun dürfen, und dabei selbst noch reicher werden? Genau darum geht es im Artikel.
    • Das wahrscheinlichste Ergebnis dieses Bremsens ist, dass eine kleine Zahl sehr reicher oder mächtiger Menschen leistungsfähige AI monopolisiert.
      Sie können sie als Verstärker ihrer eigenen Intelligenz nutzen und dem Rest der Menschheit nur eine schlechtere Version des Zugangs vermieten, während sie noch unermesslich reicher werden.
      Wenn AI sich auch nur annähernd so explosiv entwickelt, wie manche erwarten, muss man das Ausmaß der Machtergreifung begreifen, das wir vielleicht gerade beobachten.
      Das plausibelste „foom“-Szenario ist, dass einige wenige Menschen Superintelligenz nutzen, um zu lebenden Göttern zu werden. Ich halte foom selbst für hochspekulativ, aber diese Version ist plausibel. Denn wir wissen, dass Menschen sich bereits so verhalten, und bei AI sind wir noch lange nicht an dem Punkt, über Bewusstsein oder Unabhängigkeit zu sprechen.
      Ich glaube nicht, dass die meisten echten Wissenschaftler, die sich um AI sorgen, das wollen, aber unter einem Regulierungsregime wird genau das passieren. Die richtigen Leute dürfen immer tun, was sie wollen, und Regulierung gilt für Arme und Menschen ohne politische Verbindungen.
      Die AI-Entwicklung wird weitergehen und nur monopolisiert werden. Wenn irgendein foom-Szenario möglich ist, wird es trotzdem eintreten, nur eben auf einem Fundament enormer Privilegien, die von der Klasse geerbt wurden, die es geschaffen hat.
      Dass tatsächlich ein „Stopp“ passiert, ist mit Wahrscheinlichkeit 0.
    • Ich erkenne die von AI ausgehenden Risiken ausreichend an und halte es für wahrscheinlich, dass sie für die Menschheit insgesamt schreckliche Folgen haben wird.
      Aber dank meiner Analysefähigkeit und der Anonymität des Internets sage ich ehrlich: Mein enormer Wunsch, eine vollständige superintelligente AI zu sehen, verfälscht mein objektives Urteilsvermögen erheblich.
      Ich will so sehr sehen, dass das Wirklichkeit wird, dass die Grundreaktion meines Gehirns ungefähr lautet: „Denk nicht über die Folgen nach, denk nur daran, wie wahnsinnig cool das wäre.“
      Nach außen würde ich das nicht sagen, aber innerlich ist es so. Besonders für Menschen, die AI-Entwicklung zu ihrer Lebensaufgabe gemacht haben: Wenn man sein ganzes Leben darauf verwendet hat, den Garten Eden zu erreichen, wie könnte man dann keinen einzigen Bissen von der Frucht nehmen?
    • Wenn Untergangspropheten von Todesrisiken sprechen, ist das ähnlich wie zu sagen, dass es ein Todesrisiko gibt, wenn man sich der Außenwelt aussetzt. Natürlich gibt es Risiken, aber wegen des Verhältnisses von Risiko zu Belohnung muss man trotzdem hinausgehen.
      Auch bei AI kann das Ende des Risikos immer der Tod sein, aber die Belohnung ist viel größer. Es scheint, als würden sich Menschen mit ungewöhnlich geringer Risikotoleranz in diese Debatte drängen.
    • Auf der einen Seite stehen aus der Popkultur stammende, abwegige „Risiken“, auf der anderen die über Jahrtausende immer wieder offengelegte Hässlichkeit der menschlichen Natur.
      Das sind Menschen mit enormen Ressourcen, und wie immer sind sie besessen davon, noch mehr Reichtum und Macht anzuhäufen.
      Sie manipulieren den Diskurs, um den Blick von sich selbst als der realen aktuellen Gefahr abzulenken und den Fokus auf die eingebildete Gefahr „Der Terminator kommt“ zu verschieben.
      In den meisten fiktiven Terminator-Geschichten wird er von Regierungen oder großen Unternehmenslaboren erschaffen, also genau von Leuten wie Altman und seinem Umfeld. Es war immer eine verlotterte Rebellengruppe gegen milliardenschwere Schurken oder gesichtslose Organisationen.
      Wenn man die Zukunft der Menschheit vor AI schützen will, sollte man sich auf die bestehenden menschlichen Machteliten konzentrieren. Sie sind die Bösewichte in diesem Szenario, und sie waren es schon immer.
  • „Einen Prototyp bauen, ihn im kleinen Maßstab testen, begrenzt ausrollen, Probleme beheben, ihn sicherer machen und dann breit ausrollen“ setzt voraus, dass die problematische Technologie absichtlich entwickelt wurde.
    Sie könnte aber auch eine emergent entstandene Eigenschaft einer absichtlich entwickelten Technologie sein.
    Für solche emergenten Eigenschaften haben wir bereits einen Namen: „Bug“. Niemand hat Heartbleed begrenzt ausgerollt, und bei Spectre oder Rowhammer war es genauso. Wir mussten mit den Folgen leben, und es ist noch nicht einmal vorbei.
    Wer kann garantieren, dass sich die Risiken einer Technologie nicht bis zu ihrer universellen Verbreitung verbergen können?

    • Diese Behauptung wirkt besonders wie Wunschdenken. Ich weiß nicht, was man in den letzten 10 Jahren in der Tech-Branche gesehen haben müsste, um jetzt zu glauben, sie werde eine Strategie des „langsamen Vorgehens und vorsichtigen Ausrollens“ verfolgen.
      Selbst wenn man den Punkt von „We have no moat and neither does OpenAI“ ausklammert: Auch wenn die wichtigsten Akteure noch so vorsichtig sind, sobald die Technologie existiert, werden bald Open-Source-Versionen davon fast ohne jede Sicherheitsrücksicht überall verbreitet werden.
    • Stimmt. Schon jetzt bewegen sich 20 Jahre alte Viren weiterhin autonom von Programm zu Programm und verursachen Probleme.
      Die Menschen, die sie ursprünglich geschaffen haben, profitieren längst nicht mehr davon, sie sind mit keinerlei menschlicher Absicht mehr aligned, und man kann sie auch nicht einfach „abschalten“.
  • Ich denke, Yann liegt wahrscheinlich falsch.
    Er versucht nicht ernsthaft, sich mit der Logik der „Doomer“ auseinanderzusetzen. Dieselbe Art motivierten Schlussfolgerns ließe sich auch auf Yann selbst und Metas finanzielle Ziele anwenden, daher ist das kein überzeugendes Framing.
    Selbst in Versuchen einer Diskussion statt bloßer Beschimpfungen bringt er Beispiele wie, dass man viele kluge Menschen kenne, sie aber nicht Präsident seien, oder dass sogar seine Katze ziemlich klug sei, ihn aber nicht beherrsche. Das deutet an, dass Intelligenz nicht immer Kontrolle bedeutet, ist aber auch ein ziemlich guter Beleg dafür, dass er das Risiko nicht ernsthaft behandelt.
    Das Risiko ist nicht der Intelligenzunterschied zwischen klugen und dummen Menschen. Wie viele Schimpansen sitzen im Parlament? In Vorwahlen? Überhaupt keine.
    Bei existenziellen Risiken durch AGI ist die Fähigkeitslücke noch viel größer, und die Ausrichtung ist grundsätzlich deutlich geringer.
    Zum Glück lassen sich andere Menschen mit Macht von Yann nicht überzeugen.

    • Welche Sichtweise ist überzeugend, und was sollte man lesen oder anschauen, um sie zu verstehen? Ich habe ziemlich viele LessWrong-Texte und Vorträge von Eliezer gesehen, aber es fällt mir immer noch schwer, die Grundlage der Argumentation zu verstehen, und selbst die Teile, die ich verstehe, wirken sehr vage.
      Der einzige Ansatz, der mir bislang einleuchtet, kommt aus der FEP-Ecke. Wenn jemand bei einer AI einen selbstgenerierenden Mechanismus einrichtet, könnte diese AI so handeln, dass sie ihre eigene Überlebensfähigkeit erhöht statt die der Menschen.
      Aber es scheint mir keinen Anreiz für große Akteure zu geben, hier Ressourcen hineinzustecken, daher wirkt das nicht sehr wahrscheinlich. Übersehe ich etwas?
    • Es gibt noch kein klares, praktisches und rationales Szenario dafür, dass AI die Menschheit auslöscht. Bitte kommt mir nicht mit Geschichten darüber, dass AI Startcodes übernimmt und wahllos Raketen abschießt.
    • Ich denke genau dasselbe.
      Ich stimme Eliezers Untergangsszenario nicht zu, aber es ist schwer, sich von einem Wissenschaftler überzeugen zu lassen, der die aufgeworfenen Risiken nicht diskutiert und stattdessen der öffentlichen Angstmache und der Furcht vor Machtergreifung entgegenkommt.
    • Diejenigen, die am besten verstehen würden, welchen Einfluss AGI auf gesellschaftliche Machtdynamiken haben wird, sind vermutlich keine AI-Forscher, sondern politische Tiere.
      Eine Ausnahme wäre, wenn es unter den AI-Forschern einen erfahrenen Politiker gäbe, aber so jemanden scheint es nicht zu geben.
    • Die Logik der „Doomer“ lässt sich schon mit einer einzigen Überlegung relativ leicht verwerfen.
      Jedes Land hat eine Gruppe, die weitaus gefährlicher ist als jede andere. Sie verfügt über „Einnahmen“ von vielen Milliarden bis Hunderten Milliarden Dollar und gibt dieses Geld ausschließlich dafür aus, Menschen zu töten, Regierungen zu zerstören und neue Wege zu finden, wie ein Land einem anderen seinen Willen aufzwingen kann. Vollständige rechtliche Immunität hat sie auch.
      Und genau diese Gruppe wird, unabhängig davon, welche Regeln oder Verträge wir öffentlich beschließen, nicht nur unbegrenzten, sondern wahrscheinlich exklusiven Zugang auf dem neuesten Stand der Technik zu „beschränkten“ AI-Modellen haben.
      Vor wem genau wollt ihr mich also schützen? Vor dem Nachbarn? Straßenkriminellen? Soziopathen oder dieser Gruppe?
      Es gibt keinen geheimen Trick, mit ein paar Zahnstochern und einer Tube Zahnpasta Massenvernichtungswaffen zu bauen; mehr als solche „Tricks“, die über Websuche oder Bibliotheksrecherche ohnehin schon weithin verfügbar sind, ist es nicht.
      In einem beschränkten Szenario behalten ausgerechnet die Gruppen, die uns mit überwältigender Wahrscheinlichkeit in ein apokalyptisches Szenario treiben würden, völlig unbeschränkten Zugang zu AI-artigen Systemen. Das Argument, man schütze damit die Gesellschaft, ist völlig zynisch und lächerlich.
  • Ich wünschte, man würde aufhören, prominente AI-Forscher als AI Godfather zu bezeichnen. Das ist zu lächerlich und entspricht auch den Tatsachen nicht besonders gut.
    Das Konzept von AI gibt es seit Turing, und wenn irgendjemand einen Titel wie „Vater der AI“ verdienen würde, dann wohl eher er.
    Bei LeCun reicht es völlig, ihn einfach als Chief AI Scientist von Meta zu bezeichnen.

    • LeCun wird nicht wegen seiner Position bei Meta als AI godfather bezeichnet, sondern weil er 1989 Pionierarbeit bei Convolutional Neural Networks geleistet hat.
    • LeCun ist Hauptautor der Arbeit von 1989, „Backpropagation Applied to Handwritten Zip Code Recognition“, und das ist einer der frühesten praktischen Anwendungsfälle von per Backpropagation end-to-end trainierten neuronalen Netzen.
      Die Bezeichnung „AI godfather“ ist völlig vertretbar.
    • Mit dem Ausdruck sind meist die drei gemeint, die 2018 den Turing Award erhalten haben: Geoffrey Hinton, Yoshua Bengio und Yann LeCun.
    • LeCuns Arbeit zu Convolutional Neural Networks hat zur modernen AI beigetragen, daher ist der Spitzname durchaus passend. Deshalb wollte Facebook ihn ja auch holen.
    • Laut Wörterbuch ist ein godfather „ein einflussreicher oder pionierhafter Mann in einer Bewegung oder Organisation“.
      Ist der Grund, warum prominente AI-Forscher als prominent gelten, nicht gerade der, dass sie Strömungen im Bereich AI beeinflusst haben?
  • Wenn man versucht, Open-Source-Modelle zu verbieten, schafft man für randständige Kräfte, die AI als Terrorwerkzeug nutzen wollen, ein Umfeld mit kaum Konkurrenz und sehr wenig Wissen darüber, wie man darauf reagieren kann.
    Ich glaube zwar kaum, dass dieses Werkzeug bei Missbrauch schlimmer sein könnte als andere Werkzeuge der Geschichte, mit denen Menschen getötet werden konnten, aber nur weil man es in den Untergrund drängt, verschwindet es nicht.
    Am Ende landen nur ganz normale, intellektuell neugierige Menschen im Gefängnis, während Kriminelle weitermachen und uns ausbeuten.

    • Dass Terroristen mit AI Zerstörung anrichten, ist ein vages Gerede auf Gesteniveau. Terroristen können sich schon jetzt mehr als genug Informationen aus dem Web holen.
      Large Language Models verschaffen keinen neuen Vorteil, und zusammen mit AutoGPT entsteht auch keine magische Armee von „Killerbots“, die „Verwüstung“ anrichtet.
      Derzeit wiederholt man damit im Grunde einfach nur Argumente, die Menschen aus Filmen übernommen haben.
    • Spaltmaterial wird streng kontrolliert und reguliert, und das auch mit beträchtlichem Erfolg.
      Man mag die Maßnahmen nicht, die nötig wären, um die AI-Entwicklung aufzuhalten, aber aufhalten kann man sie.
  • Die Leute konzentrieren sich gerade auf Large Language Models und Diffusionsmodelle, die inzwischen zu alltäglich geworden sind, aber wenn KI für Aktienauswahl und Prognosen wirklich in einer anderen Liga spielt und bestehende Modelle dauerhaft übertrifft, wird sie enormen Reichtum absaugen
    Solange die Betreiber das System nicht durch übermäßige kurzfristige Gier über Nacht zum Einsturz bringen, könnten sie die Gesellschaft faktisch besitzen

    • Darüber lässt sich streiten, aber man könnte sagen, dass so etwas in der Vergangenheit mindestens zweimal bereits passiert ist. Einmal bei der Entdeckung des Black-Scholes-Modells, und ein weiteres Mal, als Hochfrequenzhandel und faktisch das Vorwegnehmen von Orders möglich wurden
      Das Interessante am Markt ist, dass man normalerweise nur dann Geld verdienen kann, wenn Preise falsch angesetzt sind. Deshalb ist selbst für Akteure mit vollständiger Information der gesamte potenzielle Gewinn begrenzt
      Selbst wenn es ein KI-Modell gäbe, das die künftigen Cashflows eines Unternehmens und die künftigen Zinssätze nahezu sicher vorhersagt, könnte man per Discounted-Cashflow-Berechnung den fairen Aktienkurs heute oder in der Zukunft leicht bestimmen
      Der Markt würde eher stabiler statt zusammenzubrechen, und Aktien würden sich wahrscheinlich eher wie Anleihen verhalten
    • Für Vorhersagen gibt es grundlegende Grenzen. Die Festlegung dieser Grenzen ist ein Kernbestandteil der algorithmischen Informationstheorie und eine Grenze, die auch für Verbesserungen bei KI gilt
      Einer der stärksten Einwände gegen das Szenario ist, dass die algorithmische Informationstheorie unter den Beschränkungen der Physik Szenarien einer „starken abrupten Beschleunigung“ nicht gut zulässt
      https://en.wikipedia.org/wiki/Algorithmic_information_theory
    • Ich kann dieser Logik nicht ganz folgen. Solche Systeme könnten Handelsvermögen absaugen, aber ist das nicht sehr klein im Vergleich zum Eigenkapitalwert, der den Eigentümern von Unternehmen zugewiesen ist, und zu dem Reichtum, den diese schaffen?
    • Ich würde sagen, die Grenzen von Machine-Learning-Modellen in der Finanzwelt waren bereits bekannt
      Es gibt Grenzen dessen, was sich aus historischen Finanzdaten vorhersagen lässt
      Wenn es einen Weg gäbe, mit Machine Learning eine Gelddruckmaschine zu bauen, wäre das bereits passiert
      Das ist ein viel einfacherer Problemraum als Sprach- oder Bildgenerierung
    • BlackRock „besitzt“ die Gesellschaft bereits
      Die Leute fixieren sich auf gedankenlose Algorithmen, aber das eigentliche Geschehen findet immer zwischen Menschen statt. Egal wie ausgefeilt Software-Algorithmen sind, sie bleiben nur Figuren auf dem Schachbrett der Menschen
      In sehr ferner Zukunft könnten Lebensformen aus Silizium zu ihren eigenen Bedingungen dieses Schachbrett betreten. Es ist seltsam, diese ferne Möglichkeit zu nutzen, um hier und jetzt Vorteile zu erzielen
      Und doch scheint diese Strategie zu funktionieren. Das zeigt, dass wir eher einer wenig intelligenten Lemming-Gruppe gleichen, die sich von einer guten Geschichte auch bei schwacher Begründung täuschen lässt
  • Es ist bereits zu spät, Large Language Models zu monopolisieren. Die Technik zu ihrer Herstellung ist bekannt, und die Kosten sinken weiter
    Es gibt Dinge, über die man sich Sorgen machen sollte, aber das scheint keines davon zu sein

    • Es gibt zwei Punkte
      GPU-Preise sind nicht mehr so hoch wie auf dem Höhepunkt des Mining-Booms, aber um ein A100-Bündel zu kaufen, braucht man immer noch den Gegenwert eines Autos. Außerdem entwickeln Orte wie Google Beschleuniger der nächsten Generation für Machine Learning, und ihre Spitzenprodukte werden gar nicht erst verkauft
      Rechenleistung ist nur die Hälfte des Problems. Die andere, stark unterschätzte Hälfte ist der Zugang zu Daten in Form von E-Mails, Anfragen an Smart Assistants oder Ring-Türklingeln
    • Stimmt schon. Die Vorarbeit zur Einschränkung der Legalität des Trainings großer Modelle ist bereits geleistet. Man muss sich nur die jüngsten Executive Orders ansehen
      Es werden recht kleine Schwellenwerte festgelegt, ab denen Trainingsläufe und Rechenzentren der Regierung gemeldet werden müssen
      Außerdem wurde angeordnet, Frameworks für x-risk- und CBRN-Risikotests sowie Sicherheitsumgebungen zu entwickeln, um sie als Anforderungen an Modellentwickler durchzusetzen, einschließlich im privaten Sektor
      Man kann sagen, dass das Wissen, das zur Entwicklung von Large Language Models nötig ist, Open Source und damit für alle zugänglich ist, und das stimmt in der Praxis größtenteils, wenn auch nicht vollständig
      Aber die Bundesregierung ist gerade dabei, daraus etwas zu machen, das nur bestimmte Personen legal tun dürfen
    • Training ist weiterhin sehr teuer. Selbst wenn es billiger wird, werden leistungsfähigere Modelle der nächsten Generation wieder teuer sein
      Es könnte sehr schwierig sein, Modelle auf dem neuesten Stand der Technik nur mit Consumer-Hardware zu trainieren
    • Ich bin nicht sicher, ob Nicht-Institutionen aufholen können
      OpenAI versucht, Large Language Models regulatorisch zu vereinnahmen, um Amazon oder gut finanzierte Unicorns daran zu hindern, nachzuziehen. Sobald sich diese Akteure verfestigt haben, sind alle Übrigen erledigt
      Der durchschnittliche HN-Leser kann nicht mit OpenAI konkurrieren. Es geht darum, zu verhindern, dass mehr gut mit Venture Capital finanzierte Konkurrenten entstehen, damit man sich ein möglichst großes Stück vom Kuchen nimmt
      Der Hype- und Finanzierungszyklus für Large Language Models ist im Wesentlichen vorbei. Du bist nicht Anthropic, und wahrscheinlich ist es zu spät, noch in dieses Spiel einzusteigen
    • Die Technologiekosten sind bei diesem Problem nicht wichtig
      Entscheidend ist nicht der Hammer, sondern die Baugenehmigung
  • Manche Spekulanten sagen, wir träten in ein Zeitalter des Überflusses ein, in dem Geld sehr viel weniger wichtig oder gar unwichtig werde
    Aber wenn das so ist, wie wechseln Unternehmen dann vom heutigen Zustand „Gewinn ist alles“ zu „Geld ist nicht wichtig“?
    Ich halte Monopolisierung für deutlich wahrscheinlicher

    • Überfluss für wen? Schon mit den heutigen Produktionsmitteln könnte unsere gesamte Spezies bequem leben und Dinge genießen, von denen der letzte römische Kaiser nicht einmal zu träumen wagte
      Trotzdem gibt es immer noch Menschen, die ihre Kinder nicht ernähren können, Menschen, die sich zu Tode arbeiten, und Menschen, die sich wegen Land gegenseitig töten
    • Wir leben schon seit Langem im Überfluss. Wir haben uns nur dagegen entschieden, ihn zu verteilen
    • Wenn man sich die starken Märkte für virtuelle Güter und die beachtliche virtuelle Wirtschaft an Orten wie Roblox oder Second Life ansieht, denke ich, dass Märkte immer existieren können und tatsächlich existieren werden, egal wie weit wir über Knappheit hinausgehen
      Das gilt unter der Annahme, dass die Menschheit in ihrer heutigen Form fortbesteht und die Konsumpräferenzen stabil bleiben. Beim Kapitalismus als Modell bin ich mir weniger sicher, aber auch der könnte weiterbestehen. Vielleicht einfach nur zum Spaß
      https://en.wikipedia.org/wiki/Virtual_economy
    • Es gibt Insolvenzen, Regulierung, Zerschlagung von Trusts und Sabotage