Doug Lenat gestorben
(substack.com/garymarcus)- Der KI-Forscher Doug Lenat war eine Schlüsselfigur, die versuchte, symbolische KI, die mit expliziten Repräsentationen arbeitet, in reale Systeme zu überführen; Gary Marcus bezeichnete ihn als einen „Giganten, den die KI verloren hat“
- Lenat widmete die letzten 40 Jahre seines Lebens Cyc, mit dem er versuchte, Alltagswissen in eine für Maschinen interpretierbare Form zu kodieren; Cycorp bestand 40 Jahre lang fort, obwohl der große kommerzielle Erfolg ausblieb
- Der Ansatz von Cyc zielte direkt auf das Problem von Alltagswissensrepräsentation und Schlussfolgern, mit dem sich auch heutige große Sprachmodelle (LLMs) noch schwertun
- Ken Forbus und Muktha Ananda würdigten den Einfluss von Cyc auf die Forschung zu symbolischer Repräsentation, Schlussfolgern sowie Wissensgraphen und dem Web
- Eine von Lenats letzten Arbeiten, Getting from Generative AI to Trustworthy AI, war ein Versuch, die Lehren aus Cyc mit modernen LLMs zu verbinden
Die Stellung von Doug Lenat und Cyc
- Doug Lenat war ein Forscher, der die symbolische KI, wie sie von Marvin Minsky, John McCarthy und Allen Newell erforscht wurde, tatsächlich zum Laufen bringen wollte
- Gary Marcus sieht die Integration von neuronalen Netzen und symbolischer KI zwar als Lebensthema, meint aber, dass Lenat im Bereich der reinen symbolischen KI sehr viel tiefer vorgedrungen war
- Lenat startete und leitete in den letzten 40 Jahren das Projekt Cyc
- Cyc war der Versuch, Alltagswissen über die Welt in eine Form zu kodieren, die Maschinen interpretieren können
- Cyc und Cycorp, das zu seiner Trägerschaft gegründet wurde, erzielten keinen großen kommerziellen Erfolg
- Dennoch ist es unter KI-Unternehmen ein seltener Fall, dass Cycorp auch 40 Jahre später noch weiterbesteht
- Für Marcus ist Cyc ein pionierhaftes Experiment, das sich nicht einfach in Erfolg oder Misserfolg einteilen lässt
- Cyc hat sich nicht vollständig durchgesetzt, könnte aber umso wichtiger erscheinen, je mehr echte Fortschritte in Richtung künstlicher allgemeiner Intelligenz gemacht werden
Das Problem des Alltagswissens und die letzte Arbeit
- Im Text schwingt die Sorge mit, dass viele jüngere KI-Forscher Cyc kaum kennen, obwohl sie wissen sollten, was Cyc versucht hat
- Das bedeutet nicht, dass Cyc ein sofortiger Ersatz für große Sprachmodelle sein soll
- Das Ziel, Maschinen Alltagswissen ausdrücken und darüber schlussfolgern zu lassen, besteht weiterhin
- Der TED-Vortrag von Yejin Choi aus dem Jahr 2023, Why AI is incredibly smart and shockingly stupid, setzt diesen Gedanken fort, dass heutigen KI-Systemen trotz offensichtlicher Erfolge Alltagsverstand fehlt
- Auch das Buch von Marcus und Ernie Davis aus dem Jahr 2019, Rebooting AI, behandelt dasselbe Thema
- Große Sprachmodelle können je nach Formulierung der Frage oder Zufälligkeiten in den Trainingsdaten in manchen Fällen richtig und in anderen falsch liegen und dadurch eine Illusion von Alltagsverstand erzeugen
- Selbst wenn man konkrete Fehler patcht, können laufend andere Fälle desselben Typs auftreten
- Cyc war ein Versuch, darauf eine tiefere und robustere Antwort zu finden
- Der KI-Forscher Ken Forbus von der Northwestern University bewertet Cyc als den ersten Fall, der zeigte, dass symbolische Repräsentation und Schlussfolgern einen erheblichen Teil des Alltagswissens erfassen können
- Wissensbasen mit Milliarden Fakten sind in der Industrie verbreitet, aber in Bezug auf Ausdrucksstärke hält er Cyc weiterhin für das fortschrittlichste System
- Seine Forschungsgruppe verwendet die Repräsentationen von Cyc seit Jahrzehnten
- Muktha Ananda, Director of Google Learning Platform, würdigte Lenats Vision, Ausdauer und Beharrlichkeit und erklärte, dass die Arbeit an Cyc sie auf ihrem Weg in der Forschung zu Wissensgraphen und dem Web stark inspiriert habe
- Marcus und Lenat wollten im vergangenen Jahr gemeinsam eine lange Arbeit verfassen, die die Lehren aus Cyc zusammenfasst
- Das Manuskript umfasste fast 40.000 Wörter und war eine Mischung aus Wissenschaft und Oral History
- Cyc war im Umfang beeindruckend, in der Umsetzung aber schwer handhabbar, und aus akademischer Sicht war das größte Problem, dass es sich um ein proprietäres System handelte
- Als Lenat erkrankte und die Zeit knapp wurde, verfasste er zusätzlich eine kürzere und stärker verdichtete Arbeit
- Am 31. Juli 2023 wurde auf arXiv Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc veröffentlicht
- Sie blickt auf das zurück, was Cyc zu leisten versuchte
- Sie verdichtet die Elemente, die man von echter künstlicher Intelligenz erwarten sollte
- Sie fordert eine Versöhnung zwischen der tiefen symbolischen KI-Tradition, der Lenat angehörte, und modernen LLMs
1 Kommentare
Meinungen auf Hacker News
Doug war manchmal direkt, aber im Grunde ein freundlicher und großzügiger Mensch, und sein Engagement für seine Vision und für die Menschen, mit denen er arbeitete, verdiente Respekt.
Ich arbeitete von 2016 bis 2020 bei Cycorp, und da das Büro nicht groß war, sah ich Doug häufig.
Einmal sagte er beim wöchentlichen gemeinsamen Mittagessen, er werde sich ein neues Auto kaufen, und fragte, ob jemand sein altes, aber gut gepflegtes Auto gebrauchen könne. Als ein Mitarbeiter vorsichtig die Hand hob und sagte, seine Tochter fange bald mit dem Fahren an, schenkte Doug ihm das Auto auf der Stelle.
Er mochte auch Brettspiele und hatte mit Leuten aus der Firma eine D&D-Gruppe; ich habe gehört, dass er immer nur rechtschaffen gute Charaktere spielte. Es hieß, er habe gar nicht gewusst, wie man anders spielt.
Mit 17, als Schüler, hatte ich ein Vorstellungsgespräch mit Doug Lenat und wurde als Sommerpraktikant bei Cycorp eingestellt; das war meine erste echte Programmierarbeit.
Dieses Praktikum hat mein Leben verändert, und ich bin Doug immer dankbar dafür, dass er einem Kind buchstäblich mutig eine Chance gegeben hat.
Doug war ein herausragender Informatiker und ein Pionier der künstlichen Intelligenz. Da Cycorp eine kleine Firma war, saß ich in vielen Meetings, und es war offensichtlich, dass er jedes technische Detail verstand.
Cycorp war seiner Zeit 30 Jahre voraus, funktionierte in der Praxis aber nicht. Für alle, die es nicht kennen: Es war der erste groß angelegte kommerzielle Versuch, allgemeine künstliche Intelligenz zu schaffen – im Grunde so etwas wie das erste OpenAI.
Von Doug habe ich viel darüber gelernt, wie man absurd große Ambitionen hat und nicht aufgibt. Ich habe nur wenige Menschen gesehen, die über Jahrzehnte an Cycorp festhielten, die Finanzierung aufrechterhielten, großartige Leute einstellten und das Problem immer weiter vorantrieben.
Außerdem würde mich interessieren, woran du als 17-jähriger Praktikant genau gearbeitet hast und welche Fähigkeiten du mitgebracht hast.
Ich arbeitete ungefähr von 1985 bis 1989 mit Doug an Cyc. Auch bei PARC überschnitten sich unsere Wege, aber dort hatten wir nicht viel miteinander zu tun.
Meine erste Aufgabe war, die bestehende Implementierung zu verwerfen und von Grund auf neu zu beginnen, indem ich das Schichtensystem und den gesamten Bootstrap-Code entwarf.
Es war eine spannende Zeit mit einem kleinen Kernteam, hauptsächlich mir, Guha und Doug, aber mit der Zeit wurde ich unzufrieden mit der Willkür der Knowledge Base.
Als ich das Cyc-Projekt aus persönlichen Gründen verließ, stand ich den Grundlagen des Projekts ziemlich negativ gegenüber, obwohl ich eng damit verbunden war und es auf meinem Code lief.
Erst als ich mit der Zeit klüger wurde, erkannte ich seinen Wert wieder an; damals betrachtete ich es wohl zu sehr aus einer rein mathematischen Perspektive.
Später machte ich andere Dinge und verlor den Kontakt zu Doug und Mary, was ich bedauere.
Ruhe in Frieden, Doug Lenat. Ich arbeitete von 2000 bis 2006 bei Cycorp in Austin.
Er ist viel zu früh gegangen, aber Doug hatte die Gelegenheit, zur Weiterentwicklung der Informatikforschung in den militärischen und nachrichtendienstlichen Einrichtungen der USA beizutragen.
Wenn sich der schnelle Fortschritt der künstlichen Intelligenz durch LLMs eines Tages verlangsamt, wird sich die Aufmerksamkeit wieder dem Cyc Project und Cycorp, seinen Beteiligten sowie der logischen Inferenz und Wissensrepräsentation zuwenden, die Dr. Doug Lenat vorangetrieben hat.
Denn wenn neuronale Inferenz so schnell wäre, hätten wir C-Programme nicht in deduktive logische Inferenz kompiliert, die ein Compiler effizient ausführt, sondern in neuronale Netze.
Im Gegenteil: Durch LLMs sind sie aktueller denn je.
Neuronale künstliche Intelligenz und symbolische künstliche Intelligenz werden letztlich zusammengeführt werden, und symbolische Modelle bringen durch Normalisierung die unbedingt nötige Effizienz und Robustheit mit.
Ich frage mich, welchen Sinn es hat, wenn all diese Daten nur Staub ansetzen und ohne große Ergebnisse herumliegen.
Wer behauptet denn, dass neuronale Inferenz die schnellste Methode ist, alle Berechnungen auszuführen?
Statt eine andere Technologie, nämlich neuronale Netze, kleinzureden, wäre es besser, sich darauf zu konzentrieren, mit symbolischen Methoden reale Probleme lösen zu können. Wie könnte man zum Beispiel mit symbolischen Methoden ein robustes System zur Erkennung von E-Mail-Spam bauen?
Wenn ihr mehr über Dougs Arbeit und Gedanken hören wollt: Lex Fridman hat letztes Jahr ein ziemlich langes Interview mit Doug geführt.
https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...
Doug sagt, er habe etwa fünf Jahre später gelernt, dass diese Schätzung um eine Größenordnung danebenlag und tatsächlich eher bei etwa 10 Millionen lag.
Ich frage mich, ob es dazu Literatur oder Veröffentlichungen gibt. Woher weiß man, dass es nicht 100 Millionen sind, warum kann man annehmen, dass es endlich ist, und warum kommt es nicht zu einer kombinatorischen Explosion?
Natürlich muss es über 38 Jahre hinweg fortlaufend Metriken gegeben haben, aber ich verstehe die Logik dahinter nicht richtig und wäre an Referenzen oder Links zu Kritik interessiert.
Ich hatte in den 1990ern von Cyc gehört, wusste aber nicht, dass es noch lebt; beeindruckend, dass es so lange durchgehalten wurde.
Der Wikipedia-Artikel ist auch ziemlich gut: https://en.wikipedia.org/wiki/Cyc#Criticisms
Trotzdem ist die Behauptung von 1 Million oder 10 Millionen eine starke Aussage, um sie über Jahrzehnte aufrechtzuerhalten; ich frage mich, ob sie wirklich durch starke Metriken gestützt wurde.
Der Grund, warum es Spaß macht, die verlinkten Papers zu lesen, ist, dass mich immer fasziniert hat, die Prinzipien, die sie im Inneren eines Computers verorten wollten, als Struktur außerhalb der Community zu bauen.
Es wäre sehr nützlich, wenn Menschen einen Korpus von Argumenten und Schlussfolgerungen durchsuchen und gemeinsam daran arbeiten könnten, Teilen eines Argumentationsgraphen widersprechen oder ihn ergänzen und ihn so im Lauf der Zeit anreichern könnten.
Dann könnten andere Menschen dieselben Schlussfolgerungen lesen und übernehmen.
Ich experimentiere mit solchen Ideen auf http://concludia.org/, woran ich gelegentlich arbeite; im Moment ist es eher ein Vorwand, um am Konzept herumzufeilen und mich weiter in Akka(Pekko)-Programmierung einzuarbeiten.
Irgendwann will ich Benutzerkonten und editierbare Argumente hinzufügen und daraus eine echte Website machen.
Argumente werden mit Belegen verknüpft, Konzepte mit verwandten Konzepten und so weiter.
https://en.m.wikipedia.org/wiki/Zettelkasten
Das wäre vermutlich gut fürs Brainstorming.
Mir kam der Gedanke, als ich mir vorstellte, wie man in einem stark politisch polarisierten Land den öffentlichen Diskurs zusammenführen könnte.
Eine Art strukturiertes öffentliches Diskussionsforum, in dem Menschen besser sehen könnten, an welcher Stelle in der Hierarchie ihre Meinungen auseinandergehen — und, wichtiger noch, wie viel Übereinstimmung es tatsächlich gibt.
Cyc habe ich immer als die KI-Entsprechung zu Russells und Whiteheads Principia betrachtet.
Technisch ambitioniert und für sich genommen interessant, aber letztlich wirkt es wie ein falscher Ansatz, der auf eigenständige Weise nicht richtig funktionieren wird, egal wie lange man daran arbeitet und immer weitere Regeln hinzufügt.
Dennoch könnte es nützlich sein, um neuronale Modelle zu testen und zu trainieren.
Als Lenat mit Cyc begann, gab es nicht die Rechenressourcen, um neuronale Modelle laufen zu lassen, die das zeigen, was man heute als „Common-Sense-Reasoning“ bezeichnen würde; insofern ist gut nachvollziehbar, dass er diesen Weg eingeschlagen hat.
„Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc“
Lenats letztes Paper, das er am 31. Juli gemeinsam mit Gary Marcus veröffentlicht hat.
https://news.ycombinator.com/item?id=37354601
Dieses Paper könnte zwei Annahmen ins Wanken bringen: die Vorstellung, dass heutige neuronale Modelle, also LLMs, Common-Sense-Reasoning zeigen, und die Vorstellung, dass der von Cyc vertretene Ansatz und der von LLMs vertretene Ansatz sich gegenseitig ausschließen.
Gegen Ende des Textes dachte ich, dass ich mehr von dem veröffentlichen sollte, was ich geschaffen und mir überlegt habe.
Ich bin zwar kein Doug Lenat, und meine Inhalte werden im Internet wahrscheinlich nur mehr Rauschen erzeugen, aber trotzdem sollte man die eigenen Ideen nicht mit sich sterben lassen oder sie von einem Stakeholder-Board kontrollieren lassen.
Ich bin kein Open-Source-Fanatiker, aber Open Source ist eine gute Möglichkeit, andere die Arbeit fortführen zu lassen, die ich begonnen habe.
Im vergangenen Jahr versuchten Gary Marcus und Doug, ein langes, komplexes Paper zu schreiben, das sie am Ende nicht fertigstellten; Cyc war vom Umfang her enorm, aber die Implementierung war schwer handhabbar.
Aus akademischer Sicht war das größte Problem von Cyc, dass es proprietäre Software war.
Doug wollte die Lehren, die er aus Cyc gezogen hatte, an die nächste Forschergeneration weitergeben, damit mehr Menschen sie verstehen: was gut funktionierte und warum, wann und warum es scheiterte, was an der Implementierung schwierig war und was er gern anders gemacht hätte.
Eine seiner letzten E-Mails war die dringende Bitte, das Paper so schnell wie möglich zu veröffentlichen, und nach einigem Hin und Her erschien am 31. Juli auf arXiv „Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc“ (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf).
Es ist ein kurzer Text, aber zugleich ein Rückblick auf das, was Cyc erreichen wollte, eine Zusammenfassung dessen, was man von echter künstlicher Intelligenz erwarten sollte, und ein Aufruf zur Versöhnung zwischen der tiefen symbolistischen Tradition, in der er stand, und modernen großen Sprachmodellen.
Man sollte teilen, was man für wichtig hält.
Auch kleine, zunächst unwahrscheinlich wirkende Verbesserungen des Wissens können Bedeutung haben. Wenn es davon genug gibt, können sie statistisch gesehen etwas bewegen.
Natürlich muss man die entsprechenden Inhalte auch finden können, und das ist für sich genommen schon ein großes Problem.
Ich habe ihn nie persönlich getroffen, aber Dougs Arbeit war eine der größten Inspirationen in der Informatik für mich.
Es scheint passend, einen Blogbeitrag zu verlinken, den ich 2018 geschrieben habe. Er fasst kurz den Weg von Lenats Arbeit zu Cyc zusammen und sammelt Links zu Papers.
http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...
Cyc, ausgesprochen „Syke“, ist ein Projekt, das ich schon lange vage interessant fand, für das mir aber die Zeit und Energie fehlten, mich richtig damit zu beschäftigen.
Es ist ein KI-Projekt auf Basis einer umfassenden Ontologie und Wissensdatenbank.
Wikipedia-Überblick: <https://en.wikipedia.org/wiki/Cyc>
Projekt-/Unternehmenswebsite: <https://cyc.com/>
Es war der letzte große Versuch, künstliche Intelligenz auf eine „saubere“ Weise anzugehen, und sein Scheitern trug dazu bei, den heute äußerst erfolgreichen „schmutzigen“ KI-Ansatz hervorzubringen.
Dieses Scheitern schmälert Doug nicht. Jemand musste es versuchen, und es ist gut, dass es einer der klügsten Menschen war.
Ich denke zwar, dass er noch lange daran festhielt, nachdem klar war, dass es nicht funktionieren würde, aber Durchbrüche passieren tatsächlich.
Der heutige Boom des maschinellen Lernens ist selbst die Wiederbelebung einer einst aufgegebenen Technik, und die Menschen, die dennoch daran festhielten, fanden die Kniffe, um sie zum Laufen zu bringen.
Vor einigen Jahren arbeitete ich mit einer Beratung zusammen, die in den KI-Markt einsteigen wollte; sie wählte Cyc als Plattform aus, die sie vor allem an Finanzkunden verkaufen wollte.
Aber es scheint, dass kein einziges reales Projekt gestartet wurde, und es gab auch keine klare Vorstellung davon, was man verkaufen könnte.
Ich möchte Lenat nicht für einen Betrüger halten, denn er wirkte aufrichtig und brillant.
Allerdings glaube ich, dass Cyc massiv überverkauft wurde, obwohl es kaum etwas Nützliches zustande brachte. Die Website ist voller technischer Formulierungen, aber nach 40 Jahren Geschäft gibt es keine einzige Fallstudie.