Markov-Ketten: eine interessantere Technik als LLMs

Was ist eine Markov-Kette?

• Als LLMs (Large Language Models) erstmals auftauchten, beschrieben Leute sie als sehr kluge Markov-Ketten
• Heutzutage sind Menschen mit LLMs vertrauter als mit Markov-Ketten
• Man kann sich eine Markov-Kette als ein sehr kleines, sehr einfaches und sehr naives LLM vorstellen
• Eine Markov-Kette sagt das nächste Wort auf Basis des aktuellen Kontexts voraus, berücksichtigt dabei aber weder Semantik, Dimensionalität noch andere komplexe Vektormathematik
• Eine Markov-Kette ist ein primitives statistisches Modell
• Die Funktion „Nächstes Wort vorschlagen“ auf Smartphone-Tastaturen verwendet in der Regel Markov-Ketten
• Markov-Ketten sind günstig in der Ausführung und lassen sich leicht an den Textstil der Nutzer anpassen
• Man könnte die Funktionsweise von LLMs und Markov-Ketten tiefgehend erklären, aber hier reicht es zu wissen, dass Markov-Ketten Aufgaben schlechter bewältigen als LLMs

Was ist witzig?

• Humor lebt von nicht ernst gemeinter Überraschung
• Die besten Witze enthalten einen erfreulichen und bedeutenden „Snap“
• „Snap“ meint den Stoß, der aus der Überraschung entsteht
• Je weniger Überraschung, desto weniger lustig ist es
• Deshalb werden Witze weniger lustig, je öfter man sie hört
• „Random“-Humor ist nicht lustig, weil seine Unvorhersehbarkeit selbst vorhersehbar ist
• Witze schreiben bedeutet, Muster zu brechen
• Durch die „Verwirklichung der Szene“ lässt sich der Snap verstärken
• Verwendet man originellere oder bildhaftere Sprache, wirkt die Szene realistischer
• Witze sind vielfältig und Humor ist subjektiv

Die Vorhersehbarkeit von LLMs

• Um einen Satz erfolgreich vorherzusagen, braucht man viel Kontext
• LLMs haben viel Kontext
• LLMs finden über viele mathematische Berechnungen das wahrscheinlichste nächste Token
• Ein „besseres“ LLM ist vorhersehbarer
• LLMs eignen sich nicht für kreatives Schreiben
• LLMs erzeugen durchschnittliche Ergebnisse
• Um Witze zu erzeugen, muss ein LLM überraschen
• Gute LLMs können das nicht gut
• LLMs eignen sich nicht für künstlerischen Ausdruck
• LLMs können interessante Konzepte übersehen
• Mit diesem Framework könnte man neue Sprachmodelle bauen

Warum das interessant ist

• Das deutet auf etwas Tieferes hin
• Es geht nicht um die Debatte Seele gegen Maschine
• Es zeigt einen inhärenten Fehler des Modells
• Nachrichten von ChatGPT wirken wie Aufsätze aus der Oberstufe
• Es reproduziert durchschnittliche Ausgaben
• Persönlichkeit wurde daraus entfernt und durch akademische Strenge verstärkt
• Der Ton ist fade und klingt nach Konzernsprache
• Gefälschte Amazon-Bewertungen lassen sich leicht erkennen
• Modelle zur Erkennung von LLM-Texten werden bald wohl auf Persönlichkeit prüfen müssen

Zusammenfassung von GN⁺

• Dieser Text erklärt die Unterschiede zwischen Markov-Ketten und LLMs und untersucht das Wesen von Humor
• Markov-Ketten sind einfache statistische Modelle und haben schwächere Vorhersagefähigkeiten als LLMs
• Humor basiert auf nicht ernst gemeinter Überraschung, und Witze schreiben bedeutet, Muster zu brechen
• LLMs sind sehr vorhersehbar und deshalb für kreatives Schreiben ungeeignet
• Der Text zeigt die Grenzen von LLMs auf und deutet die Möglichkeit neuer Sprachmodelle an

[GN⁺]

Hacker-News-Kommentare

• Ich bin vor ein paar Jahren bei einem Side-Project zum gleichen Schluss gekommen

  • Ich habe eine Website gebaut, die AWS-Blogposts erzeugte
  • Ich habe einen Markov-Chain-Generator mit AWS-Ankündigungsposts trainiert
  • Ich habe HTML und CSS kopiert und mit Python und JS zusammengesetzt
  • Das Ergebnis war ziemlich lustig
  • Ich wollte es mit GPT aufrüsten, aber es war weniger lustig
  • Moderne LLMs sind zu realistisch, deshalb ist es weniger witzig
  • Der Humor früher Markov-Generatoren kam aus ihrer Absurdität
  • Moderne LLMs liegen manchmal falsch, aber nicht absurd falsch

• Ich habe Claude 3.5 Sonnet gebeten, 10 kurze Witze zum Thema zu schreiben, dass Markov-Ketten lustiger sind als LLMs

  • Warum hat die Markov-Kette die Straße überquert? Um auf die andere Seite der Unvorhersehbarkeit zu gelangen
  • Als ein LLM und eine Markov-Kette in eine Bar gingen, bestellte das LLM ein statistisch wahrscheinliches Getränk und die Markov-Kette einen Lampenschirm aus Käse
  • Wenn eine Markov-Kette einen Dad-Joke macht, nennt man das "Mark-ov Twain"
  • Ein LLM erklärt 20 Minuten lang die optimale Methode, um eine Glühbirne zu wechseln
  • Die Markov-Kette sagt: "Markov chain reaction of nonsensical hilarity"
  • Als ein LLM, eine Markov-Kette und GPT-4 in eine Bar gingen, ging GPT-4 wieder, das LLM diskutierte Ethikprobleme, und die Markov-Kette bestellte ein Fahrrad aus Spaghetti
  • Der Lieblingsfilm eines LLM ist "Predictable and Furious 17: The Safest Driving Yet"
  • Die Markov-Kette erzählt eine Geschichte über "eine Prinzessin, die in einem Schloss aus Bananen lebt, und ein Königreich fühlender Toaster"
  • Die Markov-Kette sagt zum LLM: "Deine Mutter ist ein Abakus, und dein Vater riecht nach Silizium"
  • Warum ist die Markov-Kette keine gute Therapeutin? Weil sie dir rät, "deine Gefühle in Bananen zu verwandeln und daraus einen Hut zu machen"

• Das heißt nicht, dass Markov-Ketten besser sind

  • Ein auf Vorhersage trainiertes Modell sollte sich nicht allzu sehr von unseren internen Vorhersage-Engines unterscheiden
  • Das Problem ist, dass wir dem Uncanny Valley von Text zu nahe kommen

• Zu Studienzeiten haben Freunde von mir einen Markov-Chain-Generator für die Rubrik "Polizeibericht" der Uni-Zeitung verwendet

  • Die lustigsten Ergebnisse waren die besten 10 % der Ausgaben
  • Moderne LLMs vermeiden diese Art von Absurdität, weil sie versuchen, Bedeutung auf höherem Niveau zu bewahren

• Ich finde es unangenehm, die Bibel für solche Experimente zu verwenden

  • Es ist wie die Verwendung eines Bildes der Kreuzigung Jesu in einem AI-Image-Editing-Modell

• Als empirischer Beleg: /r/subreddit simulator ist eine Markov-basierte Reddit-Parodie

  • /r/SubSimulatorGPT2 ist die LLM-basierte Version
  • Die Markov-Version bekam mehr Upvotes und war lustiger

• Ich habe ein paar Mal "von KI geschriebene Fake-XYZ" auf Reddit gepostet

  • Das Modell mit der besten Resonanz war GPT-2
  • Markov-Ketten sind über ein oder zwei Sätze hinaus nicht interessant
  • Modelle seit GPT-3 sind zu glatt und langweilig
  • GPT-2 trifft die Grammatik meistens und hält eine konsistente Idee aufrecht, weiß aber über bestimmte Themen zu wenig, was es lustiger macht

• Vor etwa 10 Jahren, als ich noch zur Schule ging, habe ich einen Markov-Twitter-Bot gebaut

  • Ich habe ihn mit LKML-Mails von Linus Torvalds und Bibelzitaten aus der King-James-Bibel trainiert
  • Weil sich die beiden Trainingsdatensätze fast gar nicht überschnitten, musste ich Hysterese hinzufügen

• Die Entwicklung des Blogs AI weirdness stützt diese Idee

  • Frühe LLMs, besonders Versionen vor GPT-3, waren lustiger
  • Zum Beispiel waren von der Ada-Version von GPT erzeugte Müslinamen lustiger als die der Da-Vinci-Version

• Ich habe zwei Bots auf meinem privaten Discord-Server

  • Einer ist ein einfacher Markov-Chain-Bot, der auf dem gesamten Chatverlauf trainiert wurde
  • Der andere ist ein ordentliches LLM-Bot
  • Der Markov-Chain-Bot ist immer lustiger