Vergleich zwischen lokalen LLMs und Offline-Wikipedia

• Ein aktueller Artikel der MIT Technology Review stellt die Idee vor, lokale LLMs mit einer Offline-Backup-Version von Wikipedia zu vergleichen
• Die Dateigrößen wichtiger LLM-Modelle aus der Ollama-Bibliothek werden direkt mit den von Kiwix bereitgestellten Offline-Wikipedia-Bundles verglichen
• LLM-Dateien und Wikipedia-Daten unterscheiden sich in Zweck, Stärken und Schwächen, daher ist ein einfacher Vergleich schwierig, doch bei der Speicherkapazität zeigen sich interessante Unterschiede
• Einige LLMs (Modelle mit 1–4 GB) sind größer als die einfache englische Wikipedia (ca. 1 GB), während die vollständige Wikipedia (57 GB) größer ist als große LLMs (20–32 GB)
• Neben der Dateigröße müssen praktische Faktoren wie Arbeitsspeicher- und CPU-Anforderungen berücksichtigt werden; je nach tatsächlichem Einsatzzweck kann die Wahl unterschiedlich ausfallen

---

Vergleich zwischen lokalen LLMs und Offline-Wikipedia

Einleitung und Anlass des Vergleichs

• Die MIT Technology Review stellte kürzlich den Artikel "How to run an LLM on your laptop" vor
• Der Artikel betont, dass sich durch die lokale Ausführung eines LLMs auch in einer Offline-Umgebung Wissen nutzen lässt
• Eindrucksvoll ist Simon Willisons Vergleich, dass ein Offline-LLM wie eine zusammengefasste, unvollständige Version von Wikipedia sei und in einer apokalyptischen Situation mit nur einem USB-Stick beim Neustart der Gesellschaft helfen könne

Vergleich von Modell- und Datengrößen

• Verglichen werden mehrere LLM-Modelle aus der Ollama-Bibliothek mit den Dateigrößen der von Kiwix angebotenen Offline-Wikipedia-Bundles
• Für den Vergleich wurden Modelle berücksichtigt, die auf typischer Consumer-Hardware lauffähig sind, sowie Wikipedia-Daten ohne Bilder
• Die wichtigsten Vergleichsergebnisse sind wie folgt:
  • Kleinste Zusammenfassungen
    • Best of Wikipedia (Top 50.000, Zusammenfassung): 356.9MB
    • Simple English Wikipedia (Zusammenfassung): 417.5MB
  • Repräsentative LLM-Modelle (klein)
    • Qwen 3 0.6B: 523MB
    • Deepseek-R1 1.5B: 1.1GB
    • Llama 3.2 1B: 1.3GB
  • Repräsentative LLM-Modelle (mittel bis groß)
    • Deepseek-R1 8B / Qwen 3 8B: 5.2GB
    • Gemma3n e4B: 7.5GB
    • Deepseek-R1 14B: 9GB
    • Qwen 3 14B: 9.3GB
  • Gesamte Wikipedia
    • Wikipedia (vollständig): 57.18GB
• Die Top 50.000 Wikipedia-Artikel sind mit 356.9MB sehr klein
• Das kleinste LLM (0.6B, Qwen) ist mit 523MB größer als eine einfache Wikipedia-Zusammenfassung
• Die vollständige Wikipedia (57.18GB) ist deutlich größer als das größte LLM (20GB)

Grenzen des Vergleichs und wichtige Überlegungen

• Ein direkter Vergleich ist schwierig: Eine Enzyklopädie (Daten) und ein LLM (generatives Modell) unterscheiden sich grundlegend in Zweck und Struktur
• Nicht nur die Dateigröße ist wichtig: LLMs benötigen zusätzlich zur Dateigröße beim Ausführen oft viel Arbeitsspeicher und CPU-Ressourcen. Offline-Wikipedia lässt sich auf schwächerer Hardware leichter betreiben
• Nutzen je nach konkretem Einsatzzweck: So kann man zum Beispiel nur den Bereich Chemie herunterladen oder ein für bestimmte Hardware optimiertes LLM verwenden
• Subjektivität der Auswahlkriterien: Die Auswahl der für den Vergleich verwendeten Elemente ist subjektiv

Fazit und Implikationen

• Die Top 50.000 Wikipedia-Artikel und das Llama-3.2-3B-Modell liegen bei der Dateigröße auf ähnlichem Niveau
• Die kleinsten Wikipedia-Bundles sind sogar kleiner als das kleinste LLM, während die vollständige Wikipedia-Datei größer als das größte LLM ist
• In einer Umgebung mit ausreichend Speicherplatz kann es sinnvoll sein, sowohl LLMs als auch Wikipedia-Daten herunterzuladen und gemeinsam zu nutzen

[GN⁺]

Hacker-News-Kommentare

• Die Stärke von LLMs liegt nicht einfach in der Speicherung oder dem Abruf von Wissen, sondern im Verständnis: Anders als bloße Daten wie bei Wikipedia können sie auch vage oder ungenaue Fragen erfassen, Erklärungen an das Niveau des Nutzers anpassen und Verbindungen zwischen verschiedenen Bereichen herstellen. In einer Situation, in der man die Gesellschaft neu starten müsste, könnte diese interaktive Form des Verstehens wertvoller sein. Es wäre dann nicht nur ein Schnappschuss von Wissen, sondern ein Werkzeug, mit dem Menschen es nutzen und daraus lernen können.
  • Dass ein unzuverlässiger Computer in einer vorinformatischen Gesellschaft wie ein Gott verehrt würde, erinnert an eine Star-Trek-Folge.
  • Ob LLMs wirklich „wertvoller“ sind, weiß ich nicht, aber nützlich sind sie auf jeden Fall. Die heutige Art, AI zu nutzen, gefällt mir nicht besonders; im Kern wirkt es wie aufgemotzte Autovervollständigung. Als Suchmaschine funktioniert es aber hervorragend. Wenn man Copilot eine kurze Frage stellt, bekommt man oft brauchbare Antworten. Bei wirklich tiefen technischen Fragen kommt jedoch viel Unsinn heraus. Man muss also immer wachsam bleiben. Ich habe es einmal gebeten, eine CentOS-Repository-Datei zu erzeugen; insgesamt war sie perfekt, aber der gpgkey war per http angegeben, womit die Sicherheit ausgehebelt wurde.
  • Im Idealfall sollte man Primärquellen selbst kritisch lesen statt Zusammenfassungen anderer zu übernehmen. In der Schule lernen das alle und stimmen dem zu, aber nur wenige tun es tatsächlich. Nach dem Abschluss verlassen sich viele eher auf tertiäre Quellen. Mit LLMs konnte ich aktuelle Trends in der Geschichtswissenschaft zu einem Thema oder hilfreiche Materialien finden. Umgekehrt habe ich oft erlebt, dass Wikipedia-Editoren feindselig reagierten, wenn man sagte, Wikipedia sei ungenau, und dass Inhalte tatsächlich irreführend sein können, wenn man die Referenzen nicht selbst prüft.
  • Das setzt voraus, dass Computer oder Smartphones noch vorhanden sind. Ein ausgedrucktes Archiv von Wikipedia oder ein paar Büchern könnte ein sichereres Backup sein. Aber wenn die Gesellschaft wirklich neu gestartet würde, könnte es auch sinnvoll sein, gleich ganz anders anzufangen.
  • Ich denke, die beste Lösung ist eine Kombination aus Offline-Wikipedia, anderen Informationsquellen und einem lokalen LLM. Noch besser wäre es, wenn das LLM knapp antwortet und relevante Links liefert. LLMs mit Suchfunktion erklären oft viel zu ausschweifend; besser wären mehr Links, über die man direkt zu den gewünschten Informationen springen kann.
• „Mit einem einzigen USB-Stick die Gesellschaft neu starten“ war im Interview nur so dahingesagt, und ich hatte nicht erwartet, dass es im Artikel landet Artikellink. Mehrere Leute meinten, es sei vernünftig, Wikipedia auf einen USB-Stick zu packen, und ich stimme zu. Wikipedia-Dumps liegen in MySQL vor; ich glaube, eine Umwandlung nach SQLite mit FTS wäre praktischer. USB-Sticks mit mehr als 1 TB sind leicht zu bekommen, also ist Speicherplatz kaum ein Problem.
  • Wahrscheinlich wird irgendwann jemand eine Firma gründen, die USB-Sticks verkauft, die mit solchem Wissen vorbespielt sind, vielleicht sogar inklusive einer Box zum Schutz vor elektromagnetischen Impulsen. In echten Katastrophensituationen könnte das sehr helfen. Den größten Wert hätte meiner Meinung nach Wissen über Risiken großflächiger Katastrophen. Wegen Copyright kann man Bücher wie „Global Catastrophic Risks“ nicht einfach beilegen, aber zugehörige Webseiten könnte man vermutlich crawlen.
  • Ich trage seit über zehn Jahren lokale Wikipedia-Dumps auf Handy oder PDA mit mir herum (in den letzten fünf Jahren sogar mit Bildern). Das hilft nicht nur bei der Katastrophenvorsorge, sondern oft auch ganz praktisch offline. In letzter Zeit sind Modelle wie LLMs wirklich nützlich geworden, daher erwarte ich Synergien, wenn man in einem RAG-Setup ein lokales Modell mit Wikipedia kombiniert.
  • Zitat aus einem älteren Kommentar: Alle digitalisierten Bücher zusammen sind etwa 30 TB groß, komprimiert ungefähr 5,5 TB, also genug für drei 2-TB-microSD-Karten. Für etwa 750 Dollar könnte man das Ganze transportabel machen.
  • Man muss nicht unbedingt SQL verwenden; Kiwix reicht.
  • Mich stört ein wenig, wie überzogen der Artikel anfängt. Journalisten rahmen Tools immer so monumental, das fühlt sich merkwürdig an.
• Ich lade gerade wikipedia_en_all_maxi_2024-01.zim herunter. Ich will mit libzim Seiten extrahieren und an ein LLM anbinden. Die zim-Datei speichert Seiten als HTML und ist etwa 100 GB groß. Der Grund ist, dass ich eine riesige, auf HDD gespeicherte Liste von Spielen habe — nur Titel, ohne gesonderte Kategorien — und sie mit Wikipedia-Artikeln abgleichen will, um sie nach Genre oder anderen Informationen zu ordnen. In Experimenten hat ein LLM (Mistral Small 3.2 quantized) überraschend gut Ordnung in das Chaos gebracht. Mit llama.cpp lässt sich das in einem Custom-Skript schnell betreiben.
  • Für so eine Verknüpfung von Spielen und Wikipedia wäre eine Wikidata-Abfrage tatsächlich viel einfacher. Damit könnte man sogar Spiele einschließen, die in der englischen Wikipedia noch nicht vorkommen.
  • Genau solche technischen Erfahrungsberichte sind der wahre Grund, warum ich HN lese. Es wirkt frisch, wenn jemand etwas, worüber er selbst nachgedacht und das er gebaut hat, mit genügend Details teilt. Ich bastle auch selbst an LLMs, und das ist das erste Mal, dass ich so einen nützlichen Anwendungsfall sehe — ich sollte mehr darüber lernen. Danke für die guten Infos.
• Wikipedia, arXiv-Dumps und Open-Source-Code bestehen größtenteils aus ausführbarem Code und relativ verlässlichen Informationen, sind billig und leicht zu durchsuchen. FOSS-Apps kann man direkt verwenden, und Wikipedia führt in Themen ein oder fasst sie zusammen. LLMs hingegen, vor allem kleinere Modelle, erfinden Ergebnisse, versuchen aber trotzdem, auch auf unsaubere Fragen zu antworten, und können (manchmal) große Mengen Rohmaterial direkt lesen und zusammenfassen. Für Offline-Arbeit scheint es mir sinnvoll, vorhandene Bibliotheken so weit wie möglich zu nutzen, und mir fallen auch reale Einsatzbeispiele für LLMs als Coding-Assistent ein. Mit lokalen Modellen habe ich allerdings noch keine Erfahrung; laut Benchmarks soll Qwen3 32B als Programmierhilfe taugen, also könnte das irgendwann praktikabel werden.
• Eine wenig erwähnte Stärke von LLMs ist die sprachunabhängige Nutzung von Wissen. Die englische Wikipedia deckt zwar das meiste gut ab, andere Sprachen aber nicht unbedingt. Manche Informationen, die in der englischen Wikipedia fehlen, stehen wiederum in anderen Sprachversionen. LLMs können all das zusammenführen und in verschiedenen Sprachen zugänglich machen.
• AI-Unternehmen haben das gesamte Web in LLMs destilliert und damit kluge Computer gebaut. Warum können Menschen dann nicht sogar unter Einbeziehung urheberrechtlich geschützter Inhalte eine neue, überragende Wikipedia schaffen? Ich frage mich, warum die Menschen schlechter als AI-Unternehmen darin sind und so etwas nicht bauen können.
  • Genau das haben wir tatsächlich gemacht. Nur verkauft sich heute selbst die Enzyklopädie nicht mehr gut.
  • Das ist eine Bibliothek.
• Ich möchte Wikipedia Monthly erwähnen, einen monatlichen Wikipedia-Dump: 205 GB über 341 Sprachen, davon allein 24 GB für Englisch. Er ist von MediaWiki-Markup in sauberen Text umgewandelt und eignet sich daher gut für lokale Suchindizes oder andere Anwendungen. Simple English Wikipedia empfinde ich als oberflächlich und nicht sehr genau. Wikipedia-Monthly-Bloglink
• In Diskussionen über den Nutzen von LLMs fehlt mir fast immer die konkrete, situationsbezogene Anwendbarkeit. Vor dem Aufkommen von LLMs gab es in Information Retrieval und Machine Learning strenge Standards und Evaluationsdatensätze. Obwohl LLMs inzwischen allgemeiner einsetzbar sind und verschiedenste Aufgaben lösen können, finde ich es merkwürdig, dass es nicht mehr Benchmark-Material gibt, das LLMs direkt mit anderen Methoden vergleicht. Vielleicht übersehe ich auch einfach etwas, weil ich die Forschungslage nicht gut genug kenne.
• Um die Kontroversen über ungenaue Informationen durch LLMs zu umgehen, halte ich für eine ideale „Doomsday-Informationsdatenbank“ eine Kombination aus LLM und Dateiarchiv für die beste Lösung. Schritt 1: Das LLM versteht die mehrdeutige menschliche Frage und liefert eine Liste zentraler Konzepte sowie Links zu relevanten Wikipedia-Artikeln und Ähnlichem. Schritt 2: Der Nutzer kann die bereitgestellten Dokumente selbst prüfen und daraus verlässliche Informationen beziehen.
  • Selbst ich als ausgesprochener Pessimist denke, dass sich LLMs gut als Werkzeug nutzen lassen, das menschliche Formulierungen in Suchanfragen übersetzt. Ideal wäre es, sie eher als Berater oder Tutor denn als Vermittler einzusetzen. Letztlich ist entscheidend, dass der Nutzer über ihre Grenzen hinausgeht.
• Modelle mit Namen wie „$1-distill-$2“ (manchmal auch ohne „-distill“) sind durch „Knowledge Distillation“ entstanden, also indem man ein Modell $2 mit den Ausgaben von $1 trainiert hat. Anders als der Name nahelegt, ist es also nicht $1 selbst. Modelle wie das im Artikel erwähnte „Deepseek-R1 1.5B“ existieren in Wirklichkeit nicht; gemeint ist so etwas in dieser Art.