Spreadsheets are all you need – KI mit Spreadsheets lernen

 (spreadsheets-are-all-you-need.ai)
21 Punkte von GN⁺ 2024-03-15 | 2 Kommentare | Auf WhatsApp teilen

KI mit Excel lernen

  • Anhand eines echten, in Excel implementierten LLM lernen, wie KI funktioniert
  • Den Forward Pass von GPT-2 ausschließlich mit Excel-Funktionen und ohne externe API-Aufrufe implementiert
  • Ziel ist zu zeigen, dass man KI verstehen kann, wenn man Spreadsheets verstehen kann
  • Lektion 1: GPT mit Excel verstehen
  • Lektion 2: Byte Pair Encoding und Tokenisierung
  • Zusätzlich: Detaillierter Einblick in die Excel-Implementierung (für Menschen, die Transformers verstehen)
  • Liegt als XLSB (Excel Binary) vor und kann heruntergeladen und ausgeführt werden (Mac/Windows möglich, Windows empfohlen)
  • Einschränkungen der Implementierung
    • Vollständiges kleines GPT-2-Modell (124M Parameter) inklusive BPE, Multi-Head Attention und Multi-Layer-Perceptron-Stufe
    • Nur Inferenz/Forward Pass möglich (kein Training)
    • Der Kontext ist auf eine Länge von 10 Tokens begrenzt
    • Begrenzung auf 10 Zeichen pro Wort
    • Nur Zero-Temperature-Ausgabe möglich

FAQ

  • Zu Google Sheets: Dieses Projekt begann in Google Sheets, wurde aber wegen der Größe des Gesamtmodells auf Excel umgestellt. Es wird weiterhin untersucht, wie es in Google Sheets funktionieren könnte, aber es ist wahrscheinlich, dass es nicht wie in Excel in eine einzelne Datei passt.
  • Warum man nicht wie mit ChatGPT damit sprechen kann: Neben der sehr kurzen Kontextlänge fehlen auch Instruction Tuning und Reinforcement Learning from Human Feedback (RLHF), die es zu einem interaktiven Chatbot machen würden.
  • Herkunft des Namens: Der Name "Spreadsheets-are-all-you-need" ist eine Anspielung auf den Titel des berühmten Papers "Attention Is All You Need", das die Transformer-Architektur erstmals beschrieben hat.

Meinung von GN⁺

  • Dieses Projekt trägt dazu bei, den Zugang zu KI und Machine Learning zu erleichtern. Durch die Nutzung eines vertrauten Werkzeugs wie Excel, um komplexe Technologien verständlich zu machen, erhalten auch Nicht-Fachleute die Möglichkeit, die Grundprinzipien von KI zu erlernen.
  • Die Umsetzung in Excel ist nützlich, um die Funktionsweise realer KI-Modelle visuell zu verstehen, ist jedoch nicht für die tatsächliche KI-Entwicklung gedacht. Wer KI auf diese Weise lernt, wird daher nicht automatisch zum professionellen KI-Entwickler.
  • Solche Lernwerkzeuge können das öffentliche Interesse an KI steigern und zur Demokratisierung von KI-Technologie beitragen. Beim Aufbau realer KI-Systeme sind jedoch stärker spezialisierte Tools und Frameworks erforderlich.
  • Ähnliche Projekte mit Bildungsfokus sind etwa Googles Machine Learning Crash Course oder der Machine-Learning-Kurs von Professor Andrew Ng auf Coursera. Solche Kurse verbinden Theorie und Praxis und ermöglichen ein vertiefteres Lernen.
  • Bei der Einführung dieser Technik sollte man verstehen, dass dafür ein anderer Ansatz nötig ist als bei der echten Entwicklung von KI-Modellen. Dieses Projekt konzentriert sich auf Bildungszwecke, während in realen KI-Entwicklungsprojekten üblicherweise spezialisierte KI-Frameworks wie TensorFlow oder PyTorch verwendet werden.

Verwandte Beiträge

2 Kommentare

 
GN⁺ 2024-03-15
Hacker-News-Kommentare

  • Begrüßung und Dank des Erstellers

    • Projektersteller: Danke dafür, den Beitrag gepostet zu haben; ich beantworte gern Fragen oder Vorschläge und hoffe, dass er Menschen hilft, LLMs (Large Language Models) besser zu verstehen. Das nächste Video behandelt Embeddings und ist fast fertig.

  • Vermittlung neuronaler Netze mit Tabellenkalkulationen

    • Jeremy Howard: Ich unterrichte seit Jahren neuronale Netze (NNs) mithilfe von Tabellenkalkulationen, und diese Methode ist lehrreich und intuitiv.

  • Erklärung neuronaler Netze mit Tabellenkalkulationen

    • Statt jetzt zu sagen, es sei „nur Kurvenanpassung (curve fitting)“, kann man Freunden erklären, es sei „nur eine Tabellenkalkulation“.

  • Teilen des Tabellenkalkulations-Links

  • Frage nach der Notwendigkeit von RLHF

    • Es wird infrage gestellt, ob Instruction Tuning und Reinforcement Learning from Human Feedback (RLHF), die nötig sind, um ein großes Sprachmodell in einen Chatbot zu verwandeln, wirklich erforderlich sind.

  • Bewunderung dafür, wie GPT-2 in einer Tabellenkalkulation umgesetzt wurde

    • Beeindruckend, wie GPT-2 in einer Tabellenkalkulation implementiert wurde; zudem wird der Autor gefragt, ob dieses Projekt Open Source werden soll.

  • Möglichkeit, GPT-3 oder GPT-4 in einer Tabellenkalkulation umzusetzen

    • Neugier darauf, warum eine Tabellenkalkulation GPT-3 oder GPT-4 nicht umsetzen kann.

  • Großartiges Projekt, das beim Verständnis von LLMs hilft

    • Dieses Projekt ist großartig, und es wurde an sieben Personen weitergeleitet, um ihnen zu helfen, LLMs (Large Language Models) zu verstehen.

  • Teilen eines Beispiels zum Lösen von PDEs in Excel

    • Es wird ein Beispiel dafür geteilt, dass partielle Differentialgleichungen (PDEs) in Excel gelöst werden. FFT (Fast Fourier Transform) und spezielle Funktionen waren zwar bekannt, aber das hier wirkt interessant und unterhaltsam.

  • KI-Unternehmen mit Investmentbanken als Kunden

    • Die Idee eines KI-Unternehmens mit Investmentbanken als Kunden ist sehr klug.