- Metas Llama-3.3-70B-Modell mit Leistung auf GPT-4-Niveau kann nun auf gewöhnlichen Laptops ausgeführt werden (64-GB MacBook Pro M2)
- Ein großer Fortschritt, erreicht rund 20 Monate nach der Veröffentlichung von LLaMA im März 2023
- Das Modell wird über Ollama lokal mit 42 GB Modelldaten heruntergeladen und ausgeführt (auch mit Apples MLX lauffähig)
- 64 GB RAM sind erforderlich; da die Speichernutzung beim Ausführen hoch ist, wird empfohlen, andere ressourcenintensive Apps zu beenden
- Leistung und Benchmarks
- Im LiveBench-Benchmark auf Platz 19, mit besserer Leistung als Claude 3 Opus und auf ähnlichem Niveau wie GPT-4 Turbo
- Besonders bei der Bewertung des Instruction Following erreicht es Spitzenwerte
- Kann verschiedene Aufgaben ausführen, darunter Texterstellung, Code-Schreiben und SVG-Bilderzeugung
- Auch auf persönlichen Geräten lassen sich nach und nach immer leistungsfähigere Modelle ausführen
- Weitere bemerkenswerte lokal laufende LLM-Modelle
- Qwen2.5-Coder-32B
- Ein vom Alibaba-Qwen-Forschungsteam entwickeltes Modell, veröffentlicht unter der Apache-2.0-Lizenz
- Zeigt hervorragende Leistung bei Codegenerierungsaufgaben und kann frei verwendet werden
- Durch die Open-Source-Lizenz ein noch bedeutenderes Werkzeug für Entwickler
- QwQ
- Implementiert ein Chain-of-Thought-Muster ähnlich zur o1-Serie von OpenAI
- Kann komplexe Probleme schrittweise lösen
- Beeindruckend ist, dass es auch in lokalen Umgebungen reibungslos läuft
- Metas Llama 3.2
- Modelle in den Größen 1B und 3B können sogar auf kleinen Computern wie dem Raspberry Pi ausgeführt werden
- Bietet starke Leistung im Verhältnis zur Größe und umfasst auch multimodale Vision-Modelle in den Größen 11B und 90B mit Bildverarbeitungsfähigkeiten
- Es gibt vielfältige Optionen, von kleinen bis zu großskaligen Modellen
- Diese Modelle zeigen, dass LLM-Technologie nicht mehr auf Hardware der Serverklasse beschränkt ist, sondern auch auf gewöhnlichen Personal Computern laufen kann
- Besonders durch die Fortschritte bei Open-Source-Modellen erweitert sich die Umgebung, in der Entwickler frei experimentieren und Anwendungen entwickeln können
- Ausblick
- Bei Multimodalität und Modelleffizienz werden große Fortschritte erwartet
- Statt AGI dürfte sich die Entwicklung weiter auf praktische und effiziente Aufgabenausführung konzentrieren
- Schon mit den aktuellen Modellen dürften in den kommenden Jahren produktive Arbeiten möglich sein
13 Kommentare
Das läuft vermutlich sogar auf einem M1 Max mit 64 GB, oder?
Auch wenn das vielleicht nicht für Leute gilt, die sich überhaupt nicht für Computer interessieren, dachte ich, dass in dieser Szene 64 GB so ziemlich Standard sind..
Wenn man nicht mit sehr vielen Daten arbeitet, ist der Unterschied zwischen 16 und 64 kein Bereich, den man stark spürt.
Auch mit 8 GB RAM kann man gut entwickeln. Nicht für alle Arbeiten wird so viel Speicher benötigt.
Mit 64 GB RAM scheint die Einstiegshürde ziemlich niedrig zu sein.
DDR5-Module mit 16 GB für Laptops kosten heutzutage nur etwa 60.000 Won.
Es gibt auch viele Laptops mit 64 GB in der Preisklasse von rund 800.000 Won.
Bei einem Mac bedeuten 64 GB RAM praktisch dasselbe wie 64 GB VRAM, daher geht es effektiv erst ab 300 los.
Bei Macs der M-Serie teilen sich CPU und GPU den Arbeitsspeicher, wodurch sich der Effekt eines größeren GPU-Speichers ergibt.
Nachdem ich den Originalbeitrag gelesen habe, ergibt der Titel zumindest einigermaßen Sinn. Der Autor hat also einen Beitrag im Sinne von „Ich habe das Llama-Modell auf meinem eigenen Notebook zum Laufen gebracht!“ geschrieben … haha.
Ist dabei berücksichtigt, dass auch andere Programme laufen, weshalb es 64 GB sind? Ich halte das für eine unrealistische Ausstattung, um es als Consumer- oder gar als privaten PC zu bezeichnen.
In diesem Kontext bedeutete „Personal Computer“ meist nur so etwas wie „im B2C-Markt erhältlich und kaufbar (unabhängig vom Preis)“. Von „für alle nutzbar“ schien das weit entfernt zu sein.
Die Situationen sind unterschiedlich. Ich nutze privat ebenfalls ein MacBook Pro mit 96 GB, und selbst wenn ich nicht an LLM-bezogener Entwicklung arbeite, läuft der Swap häufig voll.
64 GB RAM in einem normalen Laptop ...?? schluchz
Es ist wohl etwas treffender, von Consumer-Hardware zu sprechen.