Raspberry Pis neuer AI HAT bringt 8 GB RAM zusätzlich für lokale LLMs
(jeffgeerling.com)- Der Raspberry Pi AI HAT+ 2 ist mit einer Hailo 10H NPU und 8 GB LPDDR4X RAM ausgestattet und kann lokale LLM-Inferenz eigenständig ausführen
- Er bietet bis zu 3 W Leistungsaufnahme und 40 TOPS (INT8), zeigte in Praxistests jedoch langsamere Ergebnisse als die Pi-5-CPU
- Leistungsgrenze (3 W) und RAM-Kapazität (8 GB) wirken als Flaschenhals, sodass für mittelgroße Modelle ein Pi 5 mit 16 GB effizienter ist
- Bei der Bildverarbeitung (Computer Vision) war er im Vergleich zum bisherigen AI HAT 10-mal schneller, allerdings traten Probleme bei der Software-Kompatibilität und Fehler beim gleichzeitigen Ausführen von Modellen auf
- Abgesehen von Fällen, in denen in einer stromsparenden Umgebung Vision + Inferenz parallel benötigt werden, ist der Nutzen eher der eines Entwicklungsboards oder einer Experimentierplattform
Wichtige Spezifikationen und Merkmale des AI HAT+ 2
- Das neue Modell kostet 130 US-Dollar und enthält eine Hailo 10H NPU sowie 8 GB LPDDR4X RAM
- Der Hailo 10H bietet 40 TOPS INT8-Inferenzleistung und 26 TOPS INT4-Vision-Leistung
- Er kann LLMs unabhängig ausführen, ohne CPU und Systemspeicher des Pi zu belegen
- Das Problem des nicht aufrüstbaren RAM bleibt bestehen, doch als AI-Coprozessor kann er die Speicherlast reduzieren
- Im Vergleich zu einem eGPU-Anschluss günstiger und kompakter und laut Bewertung praktischer als die integrierten NPUs in Microsofts „AI PCs“
Bewertung der tatsächlichen Leistung
- Getestet wurde auf einem Raspberry Pi 5 mit 8 GB RAM, wobei dasselbe Modell jeweils auf CPU und NPU ausgeführt und verglichen wurde
- Bei den meisten Modellen zeigte die Pi-5-CPU eine höhere Leistung als der Hailo 10H
- Nur beim Modell Qwen2.5 Coder 1.5B lagen die Ergebnisse nahe beieinander
- Der Hailo 10H ist zwar energieeffizient, seine Leistung wird jedoch durch das 3-W-Limit eingeschränkt
- Das Pi-5-SoC kann bis zu 10 W aufnehmen
Grenzen bei der LLM-Ausführung und der Fall Qwen 30B
- 8 GB RAM sind bei der LLM-Ausführung der größte begrenzende Faktor
- Mittelgroße Modelle benötigen 10 bis 12 GB RAM und sind auf einem Pi 5 mit 16 GB besser aufgehoben
- ByteShape konnte das Modell Qwen3 30B A3B Instruct erfolgreich ausführen, nachdem es für einen Pi 5 mit 16 GB auf 10 GB komprimiert wurde
- Es gibt zwar Qualitätsverluste, aber grundlegende Aufgaben wie das Erstellen einfacher Apps sind möglich
- Beim Ausführen des Modells auf dem Pi 5 mit llama.cpp zeigte sich: langsam, aber praktische Aufgaben mit einem lokalen Modell sind möglich
Vision-Leistung und Software-Probleme
- Bei Computer-Vision-Aufgaben zeigte sich eine 10-mal schnellere Verarbeitung als auf der Pi-CPU
- Im Test mit dem Camera Module 3 wurden Tastatur, Monitor, Smartphone und Maus korrekt erkannt
- Allerdings unterstützt der Hailo-Beispielcode (
hailo-rpi5-examples) den AI HAT+ 2 noch nicht ausreichend- Bei manueller Konfiguration kam es zu fehlgeschlagenem Laden von Modellen oder Fehlern
- Beim gleichzeitigen Ausführen von Modellen (Vision + LLM) traten Segmentierungsfehler und das Problem „device not ready“ auf
- Wegen fehlender funktionierender Beispiele von Hailo konnte der Test nicht vollständig abgeschlossen werden
Fazit und Einsatzmöglichkeiten
- 8 GB RAM sind nützlich, aber ein Pi 5 mit 16 GB ist die schnellere und flexiblere Wahl
- Praktisch ist das Gerät nur dann, wenn in einer stromsparenden Umgebung Bildverarbeitung und Inferenz parallel laufen müssen
- Eine Kombination aus AI Camera (70 US-Dollar) oder dem bisherigen AI HAT+ (110 US-Dollar) könnte effizienter sein
- Mögliche Einsatzfelder sind kleine LLM-Ausführungen (unter 10 W) oder ein Entwicklungs-Kit für Geräte auf Basis des Hailo 10H
- Insgesamt gilt: Die Hardware ist ihrer Zeit voraus, aber die Software noch nicht ausgereift, und das Produkt richtet sich vor allem an Nischenanwendungen
1 Kommentare
Hacker-News-Kommentare
Innerhalb weniger Minuten sehe ich gleichzeitig die Meinung, dass das 8GB AI HAT für den RPi großartig ist, und die Meinung, dass mein M2 MAX 96GB MacBook für LLMs nutzlos ist
Immerhin tröstet mich, dass Letzteres auch ein hervorragender Laptop ist
Es wirkt, als hätte Raspberry die „Magie“ und Zielgerichtetheit der frühen Pi-Zeit verloren
Anfangs haben sie einen neuen Markt geschaffen, heute fühlt es sich eher so an, als würden sie in bereits gesättigte Bereiche vorstoßen
Natürlich verstehe ich, dass sie zur Sicherung ihres Fortbestands expandieren wollen, aber einen weiteren „Raspberry-Pi-Moment“ wie früher scheinen sie nicht mehr zu schaffen
So wie Lösungen wie Frigate den Verkauf des Coral TPU angekurbelt haben, könnte es auch diesmal solche Nachfrage geben, aber es wirkt, als fehle ein eigenständiges Wertversprechen
Es sieht inzwischen so aus, als würde der RPi den kommerziellen Markt anpeilen, weil er günstiger ist als industrielle Embedded-Boards
Der Schwerpunkt scheint eher auf Unternehmenskunden als auf Verbrauchern zu liegen
Bei anderen SBCs war die Softwarequalität miserabel, und die Kombination mit Raspbian war die eigentliche Innovation
Der RPi füllt diese Nische also weiterhin
Der Pico ist für kleine Aufgaben, die neuen Pis für große Aufgaben, und ältere Pis sowie der Zero werden weiterhin verkauft
Auch die AI-bezogenen Produkte sind nur eine Fortsetzung dieses Trends, eine natürliche Erweiterung für Leute, die auf dem Pi 5 bereits AI betrieben haben
Das Wesen des Pi ist GPIO + General-Purpose-Computing, und inzwischen ist auch AI ein Teil davon geworden
Mit lokaler AI kann man inzwischen erstaunlich viele Dinge tun, und dadurch werden neue Anwendungen wie autonome Navigation für Drohnen und Roboter möglich
Tatsächlich ist das gar nicht so beeindruckend
AI mit 8GB RAM auf einem Pi zu betreiben, ist eher enttäuschend
Im Vereinigten Königreich habe ich das Hailo HAT nie als Produkt für LLMs beworben gesehen
Es wurde hauptsächlich für Echtzeit-Objekterkennung in Videos genutzt, und ich würde es selbst gern zu Hause und im Garten zur Erkennung von Tieren oder Besuchern ausprobieren
In neueren Pimonori-Versionen wird zwar Unterstützung für LLMs und VLMs erwähnt, aber das wirkt eher wie der realistischere Anwendungsfall
Es ist schon bezeichnend, dass Witze wie „8GB? Ein LLM für Ameisen?“ aufkommen
Für schwere Aufgaben ist das ungeeignet, aber für einfache Textgenerierung reicht es durchaus
Es ist eher ein Experimentiergerät für extrem kleine spezialisierte LLMs
Problematisch sind allerdings die geringe Verbesserung bei Vision-Verarbeitung gemessen am hohen Preis sowie der schwache Software-Support
Vor ein paar Jahren hätte man so ein Produkt einfach einen ML-Beschleuniger genannt
Heute wird es aber mit dem Etikett „AI“ versehen, wodurch sich die Erwartungen verschieben und die Bewertungen offenbar auseinandergehen
Ich weiß nicht, ob kleine LLMs außer für Embeddings oder Training wirklich nützlich sind
Wenn es ums Training geht, bekommt man bessere Hardware günstiger, und für Embeddings ist das nur langsam und teuer
Selbst kleine Modelle können bei Feintuning mit spezialisierten Daten eine Leistung erreichen, die deutlich größere allgemeine Modelle fast heranreicht
Eine interessante Idee, aber für diesen Einsatzzweck ist ein Jetson Orin Nano die bessere Wahl
Der Nachteil ist allerdings, dass sich der RAM geteilt wird und durch den OS-Overhead etwa 1GB verloren geht
Zu sagen, dass man „ein LLM ausführen kann“, bedeutet nicht, dass es auch sinnvoll ist, „ein LLM auszuführen“
Das ist ein gutes Beispiel dafür, wie unterschiedlich Zahlen auf dem Datenblatt und die tatsächliche Erfahrung sein können
Aus Sicht des Edge Computing ist dieser Versuch ein bedeutender Schritt für das RPi-Ökosystem
Wenn ein stromsparender Inferenz-Beschleuniger integriert ist, lässt sich lokale AI ohne Cloud umsetzen
Es ist noch früh, aber für echte Edge-Workloads ist das die richtige Richtung