- Der Raspberry Pi AI HAT+ 2 ist mit einer Hailo 10H NPU und 8 GB LPDDR4X RAM ausgestattet und kann lokale LLM-Inferenz eigenständig ausführen
- Er bietet bis zu 3 W Leistungsaufnahme und 40 TOPS (INT8), zeigte in Praxistests jedoch langsamere Ergebnisse als die Pi-5-CPU
- Leistungsgrenze (3 W) und RAM-Kapazität (8 GB) wirken als Flaschenhals, sodass für mittelgroße Modelle ein Pi 5 mit 16 GB effizienter ist
- Bei der Bildverarbeitung (Computer Vision) war er im Vergleich zum bisherigen AI HAT 10-mal schneller, allerdings traten Probleme bei der Software-Kompatibilität und Fehler beim gleichzeitigen Ausführen von Modellen auf
- Abgesehen von Fällen, in denen in einer stromsparenden Umgebung Vision + Inferenz parallel benötigt werden, ist der Nutzen eher der eines Entwicklungsboards oder einer Experimentierplattform
Wichtige Spezifikationen und Merkmale des AI HAT+ 2
- Das neue Modell kostet 130 US-Dollar und enthält eine Hailo 10H NPU sowie 8 GB LPDDR4X RAM
- Der Hailo 10H bietet 40 TOPS INT8-Inferenzleistung und 26 TOPS INT4-Vision-Leistung
- Er kann LLMs unabhängig ausführen, ohne CPU und Systemspeicher des Pi zu belegen
- Das Problem des nicht aufrüstbaren RAM bleibt bestehen, doch als AI-Coprozessor kann er die Speicherlast reduzieren
- Im Vergleich zu einem eGPU-Anschluss günstiger und kompakter und laut Bewertung praktischer als die integrierten NPUs in Microsofts „AI PCs“
Bewertung der tatsächlichen Leistung
- Getestet wurde auf einem Raspberry Pi 5 mit 8 GB RAM, wobei dasselbe Modell jeweils auf CPU und NPU ausgeführt und verglichen wurde
- Bei den meisten Modellen zeigte die Pi-5-CPU eine höhere Leistung als der Hailo 10H
- Nur beim Modell Qwen2.5 Coder 1.5B lagen die Ergebnisse nahe beieinander
- Der Hailo 10H ist zwar energieeffizient, seine Leistung wird jedoch durch das 3-W-Limit eingeschränkt
- Das Pi-5-SoC kann bis zu 10 W aufnehmen
Grenzen bei der LLM-Ausführung und der Fall Qwen 30B
- 8 GB RAM sind bei der LLM-Ausführung der größte begrenzende Faktor
- Mittelgroße Modelle benötigen 10 bis 12 GB RAM und sind auf einem Pi 5 mit 16 GB besser aufgehoben
- ByteShape konnte das Modell Qwen3 30B A3B Instruct erfolgreich ausführen, nachdem es für einen Pi 5 mit 16 GB auf 10 GB komprimiert wurde
- Es gibt zwar Qualitätsverluste, aber grundlegende Aufgaben wie das Erstellen einfacher Apps sind möglich
- Beim Ausführen des Modells auf dem Pi 5 mit llama.cpp zeigte sich: langsam, aber praktische Aufgaben mit einem lokalen Modell sind möglich
Vision-Leistung und Software-Probleme
- Bei Computer-Vision-Aufgaben zeigte sich eine 10-mal schnellere Verarbeitung als auf der Pi-CPU
- Im Test mit dem Camera Module 3 wurden Tastatur, Monitor, Smartphone und Maus korrekt erkannt
- Allerdings unterstützt der Hailo-Beispielcode (
hailo-rpi5-examples) den AI HAT+ 2 noch nicht ausreichend
- Bei manueller Konfiguration kam es zu fehlgeschlagenem Laden von Modellen oder Fehlern
- Beim gleichzeitigen Ausführen von Modellen (Vision + LLM) traten Segmentierungsfehler und das Problem „device not ready“ auf
- Wegen fehlender funktionierender Beispiele von Hailo konnte der Test nicht vollständig abgeschlossen werden
Fazit und Einsatzmöglichkeiten
- 8 GB RAM sind nützlich, aber ein Pi 5 mit 16 GB ist die schnellere und flexiblere Wahl
- Praktisch ist das Gerät nur dann, wenn in einer stromsparenden Umgebung Bildverarbeitung und Inferenz parallel laufen müssen
- Eine Kombination aus AI Camera (70 US-Dollar) oder dem bisherigen AI HAT+ (110 US-Dollar) könnte effizienter sein
- Mögliche Einsatzfelder sind kleine LLM-Ausführungen (unter 10 W) oder ein Entwicklungs-Kit für Geräte auf Basis des Hailo 10H
- Insgesamt gilt: Die Hardware ist ihrer Zeit voraus, aber die Software noch nicht ausgereift, und das Produkt richtet sich vor allem an Nischenanwendungen
Noch keine Kommentare.