Show HN: Raspberry Pi-Sprachassistent Pi-C.A.R.D vorgestellt

(github.com/nkasmanoff)

4 Punkte von GN⁺ 2024-05-14 | Noch keine Kommentare. | Auf WhatsApp teilen

Pi-C.A.R.D

Pi-card ist ein KI-basierter Sprachassistent, der vollständig auf einem Raspberry Pi läuft.
Er kann in einer normalen Gesprächssituation alles ausführen, was ein Standard-LLM wie ChatGPT leisten kann.
Wenn eine Kamera angeschlossen ist, kann man Pi-card bitten, ein Foto zu machen, zu beschreiben, was zu sehen ist, und Fragen zu diesem Bild beantworten.

Es steht für Raspberry Pi - C amera A udio R ecognition D evice.
Es gibt die Bitte, ein Issue oder Pull Request einzureichen, falls jemand ein besseres Akronym einfällt.

Pi-card läuft vollständig auf dem Raspberry Pi.
Wenn das Hauptprogramm gestartet wird, beginnt das System auf ein Wake Word zu hören.
Wenn man das Wake Word sagt, beginnt das Gespräch, und während der Unterhaltung muss das Wake Word nicht ständig wiederholt werden.
Es hört weiter auf Befehle, bis man etwas wie „Stopp“, „Beenden“ oder „Tschüss“ sagt.
Während des Gesprächs behält das System den Kontext, sodass es frühere Themen wieder aufgreifen oder genauer erläutern kann.
Das System ist so konzipiert, dass es vollständig lokal arbeitet, kann aber auch mit externen APIs oder Diensten verbunden werden, um Gespräche zu verbessern oder externe Geräte zu steuern.
Wenn man zum Beispiel „Mach ein Foto“ oder „Was siehst du?“ sagt, wird die Kamera aktiviert.

Dieses System wurde als unterhaltsames Projekt entwickelt und ist ein bis zu einem gewissen Grad nützlicher KI-Assistent.
Da alles lokal verarbeitet wird, ist es nicht so schnell oder leistungsfähig wie Cloud-basierte Systeme.
Es gibt jedoch weiterhin viel Potenzial für Verbesserungen.

Ziel war es, einen Sprachassistenten zu entwickeln, der vollständig offline arbeitet und keine Internetverbindung benötigt.
Dadurch soll die Privatsphäre der Nutzer geschützt und verhindert werden, dass ihre Daten an Server von Drittanbietern übertragen werden.

Nachdem man das Repository heruntergeladen, die Anforderungen installiert und die weiteren Einrichtungsanweisungen befolgt hat, kann das Hauptprogramm mit folgendem Befehl gestartet werden:
```
python assistant.py
```
Sobald das Programm läuft, kann man das Gespräch mit dem Assistenten beginnen, indem man das Wake Word sagt.
Das standardmäßige Wake Word ist „hey assistant“, kann aber in der Datei config.py geändert werden.

Um das System möglichst schnell und schlank zu halten, werden cpp-Implementierungen für Audiotranskription und Vision-Language-Modelle verwendet.
Für die Audiotranskription wird die Bibliothek whipser.cpp verwendet, für das Vision-Language-Model die Bibliothek llama.cpp.
Jedes Repository muss an einen gewünschten Ort geklont und der Pfad in der Datei config.py ergänzt werden.
Nach dem Klonen wechselt man in jedes Repository und folgt den Einrichtungsanweisungen, um die Modelle auszuführen.

Die Hardware-Einrichtung ist sehr einfach.
Benötigt werden ein Raspberry Pi 5 Model B, ein USB-Mikrofon, Lautsprecher und eine Kamera.
USB-Mikrofon und Lautsprecher können an die USB-Ports des Raspberry Pi angeschlossen werden.
Die Kamera kann an den Kameraanschluss des Raspberry Pi angeschlossen werden.
Verwendete Hardware:
- Raspberry Pi 5 Kit
- USB-Mikrofon
- Lautsprecher
- Kamera
- Kamerastecker
Der Pi 5 hat einen neuen Kameraanschluss, daher wird ein neuer Kamerastecker benötigt.

Pi-card ist ein interessantes Projekt auf Basis des Raspberry Pi, das durch die Kombination von KI und Hardware verschiedene Möglichkeiten auslotet.
Da es vollständig offline arbeitet, bietet es einen großen Vorteil beim Schutz der Privatsphäre.
Im Vergleich zu Cloud-basierten Systemen kann die Leistung geringer ausfallen, aber durch die lokale Ausführung wird die Datensicherheit verbessert.
Andere Projekte mit ähnlichen Funktionen sind Mycroft AI und Jasper.
Bei der Einführung dieser Technik sollte man sich gut vorbereiten, da die Hardware- und Software-Einrichtung etwas komplex sein kann.