Kurzfassung
- Dies ist ein Fallbeispiel für den Aufbau des persönlichen KI-Agenten „Stella“ mit dem OpenClaw-Framework, der Kalender verwalten, E-Mails überwachen und das Smart Home steuern kann.
- Behandelt wird ein technischer Konflikt, bei dem Googles automatisiertes Missbrauchspräventionssystem den API-Zugriff des KI-Agenten als „ungewöhnliche Aktivität“ einstufte und das Konto sperrte.
- Wichtiger Stack: OpenClaw (Agent OS), Claude/Gemini (LLM), Mac Mini (lokaler Server), Home Assistant, Bland AI (Telefon-Interface).
- Lehre: Betont wird die Notwendigkeit einer neuen Authentifizierungsschicht für „überwachte Agenten“ (Supervised Agent) sowie eines Identitätsnachweismodells, das Menschen und Bots im Zeitalter der KI-Agenten unterscheidet.
Tiefenanalyse (Deep Dive)
1. Prinzipien von Agentendesign und Implementierung
Der Autor (Trond Wuellner) entwickelte Stella nicht als einfachen Chatbot, sondern mit dem Ziel einer „digitalen Crew“, die tief in das Familienleben eingebunden ist. Das System basiert auf dem OpenClaw-Framework und weist die folgenden strukturellen Merkmale auf.
- Persistenz und Speicher: Statt rein sitzungsbasierter Dialoge verwaltet das System Geburtstage, Vorlieben, Schultermine und Ähnliches der Familie in strukturierten Dateien. Am Ende jeder Sitzung wird eine zusammenfassende Notiz erstellt, die beim nächsten Start wieder eingelesen wird, um Langzeitgedächtnis zu erhalten.
- Multimodale Schnittstelle: Über das Raspberry-Pi-basierte Dashboard „Stellascreen“ werden Informationen visualisiert, und mithilfe eines lokalen TTS/STT-Systems unter Nutzung der Apple Neural Engine wurde eine Sprachinteraktion mit weniger als einer Sekunde Latenz umgesetzt.
- Dynamisches Model Routing: Zur Optimierung der Betriebskosten implementierte der Autor selbst ein Routing-System, das einfache, wiederkehrende Aufgaben wie das Prüfen von E-Mails (Heartbeat) an Gemini Flash Lite und komplexere Aufgaben mit höherem Schlussfolgerungsbedarf an Gemini 1.5 Pro oder Claude weiterleitet.
2. Die Sperrung des Google-Kontos und die Grenzen der Infrastruktur
Zehn Tage nach Projektbeginn sperrte Google das Konto von Stella. Das zeigt exemplarisch, dass moderne Web-Infrastrukturen nicht für „autonome KI-Agenten“ entworfen wurden.
- Designfehler von OAuth: Die heutigen OAuth-Abläufe setzen voraus, dass ein Mensch vor dem Browser sitzt. Wenn eine KI programmgesteuert APIs aufruft und Daten verarbeitet, wird dieses Verhalten von Googles Spam-/Botnet-Erkennungssystem fälschlich als „Kontoübernahme“ interpretiert.
- Fehlendes Vertrauensmodell: Service Accounts sind für die Kommunikation zwischen Servern gedacht; für KI-Agenten, die Funktionen regulärer Nutzer ausführen, gibt es weder eine eigene „Vertrauensstufe“ noch Einstellungen für „überwachte Berechtigungen“.
- Lösung: Der Autor wechselte von einem Google-Konto zu AgentMail, einem E-Mail-Dienst speziell für KI-Agenten, und baute das System neu auf, indem er statt OAuth iCal-URLs verwendete und so die anfällige Authentifizierungsstruktur umging.
3. Technische Hürden beim Aufbau
- Komplexität der Sprach-Pipeline: Für das Debugging des Audio-Routings mit mehr als 12 Schritten waren Prozesse von der Wake-Word-Erkennung (OpenWakeWord) über Spracherkennung (Whisper) und LLM-Verarbeitung bis zur Sprachsynthese (TTS) nötig.
- Probleme bei der Zustandssynchronisierung: Bei der Smart-Home-Steuerung über Home Assistant ist eine Ausnahmebehandlung für Offline-Zustände von Geräten oder Fehler bei Datentypen (z. B. NaN) unverzichtbar.
- Latenz: Um die Abhängigkeit von Cloud-APIs zu verringern, wurde die Neural Engine des lokalen Mac Mini so weit wie möglich genutzt, um Reaktionsfähigkeit sicherzustellen.
Noch keine Kommentare.