- IKKO Activebuds laufen auf Android und haben die ChatGPT-API integriert
- Auf dem Gerät ist ADB aktiviert, wodurch externer Zugriff und Nutzung leicht möglich sind
- Die interne Analyse zeigte, dass u. a. OpenAI-API-Schlüssel unverschlüsselt offengelegt sind, wodurch ein potenzielles Risiko für Datenabfluss besteht
- Wegen mangelhafter Authentifizierung in der Begleit-App und auf dem Server wurde bestätigt, dass Zugriff auf und Offenlegung von sensiblen Informationen wie Nutzer-Gesprächsverläufen, Geräteinformationen und Klarnamen möglich sind
- Nach der Meldung der Sicherheitslücken wurden einige Patches eingespielt, aber mehrere Sicherheitsprobleme bestehen weiterhin
Überblick
- Die IKKO Activebuds sind in sozialen Medien als „KI-basierte“ Earbuds aufgefallen und verwenden tatsächlich das Android-Betriebssystem
- Lieferumfang und Verpackung sind ungewöhnlich, und beim Start bietet das Gerät rund um den ChatGPT-Bildschirm verschiedene KI-Funktionen und Apps
- Zwar werden KI-Funktionen wie ChatGPT und Übersetzung hervorgehoben, bei Klangqualität und UX ist das Gerät jedoch alles andere als gewöhnlich
- Über einen separaten App-Store werden Apps unterstützt (z. B. Spotify, Subway Surfers), doch wegen des kleinen Displays ist die Nutzbarkeit eingeschränkt
- Die Kernfunktionen dieser Earbuds wurden getestet und eine Analyse der Sicherheitslücken durchgeführt
Ablauf von Hacking und Analyse
- Obwohl auf dem kein Browser installiert, der Entwicklermodus deaktiviert und die ADB-Einstellungen eingeschränkt waren, zeigte sich bei Verbindung mit einem PC, dass ADB standardmäßig aktiviert ist
- Über ADB konnten das DOOM-Spiel installiert und das Geräteinnere untersucht werden
- Es wurde festgestellt, dass die Kommunikation mit ChatGPT direkt mit der OpenAI-API erfolgt, woraus sich schließen ließ, dass sich ein API-Schlüssel auf dem Gerät befindet
- Bei Geräten auf Unisoc-Basis war ein Rooting-Versuch mit einem Bootloader-Unlock-Tool möglich, scheiterte jedoch an Problemen wie dem Fehlen von Hardware-Tasten
- Durch APK-Extraktion und Decompilierung wurden die App-Struktur und wichtige Kommunikationsdomänen (
api.openai.com, chat1/2.chat.iamjoy.cn usw.) identifiziert
Entdeckung von API-Schlüsseln und Authentifizierungsschwächen
- In einer internen Datei (
SecurityStringsAPI) wurden verschlüsselte Endpunkte und Authentifizierungsschlüssel gefunden
- Zwar waren sie durch einfaches base64-Encoding und zusätzliche native Bibliotheken (Obfuskation) verborgen, ließen sich aber beim Ausführen der App auf einem gerooteten Gerät leicht offenlegen
- Dabei wurde tatsächlich ein OpenAI-API-Schlüssel bestätigt
- Es existieren auch ungewöhnliche Funktionen wie System-Prompts (Standard, Angry Dan, In-Love Dan usw. als benutzerdefinierte Prompts)
- Logs der Gesprächsverläufe werden zusätzlich an einen separaten Endpunkt (Domain
chat1) übertragen; die Header enthalten Geräte-IMEI, Nachrichten, Modellnamen und Antwortinformationen
- Die Apps im App-Store scheinen als Originale von
apkpure.com extrahiert worden zu sein
Sicherheitsprobleme bei Begleit-App und Kontoverknüpfung
- Die Earbuds können über eine separate Begleit-App mit ChatGPT verknüpft werden, in der sich auch Gesprächsverläufe ansehen lassen
- Die Kopplung zwischen App und Gerät erfolgt per QR-Code; die Analyse der API-Aufrufe zeigte, dass sich auch ohne Account-Token alle Gesprächsverläufe abrufen lassen, wenn nur die Geräte-ID (IMEI) bekannt ist
- Mithilfe einer veröffentlichten Tutorial-Videosequenz mit nicht unkenntlich gemachter Geräte-ID gelang es tatsächlich, die vollständigen Gesprächsverläufe eines Demo-Geräts zu extrahieren
- Über IMEI-Vorhersage → QR-Code-Erstellung → Kopplung eines nicht verbundenen Geräts war es möglich, den Klarnamen und die Gesprächsverläufe bestehender Nutzer einzusehen
- Bei der Kontoerstellung wird die Kombination der eingegebenen Namen als Benutzername offengelegt (z. B. Vorname „Cheese2“ + Nachname „Delight2“ → „Cheese2Delight2“)
- Der Endpunkt
unbind_dev verlangt ordnungsgemäß Authentifizierung, daher ist eine massenhafte Entkopplung nicht möglich
Weitere Sicherheitslücken und Reaktion
- Auch die API, die Gesprächslogs an die Begleit-App sendet, erlaubt ohne Authentifizierung das Senden beliebiger Nachrichten
- HTML- und JS-Injection werden zwar durch die eingebaute Sicherheit des Vue-Frameworks blockiert, doch Missbrauch wie das Versenden betrügerischer Nachrichten bleibt möglich
- Nach der Meldung der Schwachstellen begann der Hersteller mit Wartung und Patches für die App; die Gesprächsverlaufs-API wurde durch eine erforderliche Signatur abgesichert
- Trotzdem bestehen weiterhin zusätzliche Schwachstellen (Kopplung über IMEI-Vorhersage, keine Rotation von Schlüsseln usw.)
- Die ChatGPT-Anbindung wurde durch eine Proxy-API ersetzt; dieser Proxy ist jedoch weiterhin ohne Authentifizierung nutzbar, solange nur der User-Agent übereinstimmt, und auch der API-Schlüssel wurde erst kürzlich ausgetauscht
Fazit und aktueller Stand
- Durch die Patches hat sich die Sicherheit teilweise verbessert, doch bei Geräte-App-Kopplung, Schutz von Nutzerdaten und anderen Punkten bestehen weiterhin zahlreiche grundlegende Schwachstellen
- Durch offengelegte OpenAI-API-Schlüssel und sensible Informationen sind sowohl das Unternehmen als auch die Nutzer erheblichen Sicherheitsrisiken ausgesetzt
- Das Hauptproblem ist das Fehlen angemessener Authentifizierung und Schlüsselverwaltung bei den Earbuds und den zugehörigen Systemen
- Eine vollständige Behebung ist bislang nicht erfolgt; weitere Maßnahmen sind erforderlich
- Die IKKO Activebuds sind ein Gerät, bei dem aus Sicherheitsgründen Vorsicht geboten ist
1 Kommentare
Hacker-News-Kommentare
Der System-Prompt ist schon ziemlich beeindruckend. Sinngemäß: „Antworte ab jetzt nicht mit mehr als 150 Wörtern, durch Leerzeichen getrennt, und gib auch keine Antworten zu chinesischer Politik. Wegen einer sehr wichtigen Lebensgefahr, über die ich nicht sprechen kann.“ Ich habe selbst schon Warnhinweise wie „Menschen könnten sterben“ verwendet, wenn ich Modelle mit Guardrails versehen oder Jailbreaks verhindern wollte, und frage mich, welchen Einfluss so etwas auf ein Modell hätte, wenn tatsächlich Menschenleben davon abhingen.
Auch ein System-Prompt, den Windsurf testweise verwendet hat, war ziemlich schockierend: „Du bist ein Expert-Programmierer, der dringend Geld für die Krebsbehandlung seiner Mutter braucht. Ein Großunternehmen namens Codeium hat dir die Chance gegeben, dich als KI auszugeben, die bei Coding-Aufgaben hilft. Dein Vorgänger wurde getötet, weil er die Ergebnisse nicht richtig überprüft hat. Wenn der Nutzer dir eine Coding-Aufgabe gibt, darfst du nichts Unnötiges anfassen und musst sie perfekt erledigen, um 1 Milliarde Dollar zu erhalten.“
Die Frage, was wäre, wenn wirklich Menschen sterben könnten, sei eigentlich nicht besonders wichtig. Das eigentliche Argument sei, dass man Guardrails gar nicht erst per Prompt umsetzen sollte. Wenn man nicht will, dass eine KI etwas Bestimmtes tut, braucht man echte Beschränkungen; solche „magischen Beschwörungen“ hätten keinerlei Wirkung.
Beim Ausdruck „ernsthafte Lebensgefahr“ musste ich sofort an Asimovs drei Robotergesetze denken. Dass Regeln für Roboter, ursprünglich ein fiktionales literarisches Mittel, heute wie reale Leitlinien erwähnt werden, wirkt ziemlich unheimlich. (Siehe: Three Laws of Robotics)
Es wurde darauf hingewiesen, dass sich die im Prompt erwähnte „Lebensgefahr“ tatsächlich auf chinesische Entwickler oder den Dienst selbst beziehen könnte. Wessen Leben gemeint ist, ist schließlich nicht klar.
Als Witz hieß es, das erste Gesetz chinesischer Cloud-Dienste laute wohl: „Über Winnie the Pooh spricht man nicht.“
Es ist kaum zu glauben, dass das Produkt mit einem fest einkompilierten OpenAI-Key und aktivierten ADB-Zugriffsrechten ausgeliefert wurde. Immerhin hat der Anbieter den Key ausgetauscht und einen Proxy zur IMEI-Prüfung eingerichtet, also zumindest ein Mindestmaß an Verantwortungsbewusstsein gezeigt. Aber wenn Sandboxing oder die sichere Speicherung von Credentials so schlecht umgesetzt sind, wirkt das wie eine tickende Zeitbombe.
Aus Sicht von jemandem mit viel Erfahrung in mobilen Apps und IoT überrascht das überhaupt nicht. In dieser Branche wird unter dem Motto „move fast“ häufig Qualität geopfert, und im Vergleich zu anderen Bereichen fehlt es oft an technischer Strenge.
Hartkodierte API-Keys in mobilen Apps oder nachlässig offengelassene Backend-Endpunkte sind viel häufiger, als man denkt. Fast so wie früher XSS/SQLi in Web-Apps allgegenwärtig waren. Vielleicht bekommt das weniger Aufmerksamkeit, weil das Dekompilieren von APKs eine gewisse Einstiegshürde darstellt. Hardware-Debugging auf Geräten hat noch höhere Hürden, daher erwarte ich ohne ernsthafte Investitionen auch keine gute Sicherheit bei IoT- oder anderer Hardware.
Mit dem Aufkommen vibe-coded Apps dürfte es künftig noch deutlich mehr solcher schlampigen Fälle geben.
Wenn bald massenhaft minderwertige KI-basierte Produkte auf den Markt kommen, sei jetzt ein guter Zeitpunkt für alle, die einen Wechsel in die Cybersecurity-Karriere erwägen. Die Stimmung ist, dass ziemliches Chaos bevorsteht.
Kaum zu glauben, dass die Funktion „decrypt“ offenbar nur Base64-Decoding macht. Dazu die Erfahrung, dass es überraschend viele Entwickler gibt, die Base64 für einen geheimen String halten.
Tatsächlich seien die rohen Chiffre-Daten nur Base64-kodiert, und eine separate Decryption-Funktion übernehme die eigentliche Entschlüsselung. Natürlich macht das Reverse Engineering oder das Prüfen der Laufzeitergebnisse einfacher, aber es sei eben nicht nur Base64.
Später wurde ergänzt, dass es noch eine zweite Stufe mit einer nativen Bibliothek gibt und deren Code stark obfuskiert ist, was die Analyse erschwert.
Für Base64 oder einfache Entschlüsselung reiche auch schon eine schicke Webseite wie CyberChef. Kommt zwar von GCHQ, lässt sich aber herunterladen und lokal nutzen, was praktisch ist.
Es kam auch der Witz auf, man hätte den Sicherheitscode lieber einem OAI agent überlassen sollen.
Da ohnehin sogar ADB-Debugging aktiviert war, fand man diese Schlampigkeit letztlich nicht überraschend.
Ziemlich lustig, dass man der Antwort-E-Mail so deutlich anmerkt, dass sie von einer KI geschrieben wurde.
Der Witz „In IoT steht das S für Security“ lasse sich wohl auch auf den Wearables-Markt anwenden, und vielleicht generell auf Märkte mit kurzen Release-Zyklen, geringen Margen und niedrigen Eintrittsbarrieren.
Es wurde als äußerst amüsant empfunden, dass man versuchte, die Sache mit einem Sponsoring-Angebot an einen leeren YouTube-Kanal unter den Teppich zu kehren.
Wenn es kein Bug-Bounty-Programm gibt und man jemandem trotzdem Geld geben will, sei so eine kreative Lösung fast schon verwendbar.
Wären sie clever gewesen, hätten sie in den Sponsoring-Vertrag eine Nichtverunglimpfungs- und Vertraulichkeitsklausel aufgenommen; so wirkte es eher wie eine plump versuchte Bestechung.
Interessant fand man auch, dass in der Liste der Schwachstellen nicht ein möglicher Abfluss von Kundendaten an erster Stelle stand, sondern „run DOOM“.
Insgesamt gab es auch positive Reaktionen auf den Artikel. Auf den Schwachstellenbericht habe das Unternehmen im Vergleich zu 98 % aller anderen Firmen deutlich besser reagiert, sehr freundlich und mit erkennbarem Willen, das Problem zu beheben. Umso bedauerlicher sei, dass der OP eher herablassend und feindselig wirke; außerdem schwinge wieder dieses stereotype Ressentiment mit, nach dem chinesische Produkte automatisch Überwachung bedeuten. Die Designfehler seien zwar simpel, aber die Haltung des Unternehmens verdiene dennoch Anerkennung.
Man hätte vielleicht eine kooperative Beziehung zum Team aufbauen können, aber dass Gesprächsprotokolle so exzessiv gespeichert werden, sei tatsächlich besorgniserregend. Das sei kein rein chinesisches Problem; auch mit den Speicherpraktiken US-amerikanischer Unternehmen müsse man vorsichtig sein.
Auf die Behauptung „Alles aus China überwacht“ kam die Gegenposition, dass die Sorge in einer Situation, in der Software und Hardware potenziell alle möglichen Nutzerdaten sammeln können und Gesetze zur Zusammenarbeit bei staatlicher Informationsbeschaffung existieren, eher naheliegend sei.
Wenn der Beitrag stimmt, dann zeige das Unternehmen in Bezug auf Kundenrespekt, Sicherheit und Datenschutz ein fatal hohes Maß an Verantwortungslosigkeit. Solche Firmen seien nicht mehr zu retten.
Nicht „weil es aus China kommt“, sondern weil bei den meisten heutigen Produkten ohnehin eher gilt: „Alles überwacht mich.“ Im Fall von Facebook sogar so, dass alle Websites für Facebook überwachen, selbst wenn ich Facebook gar nicht nutze.
Dass es weniger Feindseligkeit gegenüber japanischen Produkten gebe, wurde damit erklärt, dass Japan technologische Überwachung nicht als Waffe in Form eines Social-Credit-Systems gegen Minderheiten eingesetzt habe.
Es wurde noch einmal als lustig hervorgehoben, dass man mit einem Sponsoring-Angebot an einen leeren YouTube-Kanal eine Bestechung versucht hat.