- OpenPCC ist ein von Apples Private Cloud Compute inspiriertes Framework für verifizierbare, datenschutzfreundliche KI-Inferenz, das vollständig als Open Source bereitgestellt wird
- Es gewährleistet den Schutz personenbezogener Daten durch verschlüsseltes Streaming, Hardware-Attestierung und nicht verknüpfbare Anfragen, ohne Prompts, Ausgaben oder Logs offenzulegen
- Jeder kann auf der eigenen Infrastruktur offene oder angepasste KI-Modelle ausführen; die Architektur ist transparent und auditierbar
- Confident Security entwickelt mit CONFSEC einen Managed Service auf Basis des OpenPCC-Standards
- Ziel ist die Weiterentwicklung zu einem Community-getriebenen Standard für den Datenschutz von KI-Daten
Überblick über OpenPCC
- OpenPCC ist ein Open-Source-Framework, das datenschutzwahrende KI-Inferenz ermöglicht
- Es basiert auf dem Konzept von Apples Private Cloud Compute, ist jedoch vollständig offen, auditierbar und selbst betreibbar umgesetzt
- Nutzer können KI-Modelle ausführen, ohne dass Prompts, Ausgaben oder Logs nach außen offengelegt werden
- Verschlüsseltes Streaming, Hardware-Attestierung (hardware attestation) und nicht verknüpfbare Anfragen (unlinkable requests) stärken den Datenschutz
- Ziel ist die Etablierung eines transparenten, von der Community verwalteten Standards für den Datenschutz von KI-Daten
Managed Service: CONFSEC
- Confident Security entwickelt derzeit den vollständig verwalteten Dienst CONFSEC auf Basis des OpenPCC-Standards
- Informationen dazu und die Anmeldung sind auf der Website confident.security verfügbar
- CONFSEC unterstützt dabei, die OpenPCC-Technologie in kommerziellen Umgebungen einfach zu nutzen
Aufbau des OpenPCC-Clients
- Das Repository enthält Go-Client-Code und eine C-Bibliothek, die als Grundlage für Python- und JavaScript-Clients dienen
- Ebenfalls enthalten sind In-Memory-Services zum Testen des Clients
- Die zugehörige Compute-Node-Implementierung ist in einem separaten Repository (
confidentsecurity/confidentcompute) zu finden
Go-Nutzungsbeispiel
- Die Datei
cmd/test-client/main.go enthält ein Beispiel für die lokale Entwicklung
- Beim Verbinden mit dem Produktionsdienst wird der Client über
openpcc.NewFromConfig erstellt und führt dann API-Anfragen aus
- Im Beispiel werden das Modell
"qwen3:1.7b" und der Prompt "why is the sky blue?" verwendet
- Über den Request-Header
"X-Confsec-Node-Tags" wird an einen Compute Node weitergeleitet, auf dem das jeweilige Modell läuft
- Das Codebeispiel folgt dem Generate-Format der OpenAI API
Entwicklung und Tests
- Für Entwicklungsbefehle wird das Go-basierte Build-Tool mage verwendet
- Ausführbar mit
go tool mage [cmd] oder go install github.com/magefile/mage@latest
- Der Befehl
mage gibt eine Liste der verfügbaren Kommandos aus; sie sind im Verzeichnis /magefiles/* definiert
- Um die Bibliothek während der Entwicklung zu testen, startet man mit
mage runMemServices die In-Memory-OpenPCC-Services und führt mit mage runClient eine Testanfrage aus
Weiterführende Informationen
- Die technischen Details von OpenPCC sind im Whitepaper zu finden
1 Kommentare
Hacker-News-Kommentare
Laut dem Whitepaper scheint der Inference Provider weiterhin Zugriff auf den Klartext von Prompts und Antworten zu haben
Allerdings sorgt dieser Ansatz immerhin dafür, dass Dritte wie ein API-Router den Klartext nicht sehen können und dass die Identität des Clients nicht mit der Anfrage verknüpft wird
Es wäre gut, wenn das README diesen Umfang der Datenschutzgarantien klar zusammenfassen würde
Wenn man das berücksichtigt, frage ich mich, welchen Vorteil diese Architektur gegenüber einem einfachen Ansatz hat, bei dem der Nutzer
Ich frage mich allerdings, was mit dem hier genannten Inference Provider genau gemeint ist
Tatsächlich verlässt die Workload nach der Entschlüsselung das System nicht in Richtung externer Dienste wie OpenAI, sondern wird direkt auf einer Compute-Maschine mit geladenem Open-Source-Modell ausgeführt
Diese Maschinen liefern einen kryptografischen Nachweis (Attestation) der laufenden Software und garantieren, dass sensible Informationen nicht nach außen abfließen können
Apples PCC funktioniert nach demselben Prinzip, und der Client sendet keine Anfragen an Knoten, die diese Garantien nicht bieten
Der zentrale Datenschutzvorteil ist also, dass selbst der Hardware-Betreiber die Prompts nicht sehen kann
BYOK löst den Großteil des Problems, aber in dem Moment, in dem der Schlüssel bereitgestellt wird, bleibt ein Risiko bestehen
Systeme wie Apples Private Cloud Compute oder AWS’ Nitro Enclaves versuchen, genau diesen letzten Schritt abzusichern
NCC Group hat bei der Prüfung von AWS bestätigt, dass es keine Management-API gibt, über die Mitarbeitende sich auf dem Host anmelden oder auf Kundendaten zugreifen könnten
Eine solche Architektur ist in Bezug auf Transparenz und Sicherheit äußerst ungewöhnlich
Lesenswert ist auch Apples PCC-Sicherheitsforschungsblog
Wegen der Geldwäschevorschriften sind wohl nur nachvollziehbare Zahlungen zulässig
Unklar ist allerdings, bis zu welchem Grad das konkret verboten ist
Artikel dazu: EU to ban trading of privacy coins from 2027
Ich war ebenfalls in einem Team, das an etwas Ähnlichem gearbeitet hat
Es ist zwar ein kostenpflichtiger Dienst, bietet aber offenen Quellcode und sinnvolle Attestation
Dienst: privatemode.ai
Code: github.com/edgelesssys/privatemode-public
Edgeless verwendet dagegen die BSL
Dass der Inference Provider die Prompts nicht sehen kann, ist das eigentliche USP, und
Privatemode erreicht das über eine Kette aus Quellcode → reproduzierbarer Build → TEE-Attestation-Report
Zusätzlich wird die Sicherheit durch Isolationstechniken wie Kata/CoCo und durch Laufzeitrichtlinien erhöht
Es heißt zwar „provably private“, aber mit physischem Zugriff und etwas Ausrüstung könnte man auch den Speicherbus analysieren
Verwandte Diskussion: HN thread
An welche der Zehntausenden Maschinen würdest du denn einen Analyzer anschließen?
Sehr starke Arbeit. Beeindruckend, dass das als Open Source veröffentlicht wurde
Wir untersuchen derzeit Herausforderungen, die dem Problem der homomorphen Verschlüsselung ähneln, und fragen uns, ob OpenPCC dabei helfen könnte
Zum Beispiel entstehen Datenschutzprobleme, wenn Wearables wie AR-Brillen visuelle Daten protokollieren
Könnte OpenPCC genutzt werden, um solche Daten für das Entwickler-Debugging zu anonymisieren?
Im Grunde ist OpenPCC ein attestierter HTTP-Server, in dessen Inneres niemand hineinschauen kann
Wenn ein Wearable Daten an OpenPCC sendet, kann darin ein Anonymisierungsprozess laufen
Natürlich wäre es einfacher, die Anonymisierung direkt auf dem Gerät selbst durchzuführen
Zur Einordnung: Homomorphe Verschlüsselung ist noch nicht praxistauglich
Wirklich ein großartiger Release
Hoffentlich nutzen mehr Unternehmen so etwas, um den Datenschutz der Nutzer zu stärken
Schön, einmal wieder Go zu sehen
Ich denke, Go wird im AI-Bereich Python überholen
Ähnlich wie Azures Confidential AI Inference
Referenz: Azure AI Confidential Inferencing Deep Dive
Das ist für Transparenz ein wichtiger Punkt; hat den zufällig jemand gesehen?
Theoretisch klingt das großartig, aber ich bin mir nicht sicher, was man damit in der Praxis betreiben kann
Welche Use Cases gäbe es außer für Spammer?
Mir fallen eher verteilte Trainingssysteme wie Federated Learning oder FlowerLLM ein, aber das war nicht für Inference gedacht
Ich begrüße jeden Versuch, von Closed Source wegzukommen, aber mich würden konkrete Einsatzbeispiele interessieren
Man könnte etwa OpenAI Whisper auf /e/OS als anonymen Proxy für einen STT-Dienst betreiben
Aber selbst das lässt sich lokal schon gut umsetzen, deshalb suche ich immer noch nach einem klaren Einsatzzweck
Ich frage mich, wo sich der Quellcode des Compute-Knotens befindet