1 Punkte von GN⁺ 2024-07-19 | 1 Kommentare | Auf WhatsApp teilen

Gibt es ein Isolationsproblem bei KI?

Zusammenfassung

Das Forschungsteam von Wiz untersuchte Probleme bei der Mandantenisolierung bei mehreren Anbietern von KI-Diensten. Da KI-Infrastruktur in vielen Geschäftsumgebungen zu einem unverzichtbaren Bestandteil wird, nehmen die Auswirkungen solcher Angriffe weiter zu. Die Forschungsergebnisse sollen auf der Black-Hat-Konferenz vorgestellt werden.

Untersuchung von SAP AI Core

SAP AI Core ist in HANA und andere Cloud-Dienste integriert und kann auf interne Daten der Kunden zugreifen. Das Forschungsteam wollte prüfen, ob böswillige Akteure auf solche Kundengeheimnisse zugreifen können. Das Ergebnis: Durch das Ausführen bösartiger KI-Modelle und Trainingsabläufe konnte auf geheime Kundendateien und Cloud-Umgebungen zugegriffen werden.

Zentrale Schwachstellen

  • Docker-Images in SAPs interner Container Registry konnten gelesen und verändert werden
  • SAPs Docker-Images in der Google Container Registry konnten gelesen und verändert werden
  • Artefakte auf SAPs internem Artifactory-Server konnten gelesen und verändert werden
  • In den Kubernetes-Clustern von SAP AI Core konnten Cluster-Administratorrechte erlangt werden
  • Auf Cloud-Zugangsdaten von Kunden und nicht öffentliche KI-Artefakte konnte zugegriffen werden

Details zu den Schwachstellen

Umgehung von Netzwerkbeschränkungen

Über die Einstellungen shareProcessNamespace und runAsUser in Pods konnte auf die Konfiguration des Istio-Proxys zugegriffen werden. Dadurch ließen sich Traffic-Beschränkungen im internen Netzwerk umgehen.

Offenlegung von AWS-Tokens auf dem Loki-Server

Über den Endpunkt /config des Grafana-Loki-Servers konnte auf AWS-Geheimnisse zugegriffen werden. Dadurch war Zugriff auf Logs des AI-Core-Dienstes und der Kunden-Pods möglich.

Nicht authentifizierte EFS-Freigabe

Eine AWS-Elastic-File-System-(EFS)-Instanz war standardmäßig öffentlich konfiguriert, sodass Dateien ohne Zugangsdaten eingesehen werden konnten. Dadurch war Zugriff auf große Mengen von KI-Daten möglich.

Nicht authentifizierter Helm-Server

Über die gRPC-Schnittstelle des Helm-Servers konnte auf Geheimnisse von SAPs Docker Registry und Artifactory-Server zugegriffen werden. Dadurch konnten interne Images und Builds gelesen und verändert werden.

Offenlegung des K8s-Clusters

Über den Befehl install des Helm-Servers konnten Cluster-Administratorrechte erlangt werden. Dadurch war Zugriff auf Pods anderer Kunden möglich, und sensible Daten konnten gestohlen werden.

Fazit

Die Untersuchung zu SAP AI Core zeigt die Bedeutung von Defense in Depth. Interne Netzwerke als vertrauenswürdig anzusehen, kann riskant sein. Um die besonderen Herausforderungen im KI-Forschungs- und Entwicklungsprozess zu bewältigen, sind geeignete Schutzmechanismen erforderlich.

Zusammenfassung von GN⁺

  • Probleme bei der Mandantenisolierung in KI-Infrastrukturen sind ein wichtiges Sicherheitsthema.
  • Die Schwachstellen in SAP AI Core ermöglichen böswilligen Akteuren den Zugriff auf geheime Kundendaten.
  • Die Forschungsergebnisse unterstreichen, dass Standards für Isolation und Sandboxing bei der Ausführung von KI-Modellen verbessert werden müssen.
  • Andere Projekte mit ähnlichen Funktionen sind Google AI Platform und Microsoft Azure Machine Learning.

1 Kommentare

 
GN⁺ 2024-07-19
Hacker-News-Kommentare
  • Das ist weniger ein Problem des AI-Produkts als vielmehr eine Schwachstelle in der k8s-Konfiguration.
  • SAP braucht eine gründliche Überprüfung, warum die Forschung von Wiz nicht gestoppt wurde, bevor Cluster-Administratorrechte erlangt wurden.
    • Ich frage mich, ob SAP Warnungen zu dieser Aktivität erhalten und sie ordnungsgemäß untersucht hat.
    • Ich frage mich, ob SAP die Vorgaben einhält, nach denen angemessene Warnungen bei verdächtigen Netzwerkaktivitäten bereitgestellt werden müssen, und ob diese Untersuchung zeigen könnte, dass die Vorgaben nicht erfüllt wurden.
  • Ich bin schockiert, dass eine Tiller-Instanz läuft, obwohl sie seit 2020 nicht mehr verwendet wird.
  • In einem einzelnen K8s-Cluster starke Multi-Tenancy-Garantien zu erwarten, ist eine sehr schlechte Idee.
    • Große Cloud-Dienste nutzen VM-Grenzen und separate K8s-Cluster zwischen Kunden.
    • Microsoft hatte vor einigen Jahren ein ähnliches Problem bei einem Feature-Produkt, das K8s als primäre Sicherheitsgrenze voraussetzte.
  • Ich frage mich, ob jemand Wiz verwendet hat.
    • Es könnte eines der am schnellsten wachsenden Enterprise-Software-Unternehmen sein.
    • In 1,5 Jahren $100M erreicht.
    • Nach 3 Jahren $350M erreicht.
  • Ich finde, Unternehmen, die unbefugt in Netzwerke eindringen, Schwachstellen finden und daraus Blog-Inhalte machen, sollten strafrechtlich verfolgt werden.
    • Dieser Text klingt wie ein aggressiver Beitrag, getarnt als Offenlegung einer Schwachstelle.
    • Die Formulierung „Danke für die Zusammenarbeit“ klingt leicht einschüchternd.
  • Ich bin froh, dass ich das Unternehmen überzeugt habe, den jährlichen Pentest des Produkts in der Produktionsumgebung durchzuführen.
    • Er konzentriert sich auf bestimmte Produkte oder Systeme, aber alles ist im Scope.
    • Der erste Test läuft, und bisher hat sich noch niemand beschwert.
  • Ich frage mich, ob es so zu lesen ist, dass Kontodaten von Kunden demselben Kunden offengelegt werden.
    • Die Ausnahme sind einige Logs.
  • Als Sicherheitsforscher hätte man wissen müssen, dass das Verpixeln von Text eine schlechte Wahl für die Bearbeitung ist.