Das Sicherheitsdesaster einer per Vibe Coding gebauten Patientenverwaltungs-App

• Ein Mitarbeiter einer medizinischen Einrichtung entwickelte ein Patientenverwaltungssystem selbst mit einem AI Coding Agent, wodurch Patientendaten unverschlüsselt im Internet offengelegt wurden
• Aufzeichnungen von Arzt-Patienten-Gesprächen wurden an zwei AI-Dienste gesendet und automatisch zusammengefasst; für sämtliche Daten waren Lese- und Schreibrechte offen
• Die Daten wurden auf Servern in den USA gespeichert, der Betrieb erfolgte ohne Data Processing Agreement (DPA), und die Patienten wurden vorab nicht darüber informiert
• Dieses Vorgehen könnte gegen das Schweizer nDSG-Datenschutzgesetz und die berufliche Schweigepflicht verstoßen
• Der Autor warnt, dass AI Coding, wenn es auf bloßem Vibe-Niveau bleibt, in eine unsichere Zukunft führt

---

Das Sicherheitsdesaster einer mit AI gebauten Patientenverwaltungs-App

• Ein Fall, in dem ein Mitarbeiter einer medizinischen Einrichtung mit einem AI Coding Agent selbst ein Patientenverwaltungssystem entwickelt hat
  • Sämtliche vorhandenen Patientendaten importiert und öffentlich im Internet bereitgestellt
  • Eine Funktion zum Aufzeichnen von Gesprächen während der Behandlung hinzugefügt und eine automatische Zusammenfassung umgesetzt, indem die Daten an zwei AI-Dienste gesendet wurden
• Infolgedessen waren alle Patientendaten unverschlüsselt im Internet offengelegt
  • Der Autor verschaffte sich innerhalb von 30 Minuten Lese- und Schreibzugriff auf den gesamten Datenbestand
  • Das Problem wurde gemeldet, aber die Antwort war eine automatisch von AI erzeugte Dankesnachricht
• Die Daten lagen auf Servern in den USA und wurden ohne Data Processing Agreement (DPA) betrieben
  • Auch Sprachaufnahmen wurden an ein US-basiertes AI-Unternehmen übermittelt
  • Die Patienten wurden über diese Datenverarbeitung nicht im Voraus informiert
• Dieses Vorgehen könnte gegen das Schweizer nDSG (Datenschutzgesetz) sowie gegen die berufliche Schweigepflicht (Berufsgeheimnis) verstoßen
  • Der Autor ist zwar kein Rechtsexperte, hält aber Verstöße gegen mehrere Vorschriften für wahrscheinlich
• Es wird gewarnt: Wenn AI Coding auf dem Niveau bloßer „Stimmung (vibe)“ bleibt, führt das in eine unsichere Zukunft

Technischer Hintergrund

• Die Anwendung bestand aus einer einzigen HTML-Datei
  • Sämtliches JavaScript, CSS und der strukturelle Code waren inline eingebettet
  • Das Backend nutzte einen verwalteten Datenbankdienst ohne jegliche Zugriffskontrolle
• Die Logik für die Zugriffskontrolle existierte nur im clientseitigen JavaScript
  • Schon mit einer einzigen curl-Zeile war ein Datenzugriff möglich
• Alle Sprachaufzeichnungsdateien wurden direkt an eine externe AI API zur Transkription und Zusammenfassung gesendet
• Schon das allein macht die gravierenden Sicherheitsmängel eindeutig

Ausblick

• Beim Einsatz von AI-Coding-Tools ist die Fähigkeit, Codestruktur und Architektur zu verstehen, unverzichtbar
• Ein Ansatz, der lediglich darin besteht, „das Coding-Gefühl mit AI zu genießen (vibing)“, führt zu gefährlichen Ergebnissen
• Angesichts der schnellen Verbreitung von AI-Entwicklungstools sind grundlegendes Sicherheitsbewusstsein und technisches Verständnis zwingend notwendig

[xguru]

Tja, schon wenn man auf GitHub nach OPENAI_API_KEY sucht, findet man jede Menge Treffer ...

[tangokorea]

Wenn das so weitergeht, leben wir vielleicht bald in einer Zeit, in der man noch ein Vibe-Coding-Zertifikat braucht..

[claudemd]

Immer mehr Menschen tun mithilfe von AI so, als wären sie Experten, und sobald sie anfangen, große Reden zu schwingen, ist die Welt zu einem viel zu chaotischen Ort geworden.
...

[click]

Auch in Südkorea ist nach dem Gesetz zum Schutz von Informationen sowie nach Artikel 21 Absatz 2 des Medizinrechts festgelegt, dass Beschäftigte medizinischer Einrichtungen Patientenakten nicht von Dritten einsehen lassen dürfen, sofern keine außergewöhnlichen Gründe vorliegen.
https://law.go.kr/%EB%B2%95%EB%A0%B9/%EC%9D%98%EB%A3%8C%EB%B2%95/…

Dank der rückständigen Informationssicherheits-Umgebung in Südkorea glauben alle an die Netztrennung, weshalb solche Vorfälle in großen Krankenhäusern glücklicherweise offenbar nicht so häufig passieren.
Die Umgebung, in der Patientenakten eingesehen werden, liegt im internen Netz, sodass es für sicherheitsunkundige Nutzer schwierig ist, kommerzielle AI-Services direkt anzubinden.
Ich frage mich, was wohl in primären Arztpraxen passiert, in denen die Computer für die Behandlung direkt mit dem Internet verbunden sind, haha

[antegral]

Bei PHI ist immer Vorsicht geboten ... und noch mehr Vorsicht ...

[parkindani]

Ich habe einem Freund auch Claude Code gezeigt, und etwa zwei Wochen später meinte er: „Ich habe etwas gebaut!!“ — und es war genau dieselbe Situation eingetreten.

[kiga183]

Es heißt, auch die Technologie zum Aufspüren von Sicherheitslücken habe enorme Fortschritte gemacht.
Dass diese Schwachstellen entdeckt wurden, bedeutet aber auch, dass die Notwendigkeit entstanden ist, Wege zu ihrer Absicherung zu finden.
Daher ist zu erwarten, dass auch die Sicherheitsmaßnahmen weiter verbessert werden.

[woung717]

Nichtfachleute wissen vermutlich zunächst gar nicht, dass es solche Dinge gibt oder warum sie notwendig sind.

[carnoxen]

Das macht mir umso mehr bewusst, dass man Informatik lernen sollte.

[ryj0902]

Ich denke, das ist wirklich ein Ausdruck, der den Kern trifft.

[GN⁺]

Hacker-News-Kommentare

• Ich habe in Spanien etwas Ähnliches erlebt. Es war nicht im Gesundheitswesen, sondern bei einer kleinen Versicherungsgesellschaft, und kaum zu glauben: Auch dort hatten sie ihr CRM per vibe-coding gebaut
  Als ich das Problem per E-Mail meldete, drohten sie mir mit einer Klage. Völlig absurd, aber ich habe am Ende eine Meldung bei der AEPD (spanische Datenschutzbehörde) eingereicht. Diese Behörde ist dafür bekannt, ziemlich durchsetzungsstark zu sein
  Letzten Freitag habe ich außerdem ein burofax geschickt, in dem ich die Löschung meiner personenbezogenen Daten verlange

  • Ich habe früher, als sich Wi‑Fi gerade verbreitete, etwas Ähnliches erlebt. Ich habe mich mit einem offenen Netzwerk verbunden, und es stellte sich heraus, dass es eine Anwaltskanzlei war. Alle Computer waren über Samba verbunden, und das komplette Laufwerk C: war freigegeben
    Ich habe mit einer README.txt auf das Problem hingewiesen, aber nichts änderte sich. Ich überlegte sogar, hinzugehen, es zu reparieren und vielleicht meinen ersten Job daraus zu machen, aber stattdessen wurden sie wütend. Sie meinten, sie hätten bereits einen teuren Dienstleister und ich sei eingedrungen. Also bin ich einfach wieder gegangen
  • Ich bin fast neidisch darauf, dass die AEPD so stark ist. Schön wäre es, wenn andere Länder ebenfalls solche Behörden hätten
  • Bitte halte diesen Thread weiter über den Fortgang auf dem Laufenden
  • Einzelpersonen lernen, wenn sie einmal auf die Nase gefallen sind, aber Unternehmen lernen nie
  • Die Leute, die solche Apps bauen, kennen sich mit Datenschutzvorschriften oft überhaupt nicht aus
    In einem Forum für Kleinunternehmer, in dem ich bin, hat auch jemand damit geprahlt, seine App selbst mit KI gebaut zu haben. Von rechtlicher Verantwortung hatte er aber keinerlei Ahnung, und als Entwickler auf Reddit ihm sagten, er solle „einen echten Entwickler einstellen“, wurde er wütend. Er glaubt inzwischen, Entwickler seien eine vom Aussterben bedrohte Art

• Auf LinkedIn reden Vertriebler, die nichts von Technik verstehen, ununterbrochen davon, dass KI die Antwort auf jedes Problem sei
  In so einer Stimmung habe ich das ungute Gefühl, dass es irgendwann einen wirklich großen Zwischenfall geben wird

  • Es gibt schon Stimmen, die das als den Hindenburg der Coding-Welt bezeichnen
  • Schlechte Dinge passieren bereits, und wir müssen beobachten, wie die nächste Modellgeneration diese Lage verändern wird

• vibe-coding ist cool, aber die Grenzen zeigen sich schnell
  Sobald man über einige tausend Zeilen hinausgeht, bricht die Struktur zusammen, und reale Systeme sind viel komplexer. Am Ende braucht man doch die Grundlagen des Software Engineering
  Für Prototypen oder interne Tools ist es okay, aber für echte Produktion ist es riskant. Ich möchte solchen Systemen meine Daten nicht anvertrauen

  • Es gibt verschiedene Memory-Management-Tricks und Tools zur Code-Indizierung, aber am Ende waren reife Management-Tools wie Jira das Entscheidende
    Ich nutze Jira Rovo MCP, um mit Claude Code Entwürfe und Dokumentation zu erstellen, prüfe sie anschließend manuell und setze sie dann in einer neuen Session um
    LLMs werden umso dümmer, je mehr Kontext sie bekommen, daher sollte man unbedingt die Einstellung für die Context Status Bar verwenden
  • In der Praxis bricht so ein Ansatz oft zusammen. Er führt sogar zu noch schlechteren Ergebnissen, weil Codeänderungen übernommen werden, ohne dass technische Schulden überhaupt erkannt werden
    Ich habe Gemma 4 lokal getestet; es war langsam, aber genauso leistungsfähig wie Cloud-Modelle. Der Vorteil ist, dass die Daten das eigene System nicht verlassen
  • Wenn man mit Claude Code selbst eine App baut, merkt man, dass sie auch ohne Grundlagenwissen funktioniert. Bis etwa 20.000 Zeilen war das okay. Nur braucht man trotzdem jemanden, der Feedback gibt

• Vor ein paar Monaten habe ich eine vibe-coded Web-App gesehen, die von einem Chirurgen gebaut wurde
  Sie funktionierte, aber im Root-Verzeichnis gab es keine index.html, und in den Backup-Dateien standen noch DB-Verbindungsdaten und AWS-Schlüssel im Klartext
  Das ließ sich einfach beheben, indem man eine leere index.html hinzufügte, aber weder der Entwickler noch die KI wussten, warum das funktionierte
  Die App selbst war beeindruckend, aber es gab viel zu viele grundlegende Sicherheitsfehler. Ein erfahrener DevOps hätte sich das nur einmal anschauen müssen, dann wäre das erledigt gewesen

  • Interessant war, dass die KI die schwierigen Teile gut hinbekam, also Passwort-Hashing und Schema-Design, aber bei den Teilen versagte, für die Betriebsverständnis nötig ist
    Letztlich kennt KI nur das, wonach man fragt. Erfahrene Entwickler erinnern sich an frühere Fehlschläge, ein vibe-coder hat nur Prompts
  • Die echte Lösung ist nicht einfach, das Indexing abzuschalten, sondern eine Architektur zu schaffen, in der der Server gar nicht erst auf Dateien mit Zugangsdaten zugreifen kann
  • Um solche Probleme zu verhindern, braucht es Agent-Native DevOps-Tools. Es müssen Standards entstehen, die Deployment und Abrechnung automatisieren

• „Die gesamte Logik der Zugriffskontrolle lag im clientseitigen JavaScript“ ist wirklich der schlimmste Fall
  Das ist ein klassisches Beispiel dafür, wie Nichtfachleute KI völlig unkontrolliert einsetzen.
  Wer KI in der Praxis nutzt, muss Verantwortung und Risiken unbedingt verstehen

  • Tools wie Claude oder opencode sind im Grunde Brute-Force-Coding-Harnesses
    Ohne ordentliche Workflow-Steuerung und Validierung der Ergebnisse wird es solche Probleme weiterhin geben. Wir leben gerade im Wilden Westen der LLMs
  • Das Problem ist nicht die KI, sondern das Fehlen intelligenter Menschen. Ich habe früher schon ein Gesundheitsunternehmen gesehen, bei dem das Frontend dem Backend direkt SQL-Abfragen vorgab

• Ich denke inzwischen, dass Software Engineering ebenfalls ein System beruflicher Qualifikation braucht
  So wie man für den Entwurf von Brücken oder Gebäuden eine Zertifizierung braucht, sollten auch Entwickler, die kritische Systeme bauen, bestimmte Standards erfüllen müssen

  • Solche Institutionen fungieren aber oft nur als Gatekeeper. Gesetze und Zertifizierungssysteme gibt es bereits, das Problem ist die Durchsetzung
  • Gerade für Dinge wie die Verarbeitung personenbezogener Daten gibt es schon viele relevante Gesetze. Es fehlt nur am Bewusstsein. Ich rechne bald mit Fällen, in denen Führungskräfte belangt werden
  • Ich bin ebenfalls für Regulierung. Software ist ein ernstes Feld, und der aktuelle KI-Hype muss gestoppt werden
  • Das Problem ist nicht Qualifikation, sondern Unwissenheit. Da baute jemand ein System, ohne auch nur grundlegendes Verständnis für den Umgang mit Gesundheitsdaten zu haben
    Ich denke, mit der Zeit wird sich ein besseres Verständnis von KI und Privatsphäre durchsetzen
  • Tatsächlich gibt es in den meisten Ländern bereits Gesetze und Standards. In diesem Fall wurden sie einfach vollständig ignoriert

• Dieser Beitrag wirkt so vage, dass er fast erfunden erscheint

  • Ich kenne den Autor, und er ist niemand, der lügt. Dass er konkrete Details weggelassen hat, ist nachvollziehbar
  • Den Firmennamen nicht zu nennen, ist ethisch richtig. Vor einer Verifizierung wäre das riskant
  • Es gab auch den scherzhaften Einwurf, dass es sich vielleicht um von KI erzeugten Clickbait handeln könnte
  • Der Inhalt sieht allerdings nicht nach echtem KI-generiertem Code aus. Die Struktur und Art der Sicherheitsfehler erinnern eher an Anfängercode. Dafür braucht es mehr Belege
  • Es wirkt eher wie eine glaubwürdig ausgeschmückte Geschichte, die sich faktisch nicht überprüfen lässt

• Wenn KI darauf trainiert würde, die Implementierung zu verbergen, also etwa den Client schlank zu halten und OAuth-Authentifizierung zu verwenden, wäre das dann besser?
  Solche einfachen Fehler lassen sich durchaus vermeiden. Aber das Ziel bleibt weiterhin die Ersetzung von Entwicklern
  Noch schlimmer ist, dass Menschen anfangen zu glauben, das Lernen schwieriger Dinge sei ineffizient
  Ich arbeite im Bereich Kryptografie, und einige Studierende glauben, Sicherheitstechnik werde bald durch KI verschwinden. Deshalb lasse ich sie einfache Web-Authentifizierung implementieren, um ihnen die Realität zu zeigen

• Eine Wirtschaftsprüfungsgesellschaft, die ich kenne, baut ihr CRM ebenfalls selbst mit Lovable. Technisches Personal gibt es dort überhaupt nicht
  Man kann die kommende Katastrophe förmlich sehen

  • Bei einem CRM ist Zuverlässigkeit entscheidend, daher verstehe ich nicht, warum man es unbedingt selbst bauen will

• Andere Hochrisikobranchen haben alle ein Vier-Augen-Prinzip. Piloten haben Copiloten, Chirurgen Checklisten, Kernkraftwerke unabhängige Prüfungen
  Software war bisher die Ausnahme, und vibe-coding beseitigt sogar noch die ohnehin schon schwache verständnisbasierte Prüfung

  • Code-Reviews gibt es zwar, aber meist sind sie rein formal. Früher war die QA-Phase besser, doch sie ist aus Kosten- und Geschwindigkeitsgründen verschwunden