Naeildo: 9 KI-Agenten analysieren die Sicherheit von Vibe-Coding-Services, wenn Sie nur eine URL eingeben
(naeildo.com)Hallo, wir sind das Team hinter Naeildo.
Immer mehr Menschen erstellen mit AI-Coding-Tools wie Cursor oder Claude Code schnell ihre Services. Wir gehörten auch dazu, und irgendwann blieb die Frage: „Ist dieser Code wirklich sicher?“
Also haben wir es selbst überprüft. Wir haben 28 reale Services koreanischer Startups anhand der OWASP Top 10 analysiert – und die Ergebnisse fielen anders aus als erwartet.
- In 45 % des von AI generierten Codes wurden Sicherheitslücken gefunden
- Durchschnittlicher Sicherheits-Score der 28 Services: 19,4 von 100 Punkten
- Häufigste Schwachstellen: hartkodierte API-Keys, keine Ablaufzeit für JWTs gesetzt, CORS pauschal vollständig erlaubt
Um dieses Problem zu lösen, haben wir Naeildo entwickelt.
Wie funktioniert es?
Wenn Sie eine URL eingeben, analysieren 9 KI-Agenten sie, aufgeteilt in 3 Teams.
- Team Guard (3 Personen): statische Codeanalyse, Dependency-Audit, Prüfung der Infrastruktur-Sicherheit
- Team Analyst (3 Personen): dynamische Sicherheitstests, Verifizierung von Authentifizierung/Zugriffskontrolle, Analyse von AI-Code-Mustern
- Team Verifier (3 Personen): Prüfung der Einhaltung von OWASP-Standards, Compliance-Verifizierung, Cross-Validierung der Gesamtergebnisse
Jeder Agent analysiert unabhängig, anschließend erfolgt eine Cross-Validierung über einen zweigleisigen Pfad (Sammlung externer Signale über die URL + Anbindung an den MCP-Server). So kann ein anderer Agent Aspekte erkennen, die ein Agent übersehen hat.
Sie müssen den Code nicht direkt einreichen. Analysiert werden beobachtbare Signale aus der URL wie Header, TLS, CORS, DNS und Content-Metadaten.
Analyseergebnisse
- Liste der Schwachstellen + Einstufung nach Schweregrad
- Schrittweise Verbesserungsanleitung: in einer Form, die man einfach ab Punkt 1 der Reihe nach abarbeiten kann (inklusive Beispielcode für Korrekturen)
- PDF-Report: ein Dokument, das die Ergebnisse der Sicherheitsprüfung aufbereitet und zum Teilen geeignet ist
- Markdown-Format: direkt für Entwickler ausführbar
Warum wir das gebaut haben
Laut einer Untersuchung von KISIA betreiben 67,4 % der koreanischen Unternehmen überhaupt kein eigenes Security-Team, und pro Unternehmen gibt es im Schnitt nur 0,8 dedizierte Sicherheitskräfte. Selbst wenn man eine Sicherheitsprüfung durchführen möchte, ist der Einstieg ohne Fachpersonal oder externe Beauftragung schwierig.
Die Geschwindigkeit, mit der sich Services mit AI-Coding-Tools entwickeln lassen, ist gestiegen – aber wir hatten das Gefühl, dass es an zugänglichen Möglichkeiten fehlt, diesen Code zu verifizieren. Die Idee begann mit dem Wunsch, eine Analyse sofort nur mit einer einzigen URL starten zu können.
Tech-Stack
- Webanwendung auf Basis von Next.js
- Multi-AI-Agent-Architektur (3 Teams mit 9 Agenten: Guard / Analyst / Verifier)
- URL-basierte Cross-Validation-Pipeline mit mehreren Modellen
Wenn Sie Feedback oder Fragen haben, hinterlassen Sie gerne einen Kommentar. Auch technische Fragen sind willkommen. Wir antworten aktiv.
5 Kommentare
Es heißt, dass auch Mythos ziemlich viele False Positives hatte, daher frage ich mich schon, ob das überhaupt von Menschen geprüft wurde..
Wenn gegenüber bestehenden Tools die objektive Überlegenheit nicht nachgewiesen werden konnte, dann können interne Leute die externe Validierung doch ebenfalls durchführen; es wirkt daher etwas seltsam, so zu sprechen, als sei die Validierung von außen ein besonderer Vorteil. „Nicht einfach nur den Code lesen“ ... eher so, dass Sie den Code gar nicht sehen können und deshalb nur von außen prüfen können, oder ...
Das Niveau der von Ihnen als Beispiele genannten Sicherheitsprobleme, die "Naeildo gefunden hat", ist auch etwas irritierend. Wenn sich das an Menschen richtet, die selbst so etwas nicht wissen, kann ich das zwar noch verstehen, aber dann stellt sich auch die Frage, ob diese Leute sich überhaupt von vornherein für Sicherheit interessieren.
Bei 45 % des von KI generierten Codes wurden Sicherheitslücken entdeckt
Woran konnte man erkennen, dass der betreffende Code von einer KI generiert wurde?
Wenn man etwas mit AI erstellt, könnte man doch vermutlich auch mit AI Sicherheitsprobleme finden und beheben. Welche Vorteile hat dieser Service im Vergleich zu so einer Methode?
Allgemeine KI nach Code zu fragen, ist eine Prüfung auf Source-Code-Ebene. Ein erheblicher Teil realer Schwachstellen entsteht jedoch nicht im Code, sondern zur Laufzeit, in der Konfiguration, der Infrastruktur, der Authentifizierungs-/Session-Verarbeitung und der Deployment-Umgebung. Um genau diesen Bereich abzudecken, wurde unser Service von Anfang an als auf Sicherheit spezialisierte Multi-AI-Agenten-Lösung konzipiert. Er liest nicht einfach nur Code, sondern prüft den tatsächlich ausgerollten Service direkt von außen und findet dadurch auch Probleme, die allein beim Blick auf den Code nicht sichtbar werden.