- Purple Llama ist ein von Meta geführtes Open-Source-Ökosystem für AI-Vertrauenswürdigkeit und -Sicherheit als übergeordnetes Umbrella-Projekt, das verschiedene Sicherheitstools, Leitfäden, Evaluierungstools (Eval) und Benchmarks für die Entwicklung generativer AI (LLMs) bündelt und gemeinsam mit der Community weiterentwickeln will
- LlamaFirewall ist eine Kernkomponente des Purple-Llama-Projekts, ein Framework, das verschiedene Sicherheitsbedrohungen in generativer AI (insbesondere LLM-basierten Chatbots/Agenten) – wie Prompt Injection, Misalignment, Code-Schwachstellen usw. – mit einer mehrschichtigen Scanner-Architektur in Echtzeit erkennt und blockiert
- Zusammen mit mehreren Sicherheits-/Vertrauenswürdigkeits-Tools von Purple Llama wie Llama Guard, Prompt Guard, Code Shield, CyberSec Eval wird eine umfassende AI-Sicherheitsschicht auf Systemebene umgesetzt
- Llama Guard: Ein auf Llama 3 basierendes Modell zur Erkennung/Blockierung schädlicher Inhalte bei Ein- und Ausgaben. Kann in Richtlinien von LlamaFirewall eingebunden und in allen Eingabe-/Ausgabeschritten automatisch angewendet werden
- Prompt Guard: Spezialisiert auf die Erkennung von Prompt-Injection-/Jailbreak-Angriffen, in LlamaFirewall über
PromptGuardScanner integriert
- Code Shield: Echtzeit-Erkennung von Schwachstellen und schädlichem Code in von LLMs erzeugtem Code, in LlamaFirewall über
CodeShieldScanner integriert
- CyberSec Eval: Purple Llamas LLM-Cybersicherheits-Benchmark-Tool. Wird verwendet, um die reale Sicherheitsresilienz und Schwachstellen von auf LlamaFirewall basierenden Modellen zu testen
- Kennzeichen sind geringe Latenz/hoher Durchsatz, Echtzeit-Einsatz, transparentes Open Source und starke Erweiterbarkeit
- Sicherheitsteams und AI-Entwickler können so schnell sichere Guardrails (Schutzbarrieren) für LLM-basierte Chatbots, Agenten und mehrstufige AI aufbauen und einsetzen
Noch keine Kommentare.