Llama Stack 0.21 veröffentlicht – Unterstützung für Llama 4

• Llama Stack von Meta ist ein Framework, das die Kernkomponenten für generative KI-Anwendungen standardisiert
• Bietet eine einheitliche API-Schicht auf Basis von Implementierungen verschiedener Service-Provider
• Gewährleistet eine konsistente Developer Experience beim Wechsel von der Entwicklungs- in die Produktionsumgebung
• Wichtige Komponenten:
  • Einheitliche APIs für Inference, RAG, Agenten, Tools, Sicherheit (Safety), Evaluierungen (Evals) und Telemetrie (Telemetry)
  • Unterstützung für verschiedene Umgebungen (lokal, On-Premises, Cloud, mobil) durch eine Plugin-Architektur
  • Mit validierten Distributionen schnell und zuverlässig loslegen
  • Verschiedene Developer Interfaces wie CLI und SDKs (Python, Node.js, iOS, Android)
  • Beispiele für Anwendungen auf Produktionsniveau

So funktioniert Llama Stack

• Llama Stack besteht aus Server + Client-SDK
  • Der Server kann in unterschiedlichen Umgebungen wie lokal, On-Premises oder in der Cloud bereitgestellt werden
  • Die Client-SDKs unterstützen Python, Swift, Node.js, Kotlin und mehr

Liste der Client-SDKs

• Python: llama-stack-client-python
• Swift: llama-stack-client-swift
• Node.js: llama-stack-client-node
• Kotlin: llama-stack-client-kotlin

Unterstützte Llama-Stack-Implementierungen

Inference API

• Unterstützung für Inference-Provider in verschiedenen Hosting-/lokalen Umgebungen
  • Meta Reference, Ollama, Fireworks, Together, NVIDIA NIM, vLLM, TGI, AWS Bedrock, OpenAI, Anthropic, Gemini usw.

Vector IO API

• Bietet eine Schnittstelle für Vector Stores
• Unterstützte Implementierungen:
  • FAISS, SQLite-Vec, Chroma, Milvus, Postgres(PGVector), Weaviate usw.

Safety API

• Gewährleistet die Sicherheit von KI-Antworten, etwa durch Prompt- und Code-Prüfung
• Unterstützte Implementierungen:
  • Llama Guard, Prompt Guard, Code Scanner, AWS Bedrock usw.

Entwicklungsressourcen

• Wenn du schnell loslegen willst: Quick Start
• Wenn du beitragen möchtest: Contributing

Llama Stack ist ein universelles Framework, das Entwicklern die einfache Integration und Bereitstellung verschiedener KI-Technologien ermöglicht und dabei eine breite Unterstützung für unterschiedliche Umgebungen und Sprachen bietet.