- DataDog + PostHog für LLM-Apps, konzipiert für hohe Geschwindigkeit, Zuverlässigkeit und Skalierbarkeit
- LLM-Daten verfolgen, evaluieren, labeln und analysieren
- Rust-basierter Stack aus RabbitMQ (Message Queue) + Postgres (Storage) + ClickHouse (Analyse) + Qdrant (semantische Suche)
Was Laminar besonders macht
- Fokus nicht nur auf LLM-Aufrufe, sondern auf die Verarbeitung vollständiger Execution Traces
- OpenTelemetry-basierte Instrumentierung: Mit nur 2 Zeilen Code + Decorator werden LLM-/Vektor-DB-Aufrufe automatisch ausgeführt und Funktionen nachverfolgt
- Aufbau eines Rust-Collectors für OpenTelemetry-(Otel-)Spans unter Verwendung semantischer GenAI-Konventionen
- Analyse auf Basis semantischer Events
- Laminar hostet die Background-Job-Queue von LLM-Pipelines, und die Ausgaben der Pipeline werden in Metriken umgewandelt
- „Semantische Metriken“ (z. B. was AI-Agenten tatsächlich sagen) können verfolgt und mit ihrer Position im Trace verknüpft werden
- Trennung von zentraler App-Logik und der Verarbeitung von LLM-Events
Pipeline Builder
- Verwendet eine Graph-UI, in der LLM- und Utility-Funktionen als Knoten und Datenflüsse als Kanten dargestellt werden
- Eigene Workflow-Engine mit Unterstützung für parallele Branch-Ausführung, Zyklen und Branches
- Pipelines können direkt als API-Endpunkte aufgerufen werden
- Laminar verfolgt Pipelines direkt und beseitigt so den Overhead, große Ausgabemengen über das Netzwerk zu übertragen
Trace-Suche
- Jeder Span wird in einer Vektor-DB indexiert, und zur Abfragezeit wird eine hybride Suche ausgeführt
- Diese Funktion ist noch in der Beta, wird aber künftig ein wichtiger Teil der Plattform sein
Evaluierungsfunktionen
- Übernimmt den Ansatz von Braintrust und Weights & Biases: „Alles lokal ausführen und die Ergebnisse an den Server senden“
- Mit einem einfachen SDK und einem guten Dashboard lässt sich alles nachverfolgen
- Die Evaluierungsfunktionen sind noch in einem frühen Stadium, werden aber aktiv weiterentwickelt
Ziel von Laminar
- Zur standardmäßigen Open-Source-Gesamtplattform für alles rund um LLM/GenAI zu werden – das „Supabase für LLMOps“
Noch keine Kommentare.