llmware – Integriertes Framework für die Entwicklung von LLM-basierten Anwendungen mit RAG

• Ermöglicht den schnellen Aufbau von Enterprise-LLM-Anwendungen mit Fokus auf die einfache Integration von Open-Source-LLM-Modellen und die sichere Anbindung an unternehmensinternes Wissen
• Hauptfunktionen
  • Modellkatalog: Einheitlicher Zugriff auf alle Modelle und einfache Abfrage, unabhängig von der zugrunde liegenden Implementierung
  • Bibliothek: Erfasst, organisiert und indiziert Wissenssammlungen in großem Maßstab, darunter Parsing, Text-Chunking und Embeddings
  • Abfragen: Bibliotheken können mit einer Mischung aus Text-, semantischen, hybriden, Metadaten- und benutzerdefinierten Filtern abgefragt werden
  • Prompts mit Quellen: Der einfachste Weg, Wissensabruf und LLM-Inferenz zu kombinieren
  • Für RAG optimierte Modelle – lokal laufende Modelle mit 1–7B Parametern, entwickelt für die Integration in RAG-Workflows
  • Leicht erweiterbare Datenbankoptionen – integrierte Datenspeicher vom Notebook bis zum parallelisierten Cluster
• Multi-modale Agenten, schneller Einstieg auch ohne DB-Installation möglich (SQLite, FAISS), Postgres-Anbindung (pgvector), Unterstützung für GCUF