Tanuki – LLM-basierte Apps einfach entwickeln
(github.com/Tanuki)- In Python lassen sich LLMs einfach anstelle von Funktionen aufrufen und liefern dabei dieselben Parameter und Ausgaben, die man von manuell implementierten Funktionen erwarten würde
- LLM-basierte Funktionen sind gut typisiert, zuverlässig und zustandslos und können direkt zu Produktions-Apps hinzugefügt werden
- Je häufiger Funktionen verwendet werden, desto günstiger wird es durch automatische Model-Distillation – um bis zu das 9- bis 10-Fache
- Unterstützung für RAG und Output Alignment
Noch keine Kommentare.