Ollama unterstützt strukturierte Ausgaben

• Ollama unterstützt jetzt die Funktion für strukturierte Ausgaben (Structured Output), mit der sich die Modellausgabe per JSON-Schema auf ein bestimmtes Format beschränken lässt
• Die Python- und JavaScript-Bibliotheken wurden aktualisiert, sodass diese Funktion verwendet werden kann
• Wichtige Anwendungsfälle für strukturierte Ausgaben
  • Parsen von Daten aus Dokumenten
  • Extrahieren von Daten aus Bildern
  • Strukturierung aller Antworten von Sprachmodellen
  • Bietet höhere Zuverlässigkeit und Konsistenz als der JSON-Modus
• Tipps zur Verwendung
  • JSON-Schema mit Pydantic (Python) oder Zod (JavaScript) definieren
  • Dem Prompt „Als JSON zurückgeben“ hinzufügen
  • Die Temperature-Einstellung auf 0 senken, um deterministische Ausgaben zu erhalten
• Zukünftige Pläne
  • Unterstützung für die Steuerung der Generierung durch Logit-Offenlegung
  • Verbesserung von Leistung und Genauigkeit
  • Unterstützung zusätzlicher Formate neben JSON-Schema
  • Unterstützung für GPU-beschleunigtes Sampling

[curiousotter]

Bisher hat man das JSON-Schema als Teil des Prompts eingebunden und in den API-Parametern nur format: json verwendet, aber jetzt spart man auch noch Tokens und kann es viel bequemer konfigurieren!