6 Punkte von xguru 2024-08-21 | 1 Kommentare | Auf WhatsApp teilen
  • Ollama unterstützt jetzt Tool-Aufrufe in Modellen wie Llama 3.1
  • Dadurch können Modelle mit ihnen bekannten Tools auf gegebene Prompts antworten, komplexere Aufgaben ausführen oder mit der Außenwelt interagieren
    • Tools: Funktionen und APIs, Web-Browsing, Code-Interpreter
  • Um Tool-Aufrufe zu aktivieren, muss über das Feld tools der Ollama-API eine Liste der verfügbaren Tools bereitgestellt werden;
    unterstützte Modelle antworten nun mit tool_calls. Tool-Antworten können über Nachrichten mit der Rolle tool bereitgestellt werden
  • Unterstützte Modelle: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
  • Auch der OpenAI-kompatible Endpunkt von Ollama unterstützt jetzt Tools und kann mit Llama 3.1 und anderen Modellen verwendet werden
  • Geplante Verbesserungen
    • Streaming-Tool-Aufrufe: Unterstützung für das Streaming von Tool-Aufrufen, damit bei mehreren zurückgegebenen Tools schneller mit der Arbeit begonnen werden kann
    • Tool-Auswahl: Es wird möglich sein, das Modell zur Verwendung eines bestimmten Tools zu zwingen

1 Kommentare

 
edunga1 2024-08-21

https://de.news.hada.io/topic?id=13436
Ist das eine ähnliche Funktion wie bei phidata? Hier reichte es, wenn der docstring sauber spezifiziert war, aber wenn es kein GPT war, konnte man das Tool nicht verwenden.