- Ollama unterstützt jetzt Tool-Aufrufe in Modellen wie Llama 3.1
- Dadurch können Modelle mit ihnen bekannten Tools auf gegebene Prompts antworten, komplexere Aufgaben ausführen oder mit der Außenwelt interagieren
- Tools: Funktionen und APIs, Web-Browsing, Code-Interpreter
- Um Tool-Aufrufe zu aktivieren, muss über das Feld
tools der Ollama-API eine Liste der verfügbaren Tools bereitgestellt werden;
unterstützte Modelle antworten nun mit tool_calls. Tool-Antworten können über Nachrichten mit der Rolle tool bereitgestellt werden
- Unterstützte Modelle: Llama 3.1, Mistral Nemo, Firefunction v2, Command-R +
- Auch der OpenAI-kompatible Endpunkt von Ollama unterstützt jetzt Tools und kann mit Llama 3.1 und anderen Modellen verwendet werden
- Geplante Verbesserungen
- Streaming-Tool-Aufrufe: Unterstützung für das Streaming von Tool-Aufrufen, damit bei mehreren zurückgegebenen Tools schneller mit der Arbeit begonnen werden kann
- Tool-Auswahl: Es wird möglich sein, das Modell zur Verwendung eines bestimmten Tools zu zwingen
1 Kommentare
https://de.news.hada.io/topic?id=13436
Ist das eine ähnliche Funktion wie bei phidata? Hier reichte es, wenn der
docstringsauber spezifiziert war, aber wenn es kein GPT war, konnte man das Tool nicht verwenden.