Ollama veröffentlicht Python- und JavaScript-Bibliotheken

• Ollama ist Open Source und macht es einfach, LLMs wie Llama 2 und Mistral lokal auszuführen
  • Unterstützt macOS/Linux; unter Windows bald über WSL2 nutzbar
• Die ersten Versionen der Python- und JavaScript-Bibliotheken von Ollama sind erschienen und ermöglichen es, neue sowie bestehende Apps mit nur wenigen Zeilen Code in Ollama zu integrieren
  • Die Funktionen und das Look-and-Feel der Ollama REST API bleiben dabei erhalten

Erste Schritte

• In Python erfolgt die Installation über pip install ollama; nach import ollama kann mit der Funktion ollama.chat ein Gespräch gestartet werden.
• In JavaScript erfolgt die Installation über npm install ollama; nach import ollama from 'ollama' kann mit der Funktion ollama.chat ein Gespräch gestartet werden.

Anwendungsfälle

• Beide Bibliotheken unterstützen den vollständigen Funktionsumfang von Ollama.
• Zu den Python-Beispielen gehören Streaming, Multimodalität, Textvervollständigung, das Erstellen benutzerdefinierter Modelle und die Konfiguration benutzerdefinierter Clients.

Neuer GitHub-Handle

• Diese Bibliotheken und das Haupt-Repository von Ollama werden nun in der neuen GitHub-Organisation ollama verwaltet.
• Außerdem bedankt sich Ollama bei den Community-Mitgliedern, die Bibliotheken zur Interaktion mit Ollama in verschiedenen Programmiersprachen wie Dart, Swift, C#, Java, PHP und Rust pflegen.

[joone]

Auch die Node-API funktionierte gut. Ich habe sie dieses Mal erfolgreich verwendet.