Open Source – Ein mobiler LLM-Client auf Basis von Ollama

Ich habe dieses Jahr ziemlich viel Zeit in Arbeiten rund um video-bezogene LLM-RAG-Themen investiert. Dabei sind einige Nebenprodukte entstanden, von denen ich einen Teil整理 und als App umgesetzt und als Open Source veröffentlicht habe.

Für die Demo brauchte ich eine Chat-UI, die sich gleichzeitig in App und Web verwenden lässt, also habe ich auf Basis von Flutters flutter_chat_ui gearbeitet. Es wäre aber schade gewesen, es bei einer Demo zu belassen, deshalb habe ich eine App gebaut, die sich als Ollama-Client mobil nutzen lässt.

ChatGPT und Claude bieten zwar eine starke Leistung, aber wer sich Sorgen um Kosten oder Sicherheit macht, für den kann es eine gute Option sein, Ollama auf dem eigenen Computer zu installieren und ein passendes LLM nach Bedarf einzurichten und zu nutzen.
Da es sich um Flutter-Quellcode handelt, kann die App für iPhone und Android-Smartphones gebaut und verwendet werden.

---

Einführung

Ollama ist eine Open-Source-Software, mit der sich Large Language Models (LLMs) einfach auf einem lokalen Computer ausführen lassen. Mit MyOllama kann man sich mit Ollama verbinden und verschiedene LLMs nutzen. Da MyOllama LLMs über das Ollama-Programm auf dem eigenen Computer ausführt, kann man ohne zusätzliche Nutzungsgebühren mit AI-Modellen kommunizieren.

Hauptfunktionen

• Remote-Zugriff auf LLMs: Verbindung mit einem Ollama-Host über eine IP-Adresse
• Benutzerdefinierte Prompts: Unterstützung für individuell definierte Instructions
• Unterstützung für verschiedene Open-Source-LLMs (Llama, Gemma, Qwen, Mistral usw.)
• Benutzerdefinierte Instructions konfigurierbar
• Unterstützung für Bilderkennung (nur bei Modellen, die diese Funktion unterstützen)
• Intuitive UI im Chat-Format
• Gesprächsverlauf: Chat-Sitzungen speichern und verwalten
• Unterstützung für iOS und Android
• Unterstützung für Koreanisch, Englisch und Japanisch

Verwendung

• Installieren Sie Ollama auf Ihrem Computer (unterstützt macOS, Windows und Linux). Informationen zur Installation finden Sie auf dem Ollama-GitHub.
• Laden Sie den Quellcode herunter und bauen Sie die App mit Flutter, oder laden Sie die MyOllama-App aus dem App Store herunter.
• Installieren Sie das gewünschte Modell in Ollama. Modell-Download
• Ändern Sie die Einstellungen von Ollama so, dass Remote-Zugriff möglich ist.
• Starten Sie die MyOllama-App und geben Sie die IP-Adresse des Computers ein, auf dem Ollama installiert ist.
• Wählen Sie das gewünschte AI-Modell aus und beginnen Sie das Gespräch.

Vorteile

• Diese App wurde für Entwickler und Forschende konzipiert, die Open-Source-LLMs effizient nutzen möchten. Sie eignet sich für verschiedene technische Experimente wie API-Aufrufe, Prompt Engineering und Tests der Modellleistung.
• Erweiterte AI-Funktionen kostenlos nutzbar
• Unterstützung für verschiedene LLM-Modelle
• Schutz der Privatsphäre (Ausführung auf dem lokalen Computer)
• Einsetzbar für Programmierung, kreative Arbeit, Alltagsfragen und viele weitere Zwecke
• So aufgebaut, dass der Gesprächskontext fortgeführt werden kann

Hinweise

• Für die Nutzung dieser App wird zwingend ein Computer benötigt, auf dem Ollama installiert ist.
• Die Konfiguration und Verwaltung des Ollama-Hosts liegt in der Verantwortung der Nutzer. Achten Sie auf die Sicherheitseinstellungen.

[chungjungsoo]

Ich betreibe derzeit ebenfalls eine ähnliche App, wenn auch mit einem anderen Ziel, und Ollama hat vor Kurzem ebenfalls ein Update veröffentlicht, das dies unterstützt.
Vor allem aus dem Ausland gab es besonders viele Anfragen zu Ollama.

https://de.news.hada.io/topic?id=15375

[rtlink]

Open Source – mobiler LLM-Client auf Basis von Ollama

GitHub-Link
https://github.com/bipark/my_ollama_app