Ollama veröffentlicht neue App für Mac und Windows
(ollama.com)- Ollama hat eine neue Desktop-App für macOS und Windows vorgestellt
- Modelle herunterladen und chatten ist jetzt bequem in einer GUI möglich
- Mit Datei-Drag-and-Drop wird die Interaktion mit Text- und PDF-Dokumenten einfacher
- Bei der Verarbeitung großer Dokumente kann die Einstellung für die context length erhöht werden, um längere Inhalte zu analysieren
- Auf Basis von Ollamas neuer multimodaler Engine können auch Bilder an Modelle mit Bildunterstützung gesendet werden, etwa an das Gemma 3 model von Google DeepMind
- Enthalten ist außerdem eine Dokumentenverarbeitung, die verschiedene Dateiformate wie Code-Dateien unterstützt
- Die neue App von Ollama kann über die offizielle Website für macOS und Windows heruntergeladen werden
- Wer nur die CLI-Version benötigt, kann sie separat über GitHub Releases herunterladen
1 Kommentare
Hacker-News-Kommentare
In letzter Zeit wirkt es so, als würde sich Ollama auf der Website vom Fokus auf Entwickler hin zu allgemeinen Nutzern bewegen; siehe Ollama-Website Früher stand die CLI-Version für Entwickler im Mittelpunkt, inzwischen wird sie kaum noch erwähnt Unten im Blog steht nur noch kurz: „Die CLI-Version kann auf der Ollama-GitHub-Releases-Seite heruntergeladen werden“ Das ist nicht als Kritik gemeint, mir ist die Veränderung nur aufgefallen und ich beobachte sie Ich habe früher mehrere lokale LLM-Apps ausprobiert, und die zwei, die mir am besten gefallen haben, waren LM Studio und Msty Diese App werde ich auf jeden Fall auch ausprobieren Eine Funktion, die mir fehlt, ist die der ChatGPT-Desktop-App, bei der man mit dem globalen Shortcut (Alt+Space) sofort einen neuen Chat öffnen und in einer kompakten UI schnell etwas fragen kann Es wäre schön, wenn lokale LLM-Apps diese Idee ebenfalls übernehmen würden
Ich bin Ollama-Admin Ich habe überhaupt nicht den Eindruck, dass Entwickler vernachlässigt wurden Wir sind alle Entwickler und haben Ollama für unseren eigenen Gebrauch gebaut Jeder hat verschiedene Prototypen gebaut und genutzt, und am Ende waren alle mit Ollama zufrieden, sodass wir uns jetzt darauf konzentrieren, es weiter zu verbessern Ollama war von Anfang bis Ende auf Entwickler ausgerichtet, und darauf bleiben wir auch fokussiert
Mich würde interessieren, ob du schon einmal pygpt.net ausprobiert hast Die Oberfläche ist vielleicht etwas überladen und der Name nicht ideal, aber von allem, was ich ausprobiert habe, war das die App, mit der ich am zufriedensten war
Diese Veränderung ist im Gegenteil auch für Entwickler positiv Wenn mehr Nutzer Ollama installieren, kann man später auch Desktop-AI-Apps auf Ollama-Basis verteilen, ohne separate Modelle bundeln zu müssen Dadurch entstehen keine zusätzlichen Kosten, also kann man Nutzern auch kostenlose/günstige Abos anbieten Die neuesten Qwen30B-Modelle sind ebenfalls extrem leistungsfähig Wenn es dazu ein Installations-Template gäbe, das die Spezifikationen des Nutzer-PCs prüft (RAM, CPU-/GPU-Leistung usw.) und bei fehlender Ollama-Installation automatisch die nachgelagerte Installation bzw. den Download anstößt, wäre das viel komfortabler Eine API, die bei nicht installiertem Modell um Erlaubnis fragt und dann die Installation ermöglicht, wäre ebenfalls wünschenswert
In HugstonOne gibt es diese Funktion samt neuem Tab bereits Außerdem wundert mich, dass die meisten Entwickler wahllos spamartige Sichtbarkeit erzeugen Ollama ist ein Pionier im AI-Bereich und eine großartige App, dafür aufrichtigen Dank
Von Msty hatte ich gehört und es kurz ausprobiert, aber als ich es mir kürzlich wieder angesehen habe, wirkte es sehr funktionsreich LM Studio kannte ich nicht, aber dort ist kostenlose kommerzielle Nutzung möglich (bei Msty nicht) Wenn man es als Tool mit Chat-Oberfläche verwenden will, würden mich die Vor- und Nachteile der beiden Apps im Vergleich interessieren
Ich verstehe diese Veränderung bei Ollama diesmal nicht wirklich Eine Frontend-Desktop-App ist genau das Gegenteil dessen, warum ich Ollama bisher verwendet habe Ich habe es ursprünglich als lokales LLM-Backend genutzt, und langjährige Nutzer haben ohnehin bereits ihre eigenen Frontends gefunden, gebaut oder angepasst und sich daran gewöhnt Tatsächlich wurden in letzter Zeit einige modernste lokale Modelle verspätet bereitgestellt, und ich frage mich, ob das nicht an diesem Frontend-Fokus liegt Ich plane jetzt, mich statt auf Ollama nach Alternativen umzusehen, die entweder von Anfang an eine eigene UI mitbringen oder konsequent nur ein CLI-Backend bleiben Wenn ich etwas Besseres finde, wechsle ich wahrscheinlich; das hätte ich eigentlich schon früher tun sollen Ich hoffe nicht, dass dies der erste Schritt dazu ist, dass Ollama den CLI-Fokus aufgibt und sich zu einer abonnementbasierten allgemeinen LLM-Oberfläche entwickelt
Als ich die Ollama-UI ausprobiert habe, hat mich überrascht, dass es keine Option gibt, sich mit einer entfernten Ollama-Instanz zu verbinden Der leistungsstärkste PC ist nicht immer der Computer, auf dem ich die GUI ausführe
Dem stimme ich wirklich sehr zu Ich mag Desktop-Umgebungen unter Windows/macOS, aber nicht unbedingt die Betriebssysteme selbst; bei Linux/BSD ist es umgekehrt, dort mag ich die Betriebssysteme, aber nicht die Desktop-Umgebungen, deshalb steht meine leistungsstarke Workstation immer als headless Linux da und ich greife von Windows/macOS per SSH darauf zu Die meisten Entwickler verstehen das offenbar nicht wirklich Es ist extrem mühsam und frustrierend, wenn sich bei jedem Befehl im Terminal ein Browser-Tab öffnet oder man nicht wenigstens eine URL im Terminal ausgegeben bekommt
Man kann das mit SSH-Port-Forwarding (
ssh -L 11434:localhost:11434 user@remote) umgehen und so eine entfernte Ollama-Instanz anbinden Trotzdem wäre native Unterstützung deutlich besserDie App hat bereits eine Funktion, um Ollama im Netzwerk verfügbar zu machen, daher kommt die Unterstützung vielleicht bald
Ich habe die Ollama-UI unter Windows ausprobiert (vorher nur CLI genutzt)
Es reicht nicht mehr, nur Text zu verarbeiten Neben Englisch ist es auch sehr wichtig, Sprache von mehr als 30 Sekunden in Text umzuwandeln sowie Sprachsynthese und Bildgenerierung zu unterstützen Textverarbeitung ist inzwischen die Grundfunktion
Ich frage mich, warum Linux nicht unterstützt wird Die UI scheint auf Chrome zu basieren (wahrscheinlich Electron), dann dürfte ein Linux-Port doch eigentlich einfach sein Mich würde auch der Link zum Source Code interessieren
Electron wirbt zwar mit Cross-Platform, aber „Linux mit einem Klick ausliefern“ ist in der Realität nicht so einfach Es gibt immer größere und kleinere Probleme wie glibc-Versionen oder GPU-Unterstützung
Die offizielle Formulierung von Ollama lautet: „Neue App für Mac und Windows herunterladen / CLI-Version separat auf GitHub herunterladen“ Als ich es überprüft habe, wirkte es nicht nach Open Source Außerdem nutzt es nicht Chrome, sondern die System-Webview, daher scheint es eine Tauri-App zu sein
Es soll auf Electron basieren, und ich finde es seltsam, so etwas als nativ zu bewerben
Linux-Entwickler oder Power-User können Ollama ohnehin bereits nur über die CLI nutzen Die aktuellen Mac-/Windows-Apps richten sich an allgemeine Nutzer
Es wirkt so, als wolle Ollama für Unternehmen zur Standardoberfläche für die Bereitstellung offener Modelle werden Der Fokus auf „lokal“ ist wohl eher nebensächlich und kein langfristiges Ziel Ich bin sicher, dass bald mithilfe dieser App eine Strategie aus „eigener Cloud-API + offenen Modellen“ angekündigt wird
Ich widerspreche der Ansicht, dass „lokal“ nebensächlich sei, sehr deutlich Für Unternehmen, die keine Cloud-basierten Dienste nutzen können (z. B. Rüstungsunternehmen), ist lokal der Standardfall Das ist der eigentliche Grund, offene Modelle zu verwenden, auch wenn ihre Leistung noch nicht ausreicht
Auch wir nutzen Ollama genau deshalb, weil die Daten das interne Firmennetz auf keinen Fall verlassen dürfen Sobald auch nur ein bisschen Cloud dazukommt, macht unsere Rechtsabteilung Ärger Darum betreiben wir Ollama direkt auf Laptops (M-Serie ist sehr leistungsstark) und auf internen Intranet-Servern Da LM Studio kürzlich für kommerzielle Nutzung ohne „Call me“-Pricing geöffnet wurde, wollen wir uns das ebenfalls ansehen
Wenn man ein Power-User ist oder programmieren kann, würde ich empfehlen, sich einfach selbst eine Chat-UI nach Wunsch zu bauen Wenn man sich irgendeinen OpenAI-kompatiblen Endpunkt und ein Framework für Chat-Frontend-Komponenten nimmt, ist der Rest fast einfach Ich habe mir mit Hilfe von Gemini in einer Woche schnell etwas gebaut und nutze es täglich Es ist zwar nicht produktionsreif, aber man kann es genau so anpassen, wie man möchte, und neue Funktionen selbst schnell ergänzen
Das ist wirklich der ultimative Kommentar im Stil von „Dann bauen Sie sich doch gleich Ihr eigenes Linux“ Für jeden ist das kein einfacher Zugang
Ich habe beim Erkunden von AI·LLMs ebenfalls einen eigenen Python-basierten Chatbot gebaut und danach sogar [Vercel AI SDK + OpenAI-kompatible API-Endpunkte] eingesetzt Am Ende habe ich daraus sogar ein Produkt gemacht VT.ai - Python, VT Chat
Ich verfolge denselben Ansatz Wirklich wichtig ist nur, welches Modell man verwendet; alles andere ist fast nebensächlich Schau dir auch einmal mein Open-Source-Skript(Show-HN-Link) an Mit Hilfe von ChatGPT usw. ließ es sich leicht bauen, und ich nutze es täglich Bald will ich auch DDG- und GitHub-Suche anbinden
Oder man kann direkt Open WebUI als Basis verwenden und beliebig nach eigenem Geschmack anpassen
Ich bin gerade auf der Suche nach meiner perfekten LLM-Chat-Oberfläche Pflicht ist die gleichzeitige Unterstützung lokaler/entfernter/Cloud-Modelle (OpenAI-API-kompatibel), und der Wechsel zwischen Modellen oder Multi-Query muss einfach sein Mein aktueller Eindruck:
Msty: mein Favorit, gleichzeitige Queries an mehrere Modelle + ansprechendes Design, Nachteile sind nicht Open Source + gelegentliche Freezes unter Linux
Jan.ai: keine gleichzeitigen Queries an mehrere Modelle möglich
LM Studio: nicht Open Source + keine Unterstützung für entfernte/Cloud-Modelle (unsicher, ob es dafür Plugins gibt)
GPT4All: JSON-Fehler bei openrouter-Modellen, außerdem muss man das Modell für jeden Chat manuell wechseln, was unpraktisch ist Librechat, Open WebUI, AnythingLLM und koboldcpp habe ich bisher noch nicht getestet Falls jemand weitere Empfehlungen hat, höre ich sie mir gern an
Die webUI gefällt mir, aber dass man die Einstellungen pro Modell als Textdatei im Browser verwalten muss, ist umständlich, und auch die Dokumentation verwendet schwer verständliche Begriffe Bei Librechat werde ich nach kurzer Zeit ausgeloggt, sodass es praktisch unbenutzbar ist Ich habe auch gehört, dass man Logins über https aufrechterhalten kann, aber da ich Tailscale nutze, ist es schwierig, viele Dienste auf einem Host zu betreiben
Es gibt auch meine selbst gebaute App dinoki.ai Sie läuft lokal, setzt Privatsphäre an erste Stelle und ist unter macOS in Swift, unter Windows in WPF nativ implementiert
OpenWebUI hat für mich genau die gewünschte Qualität, weil man damit verschiedene Modelle unkompliziert im Chat nutzen kann
Ich nutze seit mehreren Monaten AnythingLLM und bin wirklich sehr zufrieden Man kann mit mehreren „Workspaces“ Modell-/Prompt-Sets speichern, und sowohl Ollama als auch andere LLMs werden unterstützt Ich habe es per Docker auf einem Raspberry Pi laufen und kann über Tailscale von überall darauf zugreifen Auch die mobile Ansicht ist schön, und mit der Raycast-Claude-Erweiterung bekomme ich praktisch alles beantwortet, was ich wissen will
Ich würde empfehlen, einfach selbst etwas zu bauen Man lernt dabei die neuesten Trends kennen und es macht auch Spaß Ich habe meine Oberfläche 2023 gebaut, Schritt für Schritt erweitert und kürzlich über MLX auch lokale Modelle angebunden Interfaces zu bauen ist leichter, als man denkt, und Entwickler lernen dabei eine Menge
Ich habe Ollama früher einmal ausprobiert und sofort wieder gelöscht Wenn es nicht bequem möglich ist, auch andere als die von Ollama offiziell unterstützten Modelle zu installieren, ist es für mich unpraktisch Seitdem halte ich LM Studio für die beste Lösung