Ollama als Preview-Version auf Windows verfügbar

Ollama in der Windows-Preview nutzbar

• Ollama ist auf Windows als Vorschauversion verfügbar.
• Die Windows-Version von Ollama umfasst GPU-Beschleunigung, den Zugriff auf die vollständige Modellbibliothek und die OpenAI-kompatible Ollama-API.

Hardware-Beschleunigung

• Ollama nutzt NVIDIA-GPUs und moderne CPU-Befehlssätze wie AVX und AVX2, um die Modellausführung zu beschleunigen.
• Es kann ohne zusätzliche Konfiguration oder Virtualisierung eingesetzt werden.

Vollständiger Zugriff auf die Modellbibliothek

• Sie haben Zugriff auf die vollständige Ollama-Modellbibliothek, die unter Windows ausgeführt werden kann.
• Beim Ausführen von Vision-Modellen wie LLaVA 1.6 können Sie Bilder per Drag-and-Drop in Ihre Nachricht einfügen.

Immer aktive Ollama-API

• Die Ollama-API läuft automatisch im Hintergrund und kann von Tools und Anwendungen ohne zusätzliche Konfiguration genutzt werden.
• Sofern es gewünscht ist, wird zum Beispiel gezeigt, wie die Ollama-API über PowerShell aufgerufen wird.

Loslegen

• Um mit Ollama on Windows Preview zu starten, müssen Sie Ollama herunterladen und installieren.
• Nach der Installation öffnen Sie ein Terminal und verwenden den Befehl ollama run llama2, um ein Modell auszuführen.
• Bei jedem neuen Release informiert Ollama über verfügbare Updates.
• Es wird um Feedback gebeten; wenn Probleme auftreten, wird empfohlen, ein Issue zu eröffnen oder dem Discord-Server beizutreten.

GN⁺-Meinung

• Windows-Integration: Die Windows-Integration von Ollama ermöglicht es Entwicklern, große Sprachmodelle auch in der Windows-Umgebung leichter zu nutzen und verbessert damit den Zugang zu Machine-Learning- und KI-Entwicklung.
• Hardware-Beschleunigung: Die Hardware-Beschleunigung mit GPU- und modernen CPU-Befehlssätzen kann die Ausführungsgeschwindigkeit von Modellen deutlich verbessern und hohe Leistung auch ohne komplexe Konfiguration ermöglichen.
• API-Zugänglichkeit: Eine dauerhaft aktive API und OpenAI-Kompatibilität machen die Integration mit bestehenden Tools einfacher und ermöglichen Entwicklern dadurch eine effektivere Arbeit.

[GN⁺]

Hacker News Kommentare

• Der Nutzer betreibt auf seinem Desktop mit dem Open-WebUI-Frontend eine Sammlung feinabgestimmter Modelle wie Mistral und einige weitere. Sie liefern für Chat- und Informationsextraktionsaufgaben bereits gute Leistung. Die Open-WebUI-App ist ChatGPT sehr ähnlich und erlaubt es, Gespräche zu durchsuchen.

  Open-WebUI GitHub-Seite

• Er bedauert, dass keine AMD-GPU-Unterstützung erwähnt wurde, und bereut, diesmal auf AMD gesetzt zu haben.
• Für Leute, die eine Chat-UI suchen, die sowohl Online- als auch lokale Modelle mit Ollama unterstützt, entwickele ich eine datenschutzfokussierte Offline-App und habe am Morgen dieses Tages Windows-Unterstützung hinzugefügt.

  msty.app

• Ich frage mich, warum viele als "lokal ausgeführt" beworbene KI-Ports als Server laufen. Vielleicht haben die Entwickler vergessen, dass sie Code im UI-Prozess ausführen können. Dasselbe sieht man auch beim Stable-Diffusion-Launcher und bei LLM-Hosts. Ich möchte keine lokalen Hintergrunddienste laufen lassen, wenn sie nicht benötigt werden.
• Ich bin neugierig auf die Meinungen von anderen zu dem nicht Open-Source LM Studio und Ollama.

  LM Studio

• Ich hätte vor ein paar Jahren gedacht, dass Mac-Nutzer lange warten müssen, und wusste nicht, dass Windows-Nutzer keinen Zugang zu Ollama haben.
• Linux und Mac sind bereits nutzbar, und es wurde Windows-Unterstützung ergänzt.

  Ollama GitHub-Seite

• Auf meinem Windows-PC habe ich in den letzten Tagen Ollama mit der lokalen Tab-Autovervollständigung in VS Code ausprobiert und es ist ebenso gut wie auf dem Mac.
• Nach der Installation des llama2-Modells auf einem neuen Mac Mini hatte ich einen vollständigen Kernel-Panic. Was ist da los?
• Mich interessiert, ob es eine bevorzugte Art ist, auf lokalen Modellen zu arbeiten und zu entwickeln, und ob es noch essentielle Tools gibt, die man lernen sollte.