Ollama unterstützt jetzt AMD-Grafikkarten

• Ollama unterstützt in der Preview-Version jetzt AMD-Grafikkarten unter Windows und Linux
• Alle Funktionen von Ollama können nun unter Linux und Windows mit AMD-Grafikkarten beschleunigt werden

Unterstützte Grafikkarten

• AMD Radeon RX-Serie: 7900 XTX, 7900 XT, 7900, 7800 XT, 7700 XT, 7600 XT, 7600, 6950 XT, 6900 XTX, 6900XT, 6800 XT, 6800, Vega 64, Vega 56
• AMD Radeon PRO-Serie: W7900, W7800, W7700, W7600, W7500, W6900X, W6800X Duo, W6800X, W6800, V620, V420, V340, V320, Vega II Duo, Vega II, VII SSG
• AMD Instinct-Serie: MI300X, MI300A, MI300, MI250X, MI250, MI210, MI200, MI100, MI60, MI50
• Unterstützung für weitere AMD-Grafikkarten soll in Kürze folgen.

[GN⁺]

Hacker-News-Kommentare

• Mangelnde Anerkennung für die Beiträge von llama.cpp

  • Es fällt auf, dass llama.cpp für Werkzeuge, die auf den von llama.cpp bereitgestellten Technologien basieren, weder direkt Anerkennung noch Dank erhält.
  • Andere Software zum „lokalen Ausführen“ bekommt ein angemessenes Maß an Anerkennung, und obwohl Ollama unter der MIT-Lizenz offenbar kein Problem darstellt, gibt es weder im Repository noch im Blog oder auf der Ollama-Website irgendeinen Dankeshinweis.

• Meinungen zum Blogpost über die AMD-Unterstützung von Ollama

  • Der Blogpost wirkt irgendwie amüsant. Ich hatte Ollama bereits seit einigen Wochen auf einer AMD RX 6650 laufen.
  • Seit 21 Tagen gibt es bereits einen ROCm-Container, und er scheint zusammen mit dem neuesten Release 0.1.29 veröffentlicht worden zu sein. Ich frage mich, was sich in diesem Release in Bezug auf die AMD-Unterstützung tatsächlich geändert hat.
  • Es gibt ein Issue, das den Prozess beschreibt, Ollama auf offiziell nicht unterstützten AMD-Karten auszuführen. Im Grunde muss man nur Umgebungsvariablen setzen.
  • Ich habe als Änderung entdeckt, dass das starcoder2-Modell jetzt funktioniert. Zuvor ist es abgestürzt.

• Fragen zur übermäßigen Aufmerksamkeit für Ollama

  • Ich bin nicht sicher, warum Ollama so viel Aufmerksamkeit bekommt. Es unterstützt immer nur ein Modell gleichzeitig und hat nur begrenzten Wert für experimentelle Nutzung.
  • Es macht den Experimentierprozess zwar sehr einfach, aber wenn man bedenkt, dass es vollständig von llama.cpp abhängt und das Hauptversprechen im einfachen Modellmanagement liegt, halte ich seinen Wert im Verhältnis zur Aufmerksamkeit und zum Lob für überschätzt.
  • Nach den ersten Experimenten muss man Modelle letztlich sowieso in einer Produktionsumgebung bereitstellen. Es geht nicht darum, llama.cpp Anerkennung zu geben, sondern darum, dass dieses Produkt im Verhältnis zu dem Wert, den es bietet, zu viel Aufmerksamkeit bekommt.

• Dank für die Unterstützung von RX 6800/6800 XT / 6900 XT

  • Ich freue mich, die Karte, die ich wegen der Engpässe nach Corona zu einem überhöhten Preis gekauft habe, nun für ML-Arbeiten nutzen zu können.
  • Danke an das Ollama-Projekt und an llama.cpp.

• AMD-bezogene Warnmeldungen beim Ausführen von Ollama

  • fooocus läuft, aber beim Start von Ollama erscheinen Warnmeldungen zu den AMD-Linux-Treibern.
  • Wegen fehlender ROCm-Bibliotheken wird stattdessen die CPU verwendet.
  • Ich muss nachsehen, wie man ROCm unter Arch Linux erneut installiert.

• Positive Reaktionen auf die sinkende Bedeutung von CUDA

  • Je mehr Projekte dieser Art es gibt, desto weniger wichtig wird CUDA, und desto stärker schwindet Nvidias Wettbewerbsvorteil.

• Lokale LLM-Software führt zum Kauf neuer Hardware

  • Ältere Karten wie RX 570/580 werden nicht unterstützt, und obwohl neue Hardware leistungsfähiger ist, denke ich dennoch, dass keine ganz aktuellen Karten nötig sein sollten, wenn CUDA bereits 2007 und ROCm 2016 erschienen sind.

• Die unkomplizierte Nutzungserfahrung mit Ollama

  • Ich hatte zuvor keinerlei Erfahrung mit lokal laufenden Modellen, aber unter Ubuntu 22 hat es mit einer 7600er-Karte sofort funktioniert, was wirklich großartig ist.

• Neugier auf den Einsatz von OpenCL

  • OpenCL wird im Vergleich zu Cuda selten genutzt, daher frage ich mich, wie man das hier erfolgreich umgesetzt hat.
  • Ich habe ziemlich viel Geld für eine 4090 bezahlt, hätte mir aber gewünscht, eine echte Wahl zu haben.

• Preise von NVidia-Karten und Bemühungen um bessere AMD-Unterstützung

  • Angesichts der sehr hohen Preise und der schlechten Verfügbarkeit von NVidia-Topmodellen deutet vieles darauf hin, dass große Anstrengungen unternommen werden, um die AMD-Unterstützung zu verbessern.