Ollama Turbo
(ollama.com)- Ollama Turbo ist eine neue Lösung, mit der große Open-Source-Modelle auf leistungsstarker Data-Center-Hardware schnell ausgeführt werden können (20 USD pro Monat).
- Zusätzlich kann weiterhin die App, CLI, API sowie die JavaScript/Python-Bibliotheken von Ollama genutzt werden, um große Modelle schnell und effizient zu betreiben.
- Aktuell wird im Preview-Modus das OpenAI-öffentliche Modell gpt-oss-20b sowie gpt-oss-120b unterstützt.
- Bei Verwendung des Turbo-Modus wird die Abfragehistorie auf dem Server nicht gespeichert oder protokolliert.
- Die Hardware wird ausschließlich in US-Rechenzentren betrieben, zeit- und tagesbezogene Nutzungsbeschränkungen gelten, und ein verbrauchsbasiertes Abrechnungssystem soll künftig eingeführt werden
1 Kommentare
Hacker News-Kommentare
Ich finde es einen wirklich guten Launch. Der schwierigste Teil beim Einsatz von OSS-Modellen in Unternehmen liegt in vielen Faktoren: Geschwindigkeit, Kosten, Zuverlässigkeit, Funktionsgleichwertigkeit (z. B. Kontext-Caching), Leistung (also welches Quantisierungsniveau genau), Host-Standort/Datenschutzgarantie, LTS usw. Wenn man Open-Source-Modelle bei einem großen Anbieter außerhalb der üblichen Drei einsetzen will, muss man ihn in all diesen Bereichen selbst bewerten, was oft erhebliches Fachwissen erfordert. Gelegentlich muss man sogar eigene Bewertungswerkzeuge bauen. Im Gegensatz dazu bieten Anthropic, OpenAI und Google eine „sofort einsatzbereite“ Erfahrung, und man zahlt dafür. Der Preis ist zwar etwas höher, aber ich denke, das ist der Preis dafür, dass sie alles für einen übernehmen. Solange OSS-Anbieter keine Standardisierung vorantreiben, werden Open-Source-Modelle trotz theoretisch gleicher Leistung wie geschlossene Modelle in großflächigen Rollouts wahrscheinlich in einer Zwischenstufe stecken bleiben, in der ein echter Wettbewerb schwer fällt.
Das stimmt, aber die Nutzung der großen Standardanbieter bedeutet oft, dass man den gesamten Prompt-Traffic ohne nennenswerte rechtliche Absicherung übergibt. Eine ausführlichere Erklärung dazu steht im zugehörigen Artikel.
Das gpt-oss-Modell wird nur im 4,5-Bit-Quant-Format angeboten. Das ist das reine Originalmodell; ein fp16-Modell ist nicht vorhanden.
Es gibt zwar Leute, die auf diese Art von Ollama negativ reagieren, aber ich halte es tatsächlich für die einfachste Lösung, um Modelle lokal zu entwickeln und zu testen. Richtig, llama.cpp ist die eigentliche Engine und Ollama ist im Grunde ein Wrapper. Für einen echten Produktionsbetrieb möchte ich Ollama nicht einsetzen. Wenn Menschen aber mit geringer technischem Verständnis schnell ein System mit LLM-Funktionen selbst entwickeln und ausführen möchten, ist es ein Vorteil, dass man es per GUI und .dmg-Datei sofort installieren kann.
Es gab den Einwand, dass man Ollama nicht im produktiven Einsatz nutzen möchte. Wir haben die Startzeit und den Token-pro-Sekunde-Durchsatz von vLLM und Ollama benchmarked, und Ollama hatte die beste Leistung. Ich hoffe, wir können bald Ergebnisse dazu veröffentlichen.
Ich bin gespannt, wie es weitergeht, denn ich halte Ollama für das Synonym für „lokal“.
Es gibt eine kleine, aber lautstarke Gruppe von Nutzern, die großen Unternehmen nicht vertraut. Aber genau diese Nutzer halten es offenbar für akzeptabel, ähnliche Dienste kleinerer Firmen zu bezahlen. Ich frage mich, ob sie tatsächlich für einen Dienst wie Ollama bezahlen würden.
Das fühlt sich wie ein Cloud-Game-Dienst an. Meist ist man mit lokaler Nutzung zufrieden, aber manchmal ist es effizienter, Hardwarekosten auf andere zu übertragen. Es ist schließlich eine Frage der Wahl, nicht Alles-oder-nichts.
Was „Privacy first“ konkret bedeutet, interessiert mich mehr. Wenn nur betont wird, dass keine Daten gespeichert werden, klingt das unzureichend. Bei Draw Things z. B. werden bei „Cloud Compute“ alle Datenverarbeitungen ebenfalls nur im RAM pro Anfrage durchgeführt und nicht gespeichert. Mir persönlich gefällt dieser Ansatz auch nicht. Bald soll ein „privacy pass“ ergänzt werden, aber auch das hat Grenzen. Ein auf Hardware nachweisbares Transparenzlog wäre gut, ich weiß nur nicht, wo man da anfangen soll.
Ich sehe keinen Privilegienvorteil dadurch, dass man mit Ollama arbeitet. Ollama kann auch Daten verkaufen oder sie bei Bedarf auf rechtlicher Grundlage herausgeben müssen.
Die Datenschutzrichtlinie ist nicht ersichtlich und die Desktop-App ist nicht Open Source, wodurch kein Vertrauen aufgebaut wird. [Übrigens bauen wir gerade eine LLM-Call-Lösung mit echter Datenschutzgarantie auf Basis nachweisbarer Transparenzlogs.]
Wenn man Modelle in der Schweiz oder in einem Land mit starker GDPR-Umsetzung ausführen kann, bin ich bereit, trotz höherer Latenz mehr zu zahlen. Auch möchte ich, dass der Datentransfer immer über Sicherheitsprotokolle wie SSL erfolgt.
Man fragt sich, warum man nicht bei den gleichen 20 US-Dollar lieber ein SOTA-Modell von OpenAI nutzen sollte, statt ein angeblich „schlechteres“ Modell bei Ollama.
Der größte Vorteil von Ollama Turbo ist, dass man mit passender Hardware verschiedene Modelle, die lokal laufen können, direkt in der Cloud testen kann. Bevor man viel Geld für den Kauf und den Aufbau teurer Hardware (Mac Studio, dgx usw.) ausgibt, kann man so schnell Open-Modelle testen und die Einsatzmöglichkeit abschätzen. Entwickler in Bereichen wie Finanzdienstleistungen, Medizin und Recht, in denen Datenschutz wichtig ist, wollen in der Regel On-Premises- und lokale Umgebungen. Mit diesem Service kann man nicht-sensitive Daten experimentell entwickeln, und bei der Umstellung auf den produktiven Betrieb auf eigene Hardware profitiert man von diesem Vorteil.
Ein Vorteil ist, dass man Modelle frei ohne Filter ausführen kann. OpenAI filtert übermäßig und sagt nicht, welche Regeln verletzt wurden. Man muss durch Variationen von Prompts selbst prüfen, ob man gegen Urheberrecht, Markenrecht etc. verstößt, und in letzter Zeit beantwortet es sogar einfache Fragen nicht mehr sauber. Ich möchte eine Version von LLM ohne „Schutzvorrichtungen“.
Ich kann nicht sicher sagen, dass die Preise großer Modelle auch künftig bei 20 US-Dollar bleiben werden. Ich hoffe natürlich, dass der Markt weiterhin kompetitiv bleibt.
Datenschutz scheint der wichtigste Grund zu sein, und man kann auch erwarten, dass dadurch in der Preisstruktur mehr Nutzungsvolumen bereitgestellt wird. Mir persönlich ist Datenschutz zentral.
Das war vorhersehbar. Die lokale Inferenz-Community bündelt sich zwar um Ollama, aber es ist klar, dass Ollamas langfristige Strategie oder Priorität dort nicht liegt. Ich denke, man sollte schnell auf Alternativen umsteigen.
Die Basisbibliothek llama.cpp von Ollama verfügt selbst über Server-Funktionen und ist vollständig kompatibel mit open-webui. Tatsächlich sind vor einigen Monaten auf llama-server statt Ollama umgestiegen und nutzen exakt dieselbe UI, völlig ohne Einschränkungen.
Ollama ist offen, und das Preismodell belastet nur Nutzer, die zusätzliche GPUs wünschen. Wenn GPU-Kosten anfallen, ist es fair, diese Kosten weiterzugeben, und mit diesem Ertrag kann der Kern eines Open-Source-Projekts wachsen. Das muss bis zu einem gewissen Grad rational sein, und wenn es ehrbar umgesetzt wird, können tolle Ergebnisse entstehen.
Als Ziel dafür gibt es auch das Projekt github.com/containers/ramalama
Huggingface bietet ebenfalls Cloud-Produkte an, aber das heißt nicht, dass man keine Modellgewichte herunterladen und lokal ausführen kann.
Letztlich geht der Wunsch, einen kostenlosen Service ohne nachhaltiges Modell zu betreiben, an seine Grenzen. Wer wirklich eine Open-Source-Alternative aufbauen will, kann das natürlich selbst mit Zeitaufwand machen. Wenn nicht, muss man diese Realität akzeptieren.
Ich bin verwirrt darüber, warum Ollama diese Entscheidung getroffen hat. Wenn es nicht darum geht, den Umsatz zu senken, wirkt es wie der Druck von jemandem. Dass eine wirklich gut funktionierende lokale Lösung, mit der man weit mehr Ideen umsetzen könnte, so gut funktioniert, aber stattdessen noch einen weiteren Cloud-Service geschaffen wurde, ist schade. Ich mag Ollama weiterhin und wünsche mir, dass es weiterhin großartig bleibt.
Viele interessante Punkte fallen in dieser Ankündigung auf. Als eines der führenden lokalen OSS-Modell-Engines wirkt es für mich, als wäre der reine OSS-Fokus von Anfang an genau die richtige Timing-Entscheidung in der aktuellen OSS-Welle. Auch das Abo-Tarifmodell ist interessant; andere Player setzen das ebenso ein, aber im API-basierten Service ist es ungewöhnlich. Langfristig rechne ich mit einem Preiskrieg bei LLMs; das Auftreten monatlicher Abos in API-Services kann ein Symptom dieses Trends sein. Ich bin gespannt, ob Ollama genug Ressourcen hat, sowohl die lokale Engine als auch diesen Cloud-Service aufrechtzuerhalten.
Es wurde gesagt, dass bald ein nutzungsbasiertes Preismodell kommt, und ich finde, dass das genau zu diesem Service passt. Ich zahle auch 20 US-Dollar für Anthropic, aber ich glaube nicht, dass ich in diesem Service dieselbe Menge nutzen werde. Dennoch ist es wirklich nützlich, sofort verschiedene Modelle zu laden und zu vergleichen. Ich wünsche dem Team wirklich gute Ergebnisse.
Ein Flatrate-Service für Open-Source-LLMs ist ziemlich außergewöhnlich. Ich denke nicht, dass ich ihn selbst nutzen würde, aber wenn ein nutzungsbasiertes Modell eingeführt wird, muss Ollama sofort mit großen Spielern wie deepinfra.com, novita.ai und openrouter.ai konkurrieren. Ollama ist bekannter, aber die bestehenden Angebote sind bereits preislich stark.
Dass ein nutzungsbasiertes Modell bald eingeführt wird, ist nachvollziehbar. Doch da es bereits viele Provider gibt, die verschiedene OpenAI-basierte Modelle anbieten, bleibt die Frage, was Ollamas Alleinstellungsmerkmal wäre. Es gibt schon viele gute Schnittstellen mit eigenen API-Keys.
Ein 20-Dollar-Monatsabo für den API-Zugriff ist definitiv etwas Neues.
Ein Abomodell für API-Nutzung ist ein sehr interessanter Ansatz. Der tatsächliche Wert hängt meiner Meinung nach davon ab, ob die Nutzungslimits veröffentlicht werden.