LM Studio Bionic: Ein KI-Agent für offene Modelle

 (lmstudio.ai)
1 Punkte von GN⁺ 5 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • LM Studio Bionic ist eine eigenständige App, die Coding-, Recherche- und Dokumentenarbeit mit offenen Modellen lokal oder in der Cloud erledigt, sodass sich Datenschutz und KI-Nutzungskosten direkt kontrollieren lassen
  • Modelle können direkt auf dem Gerät ausgeführt oder über LM Link verbunden werden; für komplexe Aufgaben lassen sich große Open-Source-Modelle in der LM Studio Secure Cloud auswählen
  • Die Sprach-Tastatur nutzt mit Voxtral das mehrsprachige Echtzeit-Transkriptionsmodell von Mistral AI, um Sprache in jeder App direkt auf dem Gerät in Text umzuwandeln
  • Für Coding bietet sie Codebase-Recherche, Bearbeitung, Debugging und Inline-Diffs; für Dokumentenarbeit gibt es Sandbox-Verarbeitung, Websuche, automatische Checkpoints und In-App-Vorschauen
  • Für alle Nutzer gilt Zero Data Retention sowie die Richtlinie, nicht mit Nutzerdaten zu trainieren; auch Cloud-Anfragen werden nach der Verarbeitung nicht gespeichert

Coding, Sprache und Dokumentenarbeit

  • Bionic-Agenten konzentrieren sich auf Coding und Dokumentenarbeit; je nach Aufgabe lassen sich passende Modelle und Computing-Umgebungen auswählen, um die Kosten zu steuern

  • Sprach-Tastatur, die direkt auf dem Gerät läuft

    • Ein lokales Audiomodell transkribiert Ideen, Prompts und Korrekturen direkt auf dem Gerät
    • Zum Start wird mit Voxtral das leistungsstarke mehrsprachige Echtzeit-Transkriptionsmodell von Mistral AI bereitgestellt
    • Wird die Sprach-Tastatur in einer beliebigen App gestartet, wird das Transkript an der aktuellen Cursorposition eingefügt

  • Code-Projekte für lokale Codebases

    • Wird ein lokaler Ordner verbunden, kann die Codebase untersucht, unbekannter Code erklärt sowie geändert oder debuggt werden
    • Über Inline-Diffs lassen sich Codeänderungen prüfen
    • Eine agentische Codesuche findet relevante Dateien und verfolgt das Verhalten nach
    • Zu den unterstützten Modellen gehören GLM 5.2 und Kimi K2.7 Code

  • Work-Projekte für Dokumente, Präsentationen und Tabellen

    • Dokumente, PDFs, Präsentationen, Tabellen und mehr lassen sich bearbeiten oder komplett neu erstellen
    • Dokumente werden in einer Sandbox-Umgebung verarbeitet und damit vom restlichen Computer und seinen Dateien isoliert
    • Unterstützt werden das Organisieren lokaler Verzeichnisse, das Bearbeiten von Dateien, das Zusammenfassen von Materialien sowie die Nutzung externer Informationen über die integrierte Websuche
    • Mit automatischen Checkpoints lassen sich Änderungen prüfen oder zurücksetzen; in der In-App-Vorschau können Materialien und Arbeitsablauf gemeinsam verwaltet werden
    • Die Unterstützung soll weiter ausgebaut werden, damit künftig mehr Dateiformate in der Vorschau angezeigt werden können

Lokale, verbundene und Cloud-Modellausführung

  • In der Bionic-App lassen sich aktuelle lokale LLMs herunterladen und für einfache Chats bis hin zu fortgeschrittenen agentischen Aufgaben nutzen; die lokale Ausführung basiert auf der LM Studio Runtime
  • Je nach Aufgabe stehen drei Ausführungsarten zur Auswahl
    • Lokale Modellausführung auf dem Gerät
    • Modellverbindung über LM Link
    • Nutzung großer führender Open-Source-Modelle in der LM Studio Secure Cloud
  • Secure Cloud bietet aktuelle offene Modelle, die stark bei Coding, Reasoning, Tool-Aufrufen und langem Kontext sind
    • Cloud-Anfragen werden nur vorübergehend verarbeitet und nach Abschluss nicht gespeichert
    • Für alle Bionic-Nutzerdaten gilt Zero Data Retention; sie werden auch nicht für das Training verwendet

Installation und Nutzungsbedingungen

  • LM Studio Bionic ist eine neue App, die vom bestehenden LM Studio getrennt ist
    • Wenn Low-Level-Feineinstellungen benötigt werden, kann das bestehende LM Studio weiterhin zusammen mit Bionic verwendet werden
    • Für die Nutzung von Cloud-Modellen muss ein LM-Studio-Konto erstellt und die Bezahlung eingerichtet werden
    • Sobald ein Projekt verbunden und ein Modell ausgewählt ist, kann mit einem Bionic-Agenten gearbeitet werden
  • Geplant ist, das Bionic-Erlebnis kontinuierlich weiter zu verbessern, indem Leistungsfortschritte offener Modelle und reale Projektanwendungen berücksichtigt werden

Verwandte Beiträge

1 Kommentare

 
GN⁺ 5 시간 전
Hacker-News-Kommentare

  • Ich bin Yagil, Gründer von LM Studio. Wenn ihr GLM 5.2 / Kimi K2.6 / Kimi Coder K2.7 in Bionic testen möchtet, schickt euren lmstudio.ai-Benutzernamen an hn-jul16@lmstudio.ai, dann schreiben wir euch Credits gut.
    Für Coding nutzt ihr das Projekt „Code“, für das Erstellen und Bearbeiten von Dokumenten das Projekt „Work“. Das Work-Projekt erstellt bei jeder Änderung durch den Agenten automatisch Checkpoints; nach der Nutzung würde ich gern euer Feedback hören.

    • Das ist eines der Agent-Ausführungsframeworks, bei denen man sich den Inferenzprozess gut ansehen kann. Manchmal ist es nützlicher, die Schlussfolgerungen zu lesen als die endgültige Antwort, und mir gefällt, dass es transparenter offengelegt wird als bei Claude Code oder Codex.
      Ihr sagt, ihr hättet mit „Anbietern“ Zero Data Retention (ZDR) ausgehandelt; mich würde interessieren, ob LM Studio die Modelle selbst hostet oder ob ein anderer Anbieter sie hostet. Falls es ein externer Anbieter ist, würde ich auch gern wissen, welcher.
    • Ich mag LM Studio und werde Bionic heute Abend ebenfalls ausprobieren. Ich warte sehnsüchtig auf eine Android-Begleit-App – so sehr, dass ich iPhone-Nutzer beneide.
    • Ich frage mich, ob man einen z.ai coding plan API-Key verwenden kann.
    • Ich mag LM Studio wirklich, aber diese neue Richtung rund um Cloud und Vertrauen könnte das Vertrauen vieler Menschen kosten. Weil Unternehmen immer wieder versprochen haben, „keine Daten aufzubewahren“ und „nicht mit Nutzerdaten zu trainieren“, klingt es wie eine erneute Bitte, ihnen einfach zu glauben.
      Auf der Website konnte ich nicht einmal den Unternehmenssitz finden, und es wirkt, als würde erneut dieser US-amerikanische „Vertraut uns einfach“-Ansatz exportiert, den ich seit 20 Jahren leid bin.

  • Für lokale Modelle ist das mein erstes Agent-Ausführungsframework, aber weil ich LM Studio mag, habe ich Bionic sofort ausprobiert, und der erste Eindruck ist hervorragend. Die UI ähnelt Codex, das ich hauptsächlich nutze, und war daher vertraut und leicht zu starten; als ich die bestehende Modellbibliothek von LM Studio auswählte und Qwen3.6 35B ausführte, bekam ich die erwarteten Ergebnisse.
    Es gibt aber auch Verbesserungsbedarf. Auf dem Startbildschirm steht nur der Projektname; anders als bei Codex wird das aktuelle Arbeitsverzeichnis nicht deutlich angezeigt. Wenn man Enter drückt, wird beim Laden des Modells statt „Loading model“ „Working“ angezeigt, und ich habe auch keine Möglichkeit gefunden, es vor dem Absenden einer Anfrage vorab zu laden oder das Modell ohne Beenden der App wieder zu entladen, wie über den Auswerfen-Button in LM Studio. Als ich das Verzeichnis „GitHub & Projects“ festlegte, wurde außerdem ein neuer Ordner mit demselben Namen erstellt.

  • Wenn Apple ein ausreichend gutes lokales Modell samt Ausführungsframework bereitstellt, werden die meisten normalen Nutzer wohl dieses verwenden. Ich frage mich, ob LLMs am Ende einfach eine weitere Schnittstelle zum Computing werden.

    • Apples System Model ist ziemlich gut, aber die Kontextlänge ist auf 4K begrenzt. Für kleine Python-Utilities, die wenig Daten verarbeiten, ist das in Ordnung, insgesamt aber eine bedauerliche Einschränkung.
      Unabhängig davon ist Siri in der neuesten iOS-Beta erstaunlich viel besser geworden. Als ich fragte, welches Modell verwendet wird, antwortete sie, dass bei schwierigen Problemen Gemini genutzt werde, danach ein sicheres Apple-Modell in der Cloud und zuletzt ein lokales Apple-Modell.
    • Für die meisten Aufgaben normaler Nutzer reicht meiner Ansicht nach ein LLM auf dem Niveau der ChatGPT-3.5-Ära aus. Wenn man dazu Tool Calling und Ähnliches ergänzt und ein Modell dieser Größenordnung zuerst direkt im Gerät nutzt, könnten sich AI-Nutzer in zwei Gruppen aufteilen: jene, die nichts bezahlen wollen, und jene, die viel Geld für die Leistung von Frontier-Modellen ausgeben.
    • Die Antwort hängt davon ab, ob die Modellentwicklung ausreichend stagniert, sodass Modelle in Gerätegröße mit der Leistung von Frontier-Modellen mithalten können. Falls ja, werden LLMs zu einer neuen Computing-Schnittstelle; falls nicht, wird es schwierig.
    • Neuronale Maschinen waren von Anfang an dazu bestimmt, ein alternatives Computing-Paradigma zur Von-Neumann-Maschine zu werden. Ohne Minsky hätten sie vielleicht schon früher ein nützliches Niveau erreicht; daher frage ich mich, warum das wie eine kleine Veränderung dargestellt wird.
    • In Computing 1.0 mussten Menschen die Sprache der Computer lernen, um vollständig mit ihnen zu interagieren; in Computing 2.0 hat der Computer gewissermaßen die Sprache der Menschen gelernt.

  • Ich frage mich, warum man dieses Framework statt anderer Agent-Ausführungsframeworks wählen sollte. Besonders stark scheint es als Enterprise-Paket zu sein, wenn Unternehmen die Nutzung von Cloud-Frontier-Modellen aus Kosten- und Datenschutzgründen kontrollieren wollen.

    • Es gibt überraschend wenige modellunabhängige Ausführungsframeworks, die nicht nur lose zusammengeschusterter Python- oder JavaScript-Code sind. Noch seltener sind Produkte, die absurde Verhaltensweisen vermeiden, bei denen der Kontext aufgebläht oder übermäßig komprimiert wird.
      Einen Python- oder JavaScript-Agenten auszuführen, der möglicherweise per Vibe Coding entstanden ist, ist mir wegen der Sicherheits- und Supply-Chain-Risiken viel zu heikel.

  • Es hat Spaß gemacht zu testen, welche lokalen Modelle die besseren Agenten abgeben, aber es gibt einige Einschränkungen.
    Man ist auf ein einziges Verzeichnis festgelegt und kann nicht auf das gesamte System zugreifen; es gibt auch keine lokale Websuche, was sich aber mit ddg oder lokalem MCP ausgleichen lässt. Es gibt kein SSH, sodass man sich nicht auf Servern einloggen und dort Aufgaben erledigen lassen kann, und der Ladevorgang des Modells wird nicht angezeigt, daher wären ein Fortschrittsbalken oder eine Prozentanzeige nötig. Beim Ablegen von Dokumenten im Work-Verzeichnis frage ich mich, ob neben dem Hinzufügen über „+“ auch Drag-and-drop möglich ist. Lokal nutze ich sonst opencode zusammen mit LM Studio, daher bin ich gespannt auf die weitere Entwicklung.

  • Es heißt, es sei eine separate App vom normalen LM Studio, aber ich kann nicht herausfinden, wie man sie herunterlädt.

  • Es ist erfreulich, dass LM Studio sich in Richtung Agent-Workflows erweitert. Während Tools für lokale Modelle immer besser werden, sind Open-Source-Optionen für Entwickler, die ihre Daten privat halten wollen, sehr wertvoll.

  • Ich wünschte, LM Studio würde AMD-Hardware besser unterstützen. Eine schlüsselfertige Lösung, die auch auf Radeon ohne zusätzliche Konfiguration sofort funktioniert, wird dringend gebraucht.

  • Einer der Gründe, warum ich von Ollama zu LM Studio gewechselt bin, war das Geschäftsmodell; daher macht es mir Sorgen, dass sich die Richtung nun zu „die größten offenen Frontier-Open-Source-Modelle über LM Studio Secure Cloud nutzen“ verschiebt.

    • Unsloth Studio ist wirklich Open Source, und da ich Unsloth auch bei quantisierten Modellen mehr vertraue als LM Studio, würde ich es empfehlen.
    • Fairerweise muss man sagen, dass auch Ollama seinen eigenen Cloud-Dienst ebenso aktiv gepusht hat.
      Bei aktuellen großen Modellen wie Minimax, GLM oder Kimi kommt es vor, dass selbst nach Monaten keine offizielle Download-Version bereitgestellt wird und nur eine Cloud-Version erscheint.
    • Ollama war von Anfang an umstritten, während es bei LM Studio meines Wissens nichts dergleichen gab. Daher habe ich etwas mehr Vertrauen, dass LM Studio diesen Übergang insgesamt reibungslos hinbekommt.

  • Sowohl die LM-Studio-App als auch die neue LM Studio Bionic App sind Closed Source. Viele wissen das nicht, daher sollte man daran erinnern.

    • Unsloth Studio ist Open Source und wird von Unsloth betrieben, das branchenführende quantisierte Modelle erstellt; daher empfehle ich den Umstieg.
    • Dass es Closed Source ist, ist der Hauptgrund, warum ich LM Studio nicht häufig nutze. Nachdem ich neue Modelle oder Quantisierungen ausprobiert habe, hoste ich sie direkt mit llama.cpp.
      LM Studio unterstützt Funktionen wie Audioeingabe nicht und hat gelegentlich Bugs, die es im reinen llama.cpp nicht gibt, sodass es für manche Einsatzzwecke sogar ein Nachteil sein kann.
    • Es gibt bereits viele Open-Source-Agentensysteme, und wenn man eine UI bevorzugt, hat auch OpenCode eine Beta-Desktop-App.
      Besonders Closed-Source-Entwicklertools, bei denen der Zugang später durch Monetarisierung eingeschränkt werden könnte, halte ich für unnötig.
    • Mich würde interessieren, welchen Tech-Stack es verwendet und ob es eine native App ist. Als Desktop-App ist sie für ihren Zweck ziemlich gut gestaltet.
    • Ich frage mich, ob die Tatsache, dass es Closed Source ist, an sich ein Streitpunkt ist.