LM Studio – ein Tool, mit dem sich LLMs einfach lokal ausführen lassen

• Unterstützt das Finden, Herunterladen und Offline-Ausführen von LLMs lokal
  • Modelle wie LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X usw.
• Mac/Windows/Linux (Beta)
• Modelle können über die integrierte Chat-UI oder einen OpenAI-kompatiblen lokalen Server genutzt werden
• Unterstützt ggml-basierte Llama-, MPT- und StarCoder-Modelle von HuggingFace
  • (z. B. Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT usw.)
• Mindestvoraussetzungen und Anforderungen
  • Apple-Silicon-Mac (M1/M2/M3) mit macOS 13.6 oder neuer
  • Windows-/Linux-PC (Prozessor mit AVX2-Unterstützung)
  • 16 GB+ RAM empfohlen, auf PCs 6 GB+ VRAM empfohlen
  • NVIDIA-/AMD-GPUs werden unterstützt

Datenschutz und Nutzung von LM Studio

• LM Studio sammelt oder überwacht keine Nutzerdaten; alle Daten verbleiben lokal auf dem Gerät des Nutzers
• Für die private Nutzung ist es kostenlos; für den Einsatz im beruflichen Umfeld muss das Team kontaktiert werden

Meinung von GN⁺

• LM Studio ist eine attraktive Lösung für Nutzer, die Wert auf Datenschutz legen; besonders wichtig ist die Möglichkeit, LLMs offline auszuführen.
• Dass Nutzerdaten ausschließlich lokal gespeichert werden, verschiedene Modelle unterstützt werden und das Tool für private Nutzer kostenlos ist, macht es besonders interessant.
• Die Hardware-Anforderungen sind relativ hoch, daher eignet es sich eher für Nutzer mit aktueller Hardware; positiv ist auch, dass ein Einsatz im beruflichen Umfeld vorgesehen ist.

[GN⁺]

Hacker-News-Kommentare

• Es wurde ein Link geteilt, der zeigt, dass man mit Ollama und einer UI dieselbe Arbeit wie mit Open-Source-Code erledigen kann.
• Positive Einschätzung zu LM Studio und seinen Merkmalen:
  • Lokale Modell-Laufzeitumgebung
  • Modellkatalog
  • UI, um einfach mit Modellen zu chatten
  • OpenAI-kompatible API
  • Enthält Plugins wie RAG (mit ChromaDB)
  • Ist in einer guten Position, um neue Funktionen des OS-Ökosystems zu nutzen
  • Leider ist LM Studio selbst nicht Open Source
• Jemand möchte unzensierte Modelle ausprobieren. Es wurde das Modell "TheBloke/Luna-AI-Llama2-Uncensored-GGML" gefunden, und nur die erste Datei wurde heruntergeladen, um zu prüfen, ob es funktioniert. Es besteht die Frage, ob auch die übrigen Dateien heruntergeladen werden müssen und ob das Modell bei bestimmten sensiblen Fragen tatsächlich unzensiert ist.
• Eine grundlegende Frage zu LLMs: Was passiert, wenn man die Serie "Der Herr der Ringe" in ein LLM eingibt, ob es ein einfaches „ahnungsloses“ LLM gibt und ob man damit einen Experten für Mittelerde erschaffen könnte.
• Eine amüsante Qualifikationsanforderung für fortgeschrittene Engineering-Rollen: tiefes Verständnis von Computern und Software, Fähigkeiten in Algorithmen und beim Schreiben von Programmen usw.; zugleich fällt es schwer, diese Anforderungen ganz ernst zu nehmen.
• Es wurde ein Link zu einer persönlich erstellten einfachen UI geteilt, die versucht, komplexe Konfigurationen zu vereinfachen.
• Neugier auf die potenzielle Zielgruppe für LLM-Software; man würde gern Informationen oder Vermutungen zur Marktsegmentierung sehen. Trotz komplexer Einrichtung wird der Wert dieser Oberfläche sowie des Chattens und Modellmanagements erkannt.
• Vorschläge zur Verbesserung der UI der App:
  • Der Standardzustand des Chatbox-Felds sollte verbessert werden
  • Es ist unklar, wie man CUDA-Beschleunigung vor dem Laden des Modells einstellt
  • Einige HuggingFace-Modelle werden nicht aufgelistet, ohne dass der Grund genannt wird
  • Der Scrollbereich der Akkordeon-Elemente in der Oberfläche reagiert nur auf das Mausrad
  • Der Server-Tab ist für das anfängliche Debugging sehr nützlich
• Frage nach Problemen, die bei der Nutzung verschiedener LLM-Modelle (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna) auftreten können, etwa 50 % Halluzinationen, Empfehlungen für nicht existierenden API-Code oder die Reproduktion veralteter StackOverflow-Antworten; außerdem die Bitte um Beispiele dafür, wie diese Modelle tatsächlich genutzt werden.
• Nach Installation und Ausführung von LM Studio stieg die CPU-Auslastung auf bis zu 30 %, und der Lüfter des Laptops wurde deutlich lauter. Nach dem Beenden des LM-Studio-Prozesses und erneutem Öffnen sank die Hintergrundauslastung auf 5 %.