- Ich nutze seit etwa zwei Jahren Claude und ChatGPT, aber als ich opencode mit einem eigenen Inference-Endpoint verbunden habe, fühlte es sich befreiender an als erwartet
- Da die Daten nur zwischen dem Notebook und dem eigenen Endpoint ausgetauscht werden, wuchs das Gefühl von Kontrolle und Besitz
- Statt mein persönliches Claude- oder ChatGPT-Abo upzugraden, entschied ich mich, das von Modal als Managed Endpoint veröffentlichte Kimi K3 für ein Side Project zu nutzen
- In rund 5 Minuten richtete ich opencode so ein, dass es meinen Modal-Endpoint verwendet, und brachte es zum Laufen
- Es fühlte sich so schlicht an wie das Öffnen von vim statt eines großen, auffälligen Editors und vermittelte die Freiheit, nicht mehr an Verbindungen zu anderen Anbietern gebunden zu sein
Warum ich mich für einen eigenen Endpoint entschieden habe
- Es gab kein passendes Claude- oder ChatGPT-Abo für mein persönliches Konto, daher suchte ich für mein Side Project nach einer Alternative, statt meinen Tarif upzugraden
- Modal, wo ich arbeite, hat Kimi K3 als Managed Endpoint veröffentlicht, und da dem Modell eine solide Leistung nachgesagt wird, wollte ich es selbst ausprobieren
- An der Entwicklung dieser Funktion war ich nicht beteiligt und hatte sie deshalb vorher nicht genutzt
Wie die Verbindung mit opencode das Nutzungserlebnis verändert hat
- In etwa 5 Minuten verband ich opencode mit meinem Modal-Endpoint und startete es
- Die Struktur, bei der Daten zwischen meinem Notebook und meinem eigenen Endpoint hin- und hergehen, verstärkte das Gefühl von Kontrolle und Besitz
- Der leere, einfache Startbildschirm von opencode erinnerte an das Erlebnis, nach langer Zeit mit großen Editoren wieder vim zu öffnen
- Diese Freiheit, als wären die bisherigen Bindungen an andere Anbieter gelöst, war eine unerwartete Veränderung
1 Kommentare
Hacker-News-Kommentare
Claude Code ist deshalb beliebt, weil es schon mit vagen Anfragen wie „Baue mir ein millionenschweres SaaS“ auf einmal Tausende Zeilen Code samt verschiedenster oberflächlicher Ausnahmebehandlungen und Features erzeugen kann.
Kleine und offene Modelle sind bei solchen Aufgaben schwächer, aber echte Entwicklung läuft nicht so ab, dass man die ganze App in einem Rutsch anfordert und dann fertig ist. Wenn man wie in der klassischen Entwicklung kleine, konkrete Funktionen iterativ verbessert, ist GLM genauso gut wie Claude oder sogar besser; und wenn man den Kontext wie beim Rubber-Duck-Debugging klar vorgibt, liefern die meisten sehr saubere Ergebnisse.
Schon bekannte Methoden lassen sich im Vergleich zur Handarbeit in etwa einem Hundertstel der Zeit umsetzen, wodurch sich Ideen schnell erkunden lassen, und manchmal schreiben sie von Grund auf Implementierungen mit fast keinen Drittanbieter-Abhängigkeiten außer NumPy oder SciPy, was Klarheit und Performance verbessert.
In der Planungsphase habe ich über mehrere Tage hinweg die zu nutzenden Services und Funktionen detailliert festgelegt, aber beim Umsetzen von X fehlten dann trotzdem Funktionen, die in der Anfrage nicht ausdrücklich genannt waren, etwa Bearbeiten und Löschen. Einen Proof of Concept für die Kernfunktion hatte ich zwar schon gebaut, aber es fehlte eine leicht nutzbare Oberfläche; dank Claude konnte ich trotz knapper Zeit schnell eine maßgeschneiderte App erstellen. Allein hätte ich selbst für ein weniger ausgereiftes Ergebnis wohl über ein Jahr gebraucht.
Die Leistung von DeepSeek V4 Flash ist deutlich besser als erwartet. Ich nutze hauptsächlich Claude Code auf Basis von Claude 5 Opus und Codex auf Basis von GPT-5.6 Sol, aber auch bei DS V4 Flash habe ich nicht das Gefühl, dass es stark abfällt, und zusammen mit oh-my-pi oder einfachem pi ist es ziemlich hervorragend.
Frontier-Modelle sind bei Tool-Calls deutlich stärker und daher für Assistant-Workflows im Vorteil, aber nachdem ich die Laufzeitumgebung optimiert habe, indem ich Tools an die Art angepasst habe, wie das Modell „rät“, funktioniert DS V4 Flash ebenfalls gut genug. Kleine Modelle haben bei Time-to-first-Token und Tokens pro Sekunde klare Vorteile und sind bei vielen Aufgaben konkurrenzfähig; es fühlt sich ähnlich an wie Sonnet Ende letzten Jahres und ist ziemlich stark.
Es kann Krankenakten abfotografieren und dem Kalender hinzufügen, PDFs taggen, per OCR verarbeiten und archivieren sowie Internetsuchen und Abfragen von Google-Maps-Daten durchführen. Außerdem kann es mit Home Assistant und einem Open-Source-Alexa-ähnlichen System verbunden werden, sodass man per Sprache mit dem Agenten sprechen kann.
Im Grunde ist das geschickte Werbung, aber es ist zufällig genau die Konfiguration, auf die ich neugierig war, also ist der Inhalt an sich okay. Trotzdem bräuchte es Kostenmetriken, damit man abschätzen kann, wie viel Aufpreis man zahlen muss, um Unterhaltungen nicht direkt an die NSA zu schicken.
Es ist bekannt, dass Claude und OpenAI stark subventioniert werden, daher frage ich mich, ob die Nutzung von Kimi K3 über einen privaten Endpoint teurer oder günstiger wäre.
Dieser Beitrag ist Werbung für das eigene Produkt. Selbst wenn der Autor schon lange aktiv ist und ehrlich geschrieben hat, ist ein Beitrag nach dem Motto „Ich habe mein Produkt ausprobiert, und es war sehr gut“ nichts anderes als Eigenwerbung.
Ich wollte mein Claude-Abo nicht hochstufen, und wenn ich es nicht interessant gefunden hätte, hätte ich auch nichts geschrieben. Der eigentliche Grund für den Beitrag war nicht „Modal ist cool“, sondern das Gefühl, das im Haupttext beschrieben wurde. Ich hatte sogar Sorge, dass es wie Werbung wirken könnte, und überlegte, den Link zu löschen; dass die Firma, bei der ich arbeite, etwas Cooles gemacht hat, war nur ein Nebenvorteil.
GLM 5.2 fühlt sich besser an als Opus, und K3 ist so gut wie Fable. Ich hoffe, dass K3 auf die Größenordnung von Qwen 3.6 27b oder Poolside S 2.1 destilliert wird, damit ein schneller lokaler Ersatz für Composer 2.5 erscheint.
Wenn man von großen Frontier-Modellen zu einem agilen Modell wie Composer wechselt, fühlt es sich manchmal ähnlich an, wie statt eines auffälligen, schweren Editors einfach vim zu öffnen.
Mit schnellen Modellen ist der Kreislauf aus Denken und Frage-Antwort flüssiger, ähnlich wie der schnelle Wechsel zwischen Dateien in vim.
Mir gefällt die fast leere Oberfläche von OpenCode. Sie ist sauber, leichtgewichtig und passiv und vermittelt dadurch ein anderes Geschwindigkeitsgefühl als die schicken, aber langsamen Tools des heutigen Internets.
Dieser Beitrag wirkt wie Werbung für Modal. Wenn die Hardware nur gemietet ist, ist auch fraglich, ob man das wirklich die eigene Infrastruktur nennen kann.
Unabhängig davon, ob es aus China kommt oder nicht, sollte man sich Sorgen darüber machen, dass man ein gehostetes Modell nutzt und nicht weiß, wohin die Geschäftsgeheimnisse geschickt werden.
Ich habe auch lokale Modelle ausprobiert, aber auf einem Basis-MPB M5 mit 16 GB sind sie langsam, und ein Laptop-Upgrade ist vorerst nicht geplant.