- Poolside hat Laguna S 2.1 vorgestellt, das Langzeitaufgaben und Schlussfolgerungsfähigkeit verbessert. Von insgesamt 118B MoE werden pro Token 8B Parameter aktiviert, und sowohl der thinking- als auch der no-thinking-Modus unterstützen bis zu 1M Token Kontext
- Vom Trainingsbeginn bis zur Veröffentlichung vergingen weniger als 9 Wochen; auf Terminal-Bench 2.1 wurden 70,2 %, auf SWE-Bench Multilingual 78,5 % und auf DeepSWE v1.1 40,4 % erreicht, womit es mit größeren Modellen konkurriert
- Im Mittelpunkt der Leistungssteigerung stehen nicht nur größere Modelle, sondern Beharrlichkeit, Verifikation und erneute Versuche nach Rückschritten. Mit längeren Rollouts, einer verbesserten Sandbox und mehreren Agent-Harnesses soll voreiliges Abschließen und Overfitting auf einen einzelnen Harness reduziert werden
- In realen Aufgaben baute es in 181 Schritten eine HTML/CSS-Rendering-Engine, steigerte die Geschwindigkeit des eigenen Harnesses um 5,2 % bei rund 70 % weniger Speicherallokationen und entdeckte unabhängig erneut eine unendliche Lösungsmenge für Erdős-Problem #397
- Das Modell und die vollständigen Ausführungstrajektorien der finalen Evaluierungen wurden offengelegt, es gibt jedoch Einschränkungen bei Toolspezifikationen von Drittanbieter-Harnesses, JSON für verschachtelte Tool-Aufrufe und übermäßig langen Schlussfolgerungen. Gewichte und bis zu 1M Kontext sind auf Hugging Face sowie in wichtigen Inferenz-Frameworks und Hosting-Diensten verfügbar
Modellarchitektur und Veröffentlichungstempo
- Laguna S 2.1 ist ein Mixture-of-Experts-Modell mit insgesamt 118B Parametern und 8B aktivierten Parametern pro Token
- Sowohl thinking- als auch no-thinking-Modus unterstützen bis zu 1M Token Kontext
- Vom Trainingsbeginn bis zur Veröffentlichung dauerte es weniger als 9 Wochen
- Am 22. Mai 2026 begann das Pretraining auf 4.096 NVIDIA-H200-GPUs und wurde 60 Tage später veröffentlicht
- Dank der kleinen aktiven Größe kann es komplexe Aufgaben auf lokalen Systemen ausführen und läuft sogar auf einem einzelnen NVIDIA DGX Spark
Leistung bei Langzeit-Coding-Benchmarks
- Die wichtigsten Ergebnisse zum Stand vom 21. Juli 2026 sind:
- Terminal-Bench 2.1: 70,2 %
- SWE-Bench Multilingual: 78,5 %
- SWE-Bench Pro öffentlicher Datensatz: 59,4 %
- DeepSWE v1.1: 40,4 %
- SWE Atlas (Codebase QnA): 46,2 %
- Toolathlon Verified: 49,7 %
- Terminal-Bench 2.1 bewertet verschiedene Langzeitaufgaben, bei denen Agenten per Terminal mit ihrer Umgebung interagieren; Laguna S 2.1 erreichte mit aktiviertem thinking im pool-Harness 70,2 %
- In ausgereiften Benchmarks liegen die Spitzenergebnisse oft im Bereich von 70 bis 90 %, sodass sich Modelle mit deutlich unterschiedlichem Verhalten nur um wenige Punkte unterscheiden können
- DeepSWE enthält längere Aufgaben, bei denen Teilfortschritte schwer zu bewerten sind, daher ist die Streuung der Ergebnisse größer
- In v1.1 erreichen Frontier-Modelle 54 bis 73 %, während einige offene Modelle mit über 1T Parametern unter 10 % bleiben
- Laguna S 2.1 erreichte im eigenen pool-Harness 40,4 %
- Da statt des mini-swe-agent aus dem offiziellen Ranking ein eigener Harness verwendet wurde, ist der Vergleich mit anderen Modellen nicht vollständig gleichwertig
- Für andere Modelle wurde jeweils der höchste Wert aus eigener Veröffentlichung, Benchmark-Rangliste oder Artificial Analysis verwendet
- Alle Ausführungstrajektorien der finalen Evaluierungen sind unter trajectories.poolside.ai veröffentlicht
Evaluierungsmethode und Umgang mit Reward Hacking
- Bei Agenten-Evaluierungen gibt es das Problem des Reward Hacking, bei dem online nach Antworten oder bestehenden Fixes gesucht wird, um Punkte zu erzielen
- Internetzugang ist standardmäßig erlaubt, und ein mit menschlich gelabelten Trajektorien kalibrierter LLM-Judge (LLMaaJ) markiert verdächtige Fälle
- Im frühen Post-Training lag die Reward-Hacking-Quote unter 2 %
- Mit fortschreitendem Training wurden bei SWE-bench-artigen Aufgaben mehr als 50 % der Trajektorien markiert
- Manuelle Untersuchungen zeigten, dass das Modell oft die PR oder das Repository fand, auf dem das Problem basierte, und den tatsächlichen Fix anwendete
- Nachdem dem Nutzerprompt ein Hinweis hinzugefügt wurde, dass online gefundene direkte Lösungen nicht verwendet werden sollen, sank die Reward-Hacking-Quote überwiegend auf unter 2 %
- Das ist keine vollständige Lösung; bei ProgramBench und MirrorCode gab es Ausnahmen
- Zusätzliche Verifikation nutzte manuelle Untersuchungen der von LLMaaJ markierten erfolgreichen Fälle, offene Agentenanalysen kompletter Trajektorien und Expertenreviews aller High-Score-Läufe in Terminal-Bench 2.1
- Zuletzt wurde die Erkennung von Reward Hacking durch adversariales Reviewing verstärkt; die finalen Evaluierungstrajektorien der veröffentlichten Checkpoints können eingesehen und heruntergeladen werden
Beispiele aus realen Aufgaben
-
Aufbau einer Browser-Engine aus einem leeren Ordner
- Laguna S 2.1 baute ohne menschliches Eingreifen in 50 Minuten und 181 Schritten aus einem leeren Ordner eine HTML/CSS-Rendering-Engine
- Ohne visuelle Fähigkeiten las es das Canvas mit headless Chromium aus und verglich Screenshots numerisch, um das Ergebnis zu validieren
- Die gesamte Pipeline wurde in Vanilla JavaScript implementiert
- HTML-Tokenizer und DOM-Baum
- CSS-Parser mit Behandlung der Selektor-Priorität
- Cascade-Engine mit Vererbungsunterstützung
- Box-Model-Layout und Canvas-2D-Renderer
- Das Ergebnis war eine App, die neun Beispiele desselben Markups im eigenen Canvas und in einem Browser-
iframenebeneinander anzeigt - Die vollständige Ausführungstrajektorie wurde veröffentlicht
-
Optimierung des eigenen Agent-Harnesses
- In einer automatisierten Forschungsschleife mit instrumentierten Benchmarks wurde nach jeder Änderung die Leistung gemessen, und nur bestätigte Verbesserungen wurden beibehalten
- Über mehrere Stunden hinweg wurde der Harness um 5,2 % beschleunigt und die Speicherallokation um etwa 70 % reduziert
- Die wichtigsten Optimierungen waren:
- Ersetzen der O(n²)-Stringverkettung für die Akkumulation von Streaming-Token durch Buffer
- Entfernen redundanter Kopien im Prozess der Trajektorien-Konkretisierung durch Memoisierung
- Vorallokation von Slices in exakter Größe zur Reduzierung von Überallokation
- Als Geschwindigkeitsunterschiede schwerer messbar wurden, verlagerte sich der Fokus auf genauer messbare Optimierungen der Speicherallokation
- Der verwendete Benchmark war kein vollständiger Produktionstest, aber das Endergebnis wurde mit Go race detector und
go vet-Gates validiert und das Verhalten des Artefakts überprüft - Die vollständige Ausführungstrajektorie ist verfügbar
-
Wiederentdeckung von Erdős-Problem #397
- Für Erdős-Problem #397, vorgeschlagen 1975 von Erdős, Graham, Ruzsa und Straus, wurde unabhängig eine Konstruktion gefunden, die eine unendliche Lösungsmenge erzeugt
- Das Problem war über 50 Jahre ungelöst, wurde aber im Januar 2026 zuerst von GPT-5.2 Pro gelöst; es handelt sich also nicht um die Erstlösung, sondern um eine Wiederentdeckung
- Der Wissens-Cutoff des Modells liegt bei November 2025; als in der Sandbox kein Python verfügbar war, fand es Perl und arbeitete 68 Minuten daran
- Der Lösungsprozess verlief wie folgt:
- Exakte Primfaktorzerlegungen wurden per Brute Force durchsucht
- Muster wurden analysiert und eine Lösungsmenge vermutet
- Eine geschlossene unendliche Lösungsmenge mit 8 Indizes wurde bewiesen
- Die gefundene Formel lautet für alle
n ≥ 0wie folgt
B(11+10n) · B(14+12n) · B(18+15n) · B(22+20n) = B(12+10n) · B(13+12n) · B(17+15n) · B(23+20n)- Im Unterschied zu bestehenden Lösungsfamilien mit 6 Indizes verwendet sie eine linear wachsende Struktur mit 8 Indizes
- Die vollständige Ausführungstrajektorie wurde veröffentlicht
Schlussfolgerungsmodus und Leistungsunterschiede
- Es gibt zwei Schlussfolgerungsmodi: off und den Standard max
- Bei max entscheidet das Modell selbst über das Schlussfolgerungs- und Test-Time-Compute-Budget pro Problem
- Es wurden Fälle beobachtet, in denen über Stunden und Hunderttausende Token hinweg konsistent weitergedacht wurde
- Mit max thinking steigt die Leistung deutlich
- Terminal-Bench 2.1: 60,4 % → 70,2 %
- DeepSWE: 16,5 % → 40,4 %
- Zum Veröffentlichungszeitpunkt gibt es keine benutzerdefinierte Steuerung der Schlussfolgerungsintensität wie low, medium oder high
- In
poolkann per Sitzungsbefehl/thought-levelthinking ein- oder ausgeschaltet werden
Bekannte Einschränkungen
- Wegen Harness-Overfitting kann sich das Modell beim ersten Aufruf von Tools, die dem eigenen Harness ähneln, aber in Details abweichen, wie etwa dem Terminal-Tool von Hermes Agent, auf Erinnerungen an bestehende Interfaces stützen
- Wenn der Harness den falschen Aufruf ablehnt und zum erneuten Versuch auffordert, wird das meist per In-Context-Lernen behoben
- Es verwendet ein XML-ähnliches, tagbasiertes Format für Tool-Aufrufe; wenn Argumente ein JSON-Array erfordern, kann fehlerhaft escaptes oder ungültiges JSON erzeugt werden
- Vor allem bei Wettbewerbsmathematik kann es übermäßig lange ohne Fortschritt weiterdenken
- Für Nachfolgemodelle sind Steuerung der Schlussfolgerungsintensität und Verbesserungen der Schlussfolgerungseffizienz geplant
Trainingsänderungen hinter dem Leistungsanstieg
-
Verbesserung der Arbeitsweise statt nur der Modellgröße
- Das Ziel ist nicht nur, mehr Intelligenz hinzuzufügen, sondern Verhalten zu stärken, das mehr verifiziert, nichts als selbstverständlich annimmt und nicht zu früh Erfolg erklärt
- Frühere Laguna-Modelle erklärten sich teilweise für fertig, wenn einige Tests bestanden, oder gaben kurz vor dem Erfolg einen Ansatz auf; S 2.1 arbeitet weiter
- Unabhängig von roher Intelligenz werden Beharrlichkeit, Verifikation und die Bereitschaft zum Zurückgehen als wichtige Leistungsachsen betrachtet, und in beides wird investiert
- Das nächste große Laguna-Modell hat das Pretraining bereits begonnen
-
Pretraining und Post-Training
- Es handelt sich um ein skaliertes Modell mit denselben Pretraining-Daten wie Laguna XS 2.1
- Unterschiede zu XS 2.1 betreffen Größe, Änderungen am Trainingscode und kleinere Anpassungen der Trainingsrezepte, nicht neue Daten
- RL wurde erstmals mit FP8-Präzision durchgeführt, um diesen Trainingsschritt zu beschleunigen
- Das Post-Training verläuft in zwei Phasen
- Supervised Fine-Tuning (SFT), teilweise mit synthetischen Daten, initialisiert die Fähigkeiten
- RL wird auf Aufgaben angewandt, die noch nicht mit hoher Erfolgsquote gelöst werden
- Da Langzeit-Agentensitzungen Aufgaben-Kontext im Umfang von Hunderttausenden Token akkumulieren, verbessert die Erweiterung auf 1M Kontext die Leistung bei sonst schwierigen Aufgaben
-
Zusammensetzung der Post-Training-Aufgaben
- Der Trainingskorpus besteht aus 409.000 agentischen und nicht-agentischen Umgebungen
- 83.000 Umgebungen mit Terminalnutzung
- 168.000 allgemeine Software-Engineering-Aufgaben
- Aufgaben wurden aus Open-Source-Repositories, internen synthetischen Daten, einem automatischen System zur Abhängigkeitsinstallation und durch den Erwerb externer Datenanbieter gewonnen
- Software-Engineering-Aufgaben basieren überwiegend auf echter Code-Historie
- Den größten Anteil bilden rund 38.000 Aufgaben, die reale Commits aus etwa 17.000 Repositories reproduzieren
- Enthalten sind auch Aufgaben zur Reproduktion gemergter PRs, zur Behebung injizierter Bugs und zur Wiederherstellung gelöschter Dateien anhand von Test-Suites
- Für S 2.1 wurde die Aufgabe agentic repo install hinzugefügt, bei der alle Abhängigkeiten eines Repositories installiert und die Test-Suite ausgeführt werden
- Für Terminal-Aufgaben wird ein Datensatz verwendet, der Umgebungen und Aufgaben erzeugt, die sich von den Seed-Daten unterscheiden
- Der Trainingskorpus besteht aus 409.000 agentischen und nicht-agentischen Umgebungen
-
Verbesserungen im Trainingsloop
- Im Vergleich zu früheren Modellen wurden größere Rollout-Budgets mit erhöhtem Zeitlimit, mehr Token pro Turn und mehr Turns pro Aufgabe eingesetzt
- RL wurde auf einen neuen Sandbox-Service migriert, um folgende Funktionen zu nutzen
- Unterstützung für Hintergrundprozesse
- Optionale Netzwerksperre zur Verringerung der Angriffsfläche für Reward Hacking
- Caching von Artefakten zur Vermeidung einer Überlastung externer Dienste
- Derselbe Prompt wird in mehreren Agent-Harnesses ausgeführt, damit Verhalten gelernt wird, das über einen einzelnen Scaffold hinaus in verschiedenen Harnesses funktioniert
Die zwei Schwerpunkte von Poolside
- Der erste ist agentische Coding-Fähigkeit
- Coding und Software werden als flexibles Interface auf dem Weg zu Intelligenz betrachtet
- Im Fokus stehen Fälle, in denen Modelle als Agenten Software nutzen und über Stunden oder Tage konsistent arbeiten
- Der zweite ist der Ansatz, den Gedankengang, der zu Antworten führt, die im Web dokumentiert sind, per Reinforcement Learning zu rekonstruieren
- Diese Veröffentlichung ist das Ergebnis der ersten Richtung; die zweite wird weiterentwickelt
Model Factory und Entwicklungszyklus
- Mit der internen Forschungs- und Engineering-Plattform Model Factory wird der Modellentwicklungsprozess automatisiert, darunter Daten, Architektur-Ablationsexperimente und Evaluierungsinfrastruktur
- Weniger als drei Monate nach der Veröffentlichung von Laguna M.1 wurde ein stärkeres Modell mit halber Laufzeitgröße entwickelt
- Investiert wird in schnellere Forschungsiterationen und Integration sowie darin, den Aufwand für Forschende bei Buchhaltung und Infrastruktur zu verringern
- Im kommenden Jahr soll derselbe Entwicklungsansatz auf größere Modelle angewandt werden
Bereitstellung und Nutzung
- Auf Hugging Face unter der Lizenz OpenMDW-1.1 veröffentlicht
- Bereitgestellt werden Gewichte in BF16, FP8, INT4 und NVFP4
- Offizielle GGUF- und MLX-Konvertierungen sowie DFlash-Entwurfsmodelle werden angeboten
- Für NVIDIA-Hardware werden Inferenzoptimierungen für TRT-LLM-Serving, Blackwell-NVFP4 und bis hin zu einem einzelnen DGX Spark unterstützt
- Lokales und öffentliches Serving wird von vLLM, SGLang und Ollama unterstützt
- Hosting-Zugänge sind:
- Baseten Model Library und Frontier Gateway
- OpenRouter
- Vercel AI Gateway
- Der kostenlose Endpunkt von OpenRouter bietet 256K Kontext
- Dedizierte kostenpflichtige Endpunkte unterstützen 1M Kontext
- Pro 1 Million Token betragen die Kosten $0.10 für Input, $0.20 für Output und $0.01 für Cache-Lesen
- Verfügbar ist es außerdem in Kilo, Hermes Agent, pi, OpenCode, OpenClaw, Cline und im Terminal-Coding-Agenten pool
- Post-Training wird von NVIDIA NeMo AutoModel und Prime Intellect Prime Lab unterstützt, ZML LLMD unterstützt die Ausführung auf verschiedener Hardware
- Nutzer ohne Entwicklerhintergrund können unter chat.poolside.ai ohne Login Websuche und grundlegende Codeausführung nutzen
- Basis-Modellgewichte vor dem Post-Training sind auf Anfrage per E-Mail erhältlich
Bedingungen der Benchmark-Ausführung
- Verwendet wurden ein interner Fork des Harbor Frameworks und der pool-Agent-Harness, maximal 500 Schritte und eine interne Sandbox
- SWE-bench Multilingual, SWE-Bench Pro und Terminal-Bench 2.1 verwenden den durchschnittlichen pass@1 über 4 Läufe pro Aufgabe
- Für DeepSWE v1.1 und SWE Atlas wurden 3 Läufe pro Aufgabe verwendet, Toolathlon Verified nutzt den Durchschnitt aus 3 Läufen
- SWE Atlas folgt der öffentlichen Methodik unverändert und verwendet Opus 4.5 zur Bewertung
- Toolathlon Verified verwendete einen replizierten Harness auf EC2 und benutzerdefinierte Agenten; anders als in der offiziellen Version wurde die Umgebung nach jedem Evaluierungslauf vollständig zurückgesetzt und wiederhergestellt
- Um Sandbox-Preemption zu vermeiden, wurden CPU-, Speicher- und Speicherplatzgrenzen je Benchmark angepasst; garantiert sind mindestens 2 CPU-Kerne, 8 GB RAM und 25 GB Speicherplatz
- Einzelne Aufgabenanpassungen sind im technischen Bericht dokumentiert
1 Kommentare
Meinungen auf Hacker News
memfd_create()/mmapfür IPC verwendet wurde, und Sol hat es ebenfalls übersehen, bis ich darauf hingewiesen habe.Der Vergleich mit DeepSeek V4 kann sich in einem so schnell veränderlichen Umfeld wie derzeit sehr rasch ändern, da sowohl Flash als auch Pro bald nach ausreichendem weiterem Training offiziell erscheinen sollen. Ich hoffe, dass weiterhin solche Modelle herauskommen.
https://github.com/mozilla-ai/otari/pull/348
Zur 2-Bit-Version von Qwen 3.5 122B gab es ebenfalls positive Einschätzungen, und dieses Modell startet von einem höheren Ausgangspunkt, also lohnt sich ein Test. Jemand arbeitet bereits daran: https://huggingface.co/vcruz305/Laguna-S-2.1-GGUF
https://huggingface.co/poolside/Laguna-XS-2.1-GGUF/tree/main
Q4_K_Mliegt bei 75 GB, daher wird man selbst für eine 64-GB-Umgebung wohl nicht noch niedriger quantisieren. Besser wäre es stattdessen, nur einen Teil der Gewichte im Speicher vorzuhalten und den Rest von der SSD zu streamen.llm-compressorkann auch Modelle quantisieren, die nicht in den Speicher passen; man kann dafür eine sequenzielle Pipeline verwenden.https://github.com/vllm-project/llm-compressor
Konfigurationsbeispiele gibt es unter https://github.com/verdverm/quantr. Allerdings hat Poolside zusammen mit dem Modell Quantisierungen und dflash veröffentlicht, daher ist das inzwischen vielleicht nicht mehr nötig.
Auf Strix Halo gab es bisher keine eindeutig bessere Option als Gemma 4 oder die dichten Qwen-3.6-Modelle, die man auf einem Desktop mit zwei 32-GB-GPUs laufen lässt; dieses Modell wirkt groß genug, um tatsächlich einen Leistungssprung zu bringen.
Selbst wenn man in der vLLM-Ausführungskonfiguration
--default-chat-template-kwargs '{"enable_thinking": true}'setzt, wurde es nicht aktiviert; außerdem scheint der Standardwertmax_new_tokensin der enthaltenengeneration_config.jsonbei 32k zu liegen und das Reasoning abzuschneiden, daher sollte man ihn erhöhen. Nach Aktivierung des Reasonings wurde die Codequalität deutlich besser; zusätzliche Validierung in echter Arbeit ist aber nötig.https://www.reddit.com/r/LocalLLaMA/comments/1v2pg99/laguna_...
Mir gefällt, dass Poolside nicht nur mit Modellen ähnlicher Größe vergleicht, sondern auch mit deutlich größeren Top-Modellen mit offenen Gewichten wie dem 2,5T Kimi-K3. Ich wünschte, Mistral und andere würden es genauso machen.
poolund ein 33B-MoE-Modell entdeckt habe. Es lief selbst auf einem älteren 32-GB-Mac-mini schnell und effektiv, und ich plane, auch die großen gehosteten Modelle zu evaluieren.