1 Punkte von GN⁺ 2 시간 전 | 1 Kommentare | Auf WhatsApp teilen
  • Eine Sammlung von praxisnahen Guides und Beispielen zur Umsetzung von Claude-Anwendungen, die ein breites Spektrum von Agentenbau über RAG, Tool-Nutzung, Multimodalität bis hin zu Evaluierung abdeckt
  • Beispiele zu Claude Agent SDK und Managed Agents enthalten Betriebs-Patterns wie Multi-Agenten-Orchestrierung, Session-Management, Deployment, Störungsbehebung, Schwachstellenerkennung und User Memory
  • Bietet Memory- und Kontextkomprimierung für lang laufende Agenten, programmatische Tool-Aufrufe, embedding-basierte Tool-Suche und asynchrone Sub-Agenten-Techniken
  • Neben RAG, SQL-Generierung, Wissensgraphen, Dokumentzusammenfassung sowie Bild- und Audioverarbeitung lassen sich auch Evaluierung, Kosten, Observability und Guardrails anhand von Implementierungsbeispielen nachvollziehen
  • Umfasst Deployment mit Docker, Modal und Kubernetes, Prompt-Versionsverwaltung und Rollback, menschliche Freigaben sowie Kostenanalyse und ist damit für Entwicklung und Produktivbetrieb insgesamt nutzbar

Agenten-Evaluierung und Guardrails

Multi-Agenten- und Workflow-Patterns

  • Asynchrone Multi-Agenten-Orchestrierung: Behandelt Messaging- und Lebenszyklusstrukturen eines festen Teams aus N Agenten, das Peer-Nachrichten über einen gemeinsamen Hub austauscht, sowie dynamisch erzeugter asynchroner Sub-Agenten
  • Multi-Agenten: Orchestrierung eines Spezialistenteams: Ein Orchestrator führt Web-Search-Researcher, Datei-Prüfer und regelbasierte Preisverantwortliche, um ein Sales-Angebot zu erstellen
    • Enthält das Feld multiagent, die Events thread_created und thread_message_received sowie rollenbasierte Einschränkungen des Tool-Scopes
  • Outcomes: Agenten, die ihre eigene Arbeit verifizieren: Baut eine Bewertungs- und Verbesserungs-Loop auf, bei der ein Autor eine zitierte Research-Zusammenfassung erstellt, ein zustandsloser Grader URLs und Zitate prüft und bis zum Bestehen Korrekturen anstößt
    • Behandelt user.define_outcome, span.outcome_evaluation_*-Events und wie Bewertungsmaßstäbe geschrieben werden, die der Grader ausführen kann
  • Grundlegende Workflows: Bietet drei Multi-LLM-Patterns, die Kosten oder Latenz gegen Leistung abwägen
  • Evaluator-Optimierer: Eine iterative Struktur, in der ein LLM Ergebnisse erzeugt und ein anderes LLM evaluatives Feedback liefert
  • Orchestrator-Worker: Ein zentrales LLM delegiert Aufgaben dynamisch und fasst die Ergebnisse von Worker-LLMs zusammen
  • Haiku als Sub-Agent verwenden: Ein Haiku-Sub-Agent extrahiert Finanzberichte und Opus fasst die Ergebnisse zusammen

Claude Agent SDK

  • Einzeiliger Research-Agent: Baut mit Claude Code SDK und WebSearch einen autonomen Research-Agenten
  • Chief-of-Staff-Agent: Erstellt mit Sub-Agenten, Hooks, Output-Stilen und Planungsmodus ein Multi-Agenten-System
  • Observability-Agent: Verbindet den Agenten über einen MCP-Server mit externen Systemen und verarbeitet GitHub-Monitoring sowie CI-Workflows
  • Site-Reliability-Agent: Diagnostiziert und behebt Störungen mit Lese-/Schreib-MCP-Tools und erstellt Postmortem-Berichte
  • Migration vom OpenAI Agents SDK: Ordnet am Beispiel eines Agenten für Kostenfreigaben Tools, Guardrails, Sessions und Handoffs den Grundbausteinen des Claude Agent SDK zu
  • Aufbau eines Session-Browsers: Listet Agent-SDK-Sessions auf der Festplatte auf, zeigt sie an, benennt sie um, taggt und forkt sie und erstellt so eine Sidebar ohne separaten Parser für Gesprächsverläufe
  • Schwachstellenerkennungs-Agent: Führt Threat Modeling für C-Ziele durch, findet mit integrierten Dateitools Memory-Safety-Bugs und klassifiziert sie in einem strukturierten Bericht
  • Hosting des Agenten: Rollt denselben Container-Image- und HTTP-Interface-Stack für den Research-Agenten in drei Stufen auf Docker, Modal und Kubernetes aus

Claude Managed Agents

Speicher- und Kontextverwaltung

Tool-Nutzung und externe Integration

Suche, RAG und Wissensverarbeitung

Multimodalität, Sprache und Dokumente

Antworten, Schlussfolgern und Prompting

Skills und Geschäftsapplikationen

LlamaIndex-Agentenmuster und Community-Beiträge

  • ReAct-Agent: Erstellt mit LlamaIndex einen ReAct-Agenten, der toolbasiertes Schlussfolgern und Handlungs-Workflows ausführt
  • Community-Beiträge für neue Cookbook-Ideen sind willkommen; dazu gibt es einen Leitfaden für Beiträge

1 Kommentare

 
GN⁺ 2 시간 전
Meinungen auf Hacker News
  • Ehrlich gesagt wirken fast alle Materialien zur Nutzung von KI sinnlos. Wie es geht, kann man die KI direkt fragen; und wenn es um die Nutzung von KI geht, kann man entweder warten, bis Anthropic/OpenAI es in den Harness einbauen oder als triviale Funktion implementieren.
    Dinge wie Agenten-Workflows, Memory Management und Harness Engineering fühlen sich größtenteils wie Show an.

    • 2023 habe ich fleißig CoT, ReAct usw. gelernt, weil Prompt Engineering angeblich das neue Software Engineering werden sollte, aber 2024 wurde das meiste davon durch Reasoning-Modelle und Harness-Updates überflüssig.
      Auch neueste KI-Techniken oder Frameworks werden im Drei-Monats-Takt absorbiert oder ersetzt, daher scheint sich die Investition kaum zu lohnen.
    • Mit zunehmenden Fähigkeiten der Modelle absorbieren sie die umliegenden Tools selbst, daher haben solche Tools eine viel zu kurze Haltbarkeit. Wir haben dasselbe Muster schon immer wieder gesehen.
    • Vercel hat gezeigt, dass eine einzelne Markdown-Datei mit klaren Anweisungen effektiver sein kann als Tool Calls, und auch Methoden mit einem komprimierten Index vorgestellt. Ich habe selbst viele Stunden damit verbracht, Tool Calls fertigzubekommen, aber ähnliche Ergebnisse erlebt; seitdem nutze ich nur noch Claude.md, Agents.md und bei Bedarf Project.md.
    • LLMs scheinen im Harness miserabel darin zu sein, andere LLMs zu nutzen. Wenn man sie machen lässt, packen sie allerlei Dinge in .md-Dateien und verschmutzen den Kontext.
      Am Ende muss man LLMs diese Materialien durchsuchen lassen, also sind es vielleicht eher Materialien für LLMs als für Menschen.
    • Als alle MCP in den Himmel lobten, wurden skills zur effizienteren Alternative, und aggressives Kontextmanagement wurde wegen langer Kontextfenster und Agentenfunktionen weniger wichtig. Wenn eine Technik gut ist, wird sie wahrscheinlich in die nächste Version eingebaut.
      Deshalb meide ich Plugins und MCP, wenn sie nicht unbedingt nötig sind, und nutze ausführliche Prompts. So konnte ich vermeiden, LLMs veraltete Optimierungen aufzuzwingen und ihre Weiterentwicklung zu bremsen.
  • Die Vorher-Nachher-Bilder zu Frontend-Ästhetik-Prompting sind lächerlich. Offenbar hat niemand überprüft, ob dieser Skill das Design wirklich verbessert hat.

    • Alle gezeigten Ergebnisse wirken wie Rückschritte statt Verbesserungen.
    • Viele Guides empfehlen blindlings den Frontend-Design-Skill, ganz wie typischer LLM-Cargo-Kult, aber der tatsächliche Inhalt ist anders, als viele denken.
    • Die Website mit angewandter Ästhetik sieht aus wie ein Keygen aus den frühen 2000ern; es fehlt nur noch Techno-Musik.
    • Das Ergebnis ist tatsächlich ziemlich peinlich. Im Grunde läuft es auf „verwende schwarzen Hintergrund und eine schrecklich breite Schrift“ hinaus.
    • Ich frage mich, ob sie Beispiele ausgewählt haben, die den Vorher-Nachher-Unterschied maximieren sollten, um den Eindruck von Wirkung zu erzeugen. Persönlich finde ich in allen Beispielen das Design vor der Anwendung besser.
  • Das Ergebnis von Frontend-Ästhetik-Prompting ist vorher langweilig und nachher langweilig mit hinzugefügten Farbverläufen.

    • Einige Beispiele sind vorher besser, und das einzige, was man wirklich als Verbesserung bezeichnen könnte, ist das Blog-Beispiel.
    • Mir gefällt sogar die Version ohne angewandte Ästhetik besser.
    • Außerdem kommen Labels in Großbuchstaben hinzu, ein typisches Merkmal von KI-designten Seiten.
  • Ich nutze zu Hause die Skills von Matt Pocock, und sie sind ziemlich gut. Sie sind nicht für automatischen Aufruf gedacht, sondern so gestaltet, dass der Nutzer sie selbst aufruft, daher belegen sie nicht viel Kontext nur dadurch, dass sie existieren.
    Sie bringen Programmierer eher dazu, stärker über das Ergebnis nachzudenken, statt sie aus dem Endergebnis herauszunehmen. Die grill skills helfen, die tatsächlichen Anforderungen zu klären, und der prototype skill hilft dabei, Bereiche zu erkunden, in denen man schwierige Entscheidungen erst treffen kann, wenn man sie selbst ausprobiert hat.

  • Auch das OpenAI Cookbook ist nützlich. Andere KI-Labore veröffentlichen ebenfalls häufig Beispiele und Cookbooks auf GitHub und Hugging Face, daher lohnt es sich, weiter hineinzuschauen.

  • Coding-Agenten liefern im Frontend deutlich häufiger Bugs sowie kaputte, unvollständige oder ungelenke Funktionen als im Backend. Der Grund scheint der Unterschied in der Überprüfbarkeit der beiden Bereiche zu sein, und eine einfache Testsuite reicht nicht aus.
    Ansätze wie Garry Tans gstack wirken passend, aber ich weiß nicht, ob sie reif genug für den Einsatz sind. Es gibt auch Einschätzungen, dass Gemini 3.5 Flash bei Frontend-Aufgaben besser sei als Opus oder GPT-5.5; ob das an multimodalen Fähigkeiten oder am Chrome-Verständnis liegt, würde mich aus realen Nutzerbewertungen interessieren.

    • Es könnte auch Optionen geben, die mit Agenten kombiniert sind, wie Claudes Front End Design skill, aber ich habe sie nicht selbst ausprobiert. Magic Patterns ist besonders stark bei der Erzeugung erster Prototypen, wenn ein Agent es steuert, der die Funktionen und Einschränkungen kennt.
      Für kreative Ergebnisse muss man aktiv danach verlangen, aber für standardmäßiges Frontend-Design ist es gut. Allerdings nutze ich es nur zum Testen von Ideen, nicht zum Hinzufügen oder Ändern beliebiger Funktionen.
    • Agenten tun sich schwer mit komplexen asynchronen Zustandsaktualisierungen, weil diese sich im Kontext schwer darstellen lassen. Dagegen sind sie ganz okay darin, komplexe Komponenten isoliert zu bauen oder locker gekoppelte Features wie Animationen umzusetzen.
  • Ich dachte, es sei ein echtes Kochbuch, das mit LLMs plausible und tatsächlich kochbare Rezepte erstellt, aber so weit scheint es noch nicht zu sein.

    • Ich koche seit über einem Jahr ein paar Mal im Monat mit Hilfe von LLMs, und neun von zehn Mal klappt es gut. Die durchschnittlichen Rezepte, die in den Modellgewichten stecken, sind im Großen und Ganzen solide, und sie sind auch hervorragend bei Zutatenersatz wie „Ich habe Zutat X nicht“ oder „mach es vegetarisch“.
      Es macht auch Spaß, nach einem Rezept ein- oder zweimal „mach es leckerer“ zu verlangen und zu sehen, was herauskommt.
    • Ich lerne mit ChatGPT italienisch zu kochen, und abgesehen von ein paar Anläufen mit Versuch und Irrtum funktioniert es erstaunlich gut.
    • Ich habe dieses Jahr ein paar Mal mit Gemini gekocht, und es war besser als erwartet. Man kann auch sagen: „Diese Zutaten habe ich in der Vorratskammer und ich möchte eine Keto-Ernährung“, und die Optionen dann im Gespräch eingrenzen.
    • Ich hatte ebenfalls ein digitales Tool zur Ernährungsplanung erwartet.
  • Ich dachte, es sei ein neues Produkt, das mit Claude Rezepte generiert.

    • Ich nutze Claude-Projekte für Rezepte; es ist großartig darin, Menüs zu empfehlen und Rezepte an die Zutaten im Vorrat anzupassen, daher hatte ich auch so ein Produkt erwartet.
    • Tatsächlich kann man es auch für diesen Zweck verwenden.
  • Die Designs vor und nach Anwendung des Cookbooks sehen beide aus, als seien sie per Vibe Coding erstellt worden. Ich bin kein Designer genug, um die genaue Ursache zu benennen, aber Claudes stilistische Bandbreite scheint etwas begrenzt zu sein.
    Wenn man die nötigen Änderungen konkreter vorgibt, lässt sich diese Tendenz vielleicht eindämmen.

  • Man hätte die UI mindestens einmal überprüfen müssen. Selbst einfache Tabellenabstände sind nicht richtig ausgerichtet.