SongRyeon Core - Ein lokales Agent-Runtime-Experiment zur Trennung von durch LLMs erzeugten Aussagen und durch Code verifizierten Informationen

Hallo, ich bin Junghoo und experimentiere beim Lernen des Programmierens selbst mit AI-Agent-Runtimes.

SongRyeon Core ist ein kleines Local-First-Experiment für eine Agent-Runtime, die „Urteile, die ein LLM formuliert hat“ und „Fakten, die der Code tatsächlich überprüft hat“ getrennt behandelt.

Beim Erstellen von LLM-basierten Agenten hatte ich zuletzt oft das Gefühl, dass die folgenden Probleme häufig auftreten.

• Vom LLM vermutete Inhalte werden wie Systemfakten dargestellt
• Fallbacks oder Heuristiken, die vom Code erzeugt wurden, vermischen sich mit LLM-Urteilen
• Wie viele Dokumente gelesen wurden und welche Ausführungen tatsächlich stattgefunden haben, wird je nach Bildschirm unterschiedlich angezeigt
• Die endgültige Antwort stimmt nicht mit dem internen Runtime-Zustand überein

Deshalb behandelt dieses Projekt Informationen grob in drei Kategorien.

• absolute Informationen: Werte, die durch Code/Trace/Schema/Tool-Resultat überprüfbar sind
• relative Informationen: ein LLM-Urteil, das genau einer absoluten Information zugeordnet ist
• gemischte Informationen: ein LLM-Urteil auf Basis mehrerer Source Bundles

Derzeit ist es noch eine kleine Übungsversion, aber ich experimentiere mit einer Struktur wie der folgenden.

• node_0 memory supplier
• node_1 router
• L loop
• node_3 reporter
• node_4 verifier
• regressionsprüfung auf Basis von Smoke-Tests
• Redlichkeitsprüfung für Runtime-Terminal/Final-Renderer

Das Ziel ist nicht eine „coole Demo“, sondern eine kleine Runtime zu bauen, die möglichst wenig verbirgt, worauf ein AI-Agent seine Aussagen stützt und was genau er sagt.

Ich lerne noch zu programmieren, daher gibt es noch viele raue Stellen.
Ich wäre sehr dankbar für Feedback zu Struktur, README, Tests, Begriffsdefinitionen und zum Design der Agent-Runtime.

GitHub:
https://github.com/Junghoo-developer/SongRyeon

[anima]

Als Ergänzung.

Derzeit ist SongRyeon Core eher ein Laufzeit-Experiment mit Fokus auf lokaler CLI und Smoke-Tests als ein Webservice.

Direkt ausprobieren lassen sich die Ausführungsschritte im README sowie:

• python -m compileall songryeon_core main.py
• python main.py smoke-test

Das Feedback, das ich mir besonders wünsche, betrifft folgende Punkte.

• Ob die Unterscheidung zwischen absoluten Informationen / relativen Informationen / gemischten Informationen vom Design her nachvollziehbar ist
• Ob die Trennung zwischen LLM-Urteilen und code-verifizierten Fakten für eine echte Agent-Runtime nützlich erscheint
• Welche Stellen im README für Personen, die das Projekt zum ersten Mal sehen, schwer zu verstehen sind

Es ist noch ein Projekt in der Lernphase, daher gibt es viele unausgereifte Stellen. Ich wäre dankbar, wenn ihr gern offen darauf hinweist.