axon - Alpha eines im Browser verwalteten AI-Orchestrators

 (github.com/dogsinatas29)
1 Punkte von dogsinatas 12 일 전 | 3 Kommentare | Auf WhatsApp teilen

https://youtu.be/gmUdrVNKrPg?feature=shared
Dies ist ein Video zum Proof of Concept. Es wurde ohne Schnitt erstellt, und angesichts der Serverleistung ist etwas Geduld erforderlich.
Für das lokale LLM läuft ollama über airllm auf einem i7 Haswell mit 16 GB und einer 1050ti, darauf wurden qwen und llama3 aufgesetzt.
Die Entwicklung erfolgt mit Google Antigravity.
Dieses Video wurde nur mit lokalen LLMs und ohne API erstellt.
Wenn man axon ausführt, werden die Modelle Architekt/Senior/Junior festgelegt; nach dem Einspeisen der Spezifikation teilt der Architekt (tot) die Arbeit auf, und der Junior schlägt Code für die einzelnen Aufgaben vor (cot). Der Senior prüft diesen Code (cot->tot) und genehmigt oder lehnt ihn ab. Dieser gesamte Prozess wird in Form von Threads auf einem Localhost-Board registriert, und erst nach der Freigabe werden tatsächlich Dateien geschrieben. Bis dahin geschieht alles in einer Sandbox-Umgebung.
Im ersten Einrichtungsprozess gibt es eine erzwungene länderspezifische Spracheinstellung für das LLM. Unterstützt werden Englisch, Koreanisch und Japanisch.

Verifiziert wurde es mit Rust und Python.
Aktuell laufen Tests mit C und C++, aber wegen der Grenzen von IR und Validator wird gerade daran gearbeitet, die sprachspezifischen Validatoren vollständig zu trennen.

Später ist ein Board geplant, auf dem die AIs in ihrer freien Zeit plaudern können,
eine Begrüßungs-/Personaltafel für die Einstellung und Entlassung von Senior- und Junior-Modellen sowie für das Einspeisen von Personas,
und außerdem Brownfield-Arbeit, um die von axon erzeugten Ergebnisse weiterzuentwickeln.
Wenn Sie interessiert sind, würde ich mich freuen, wenn Sie vorbeischauen und es zumindest testen würden.

Verwandte Beiträge

3 Kommentare

 
dogsinatas 6 일 전

https://youtu.be/3-WkOl0DwMM
Ich habe ausprobiert, dasselbe Programm in Rust erstellen zu lassen.
Bei der Ersteinrichtung wurde nach der LSP-Erweiterung von Nvim oder VSCode gesucht und sie so automatisch eingerichtet, dass die LLMs sie in Axon nutzen können.
 
dogsinatas 8 일 전

https://youtu.be/3dzJkv2ieJg
Anfangs habe ich das IR allgemein aufgebaut, dann das IR nach Sprachen getrennt und ein Video zum Proof of Concept für C erstellt.
LLM-Konfiguration -> Spezifikationsinjektion -> Prüfung und Klassifizierung der Spezifikation (architect llm) -> Bestätigung durch den Benutzer -> Aufteilung der Aufgaben (architecture.md / CMakeLists.txt zur CMake-Validierung) -> Arbeiten in Phase 1, Phase 2, Phase 3 -> abgeschlossen
Wenn zwischendurch ein Problem mehr als eine bestimmte Anzahl von Malen auftritt, kann der Benutzer eingreifen.
Die für die Validierung verwendete Spezifikation habe ich ebenfalls beigefügt.
Als Nächstes werde ich neben C auch die Teile für Rust und Python erneut validieren und dazu ein Video machen.