Codex + lokales Embedding-Gateway für Honcho, erstellt mit Vibe Coding

(Dieses Projekt wurde mithilfe von Vibe Coding erstellt.)

Hallo! Ich bin ein Doktorand aus dem pharmazeutischen Bereich und lese GeekNews sonst sehr gerne.

Hier bin ich auf Hermes Agent aufmerksam geworden und habe ihn gut für meine Forschung genutzt. Dabei habe ich erfahren, dass man zusätzlich einen Memory-Adapter namens Honcho verwenden kann.
Als ich mir das genauer ansah, stellte ich jedoch fest, dass er nicht das Codex-Abokontingent nutzt, sondern über separate tokenbasierte API-Requests funktioniert. Daher machte ich mir Sorgen wegen zusätzlicher Kosten. Ich hatte irgendwie die Befürchtung, dass ich ihn unbedacht nutze und am Ende mein ohnehin mickriges Doktorandengehalt verliere.

Also habe ich mich davon inspirieren lassen, wie Hermes Agent das Codex-Kontingent, das beim ChatGPT-Abo enthalten ist, wie tokenbasierte Requests verwendet,
und eine Art Adapter gebaut, der das Honcho-Backend durch ein Codex-Abo ersetzt.

Die Funktionsweise ist wie folgt.

1. Als ich mir ansah, wie Honcho läuft, stellte ich fest, dass in der Standardeinstellung die Bewertung der Wichtigkeit von Erinnerungen als Request an OpenAI GPT 5.4 mini gesendet wird und auch für Such-Embeddings ein OpenAI-Embedding-Modell verwendet wird.
2. Daher habe ich den Codex-OAuth-Code von Hermes Agent genutzt, damit die Antworten wie OpenAI-Endpoint-Antworten aussehen, und Embeddings so umgestellt, dass lokal über llama.cpp BGE-M3 fp16.gguf verwendet wird.
3. Die Embedding-Dimension lag standardmäßig bei 1536 Dimensionen. Da es nur wenige öffentliche Modelle mit 1536 Dimensionen gibt, habe ich BGE-M3 verwendet, ein Modell mit 1024 Dimensionen.
4. Da Honcho in den Einstellungen lokale Server unterstützt, habe ich vorab den Docker-Stack honcho-codex-gateway installiert und den ursprünglichen Honcho-Docker-Stack mit dem dort laufenden Server verbunden.
5. Außerdem unterschied sich die Tokenisierung in Honcho von der von BGE, wodurch Längenprobleme entstanden. Deshalb funktioniert es nun so, dass die Tokenisierung mit bge-m3 durchgeführt und darauf basierend gechunked wird.

Da ich mir beim Schreiben von Code nicht besonders sicher bin, habe ich in Hermes Agent als Backend GPT 5.5 auf Basis des Codex-Abos mit Reasoning Effort Low verwendet.
Ich habe bestätigt, dass es auf einem GB10-basierten MSI EdgeXpert 1TB Modell (ARM Ubuntu), das ich mir für Hobbyzwecke gekauft habe, gut funktioniert.
Ob es unter anderen Betriebssystemen wie Windows oder Mac funktioniert, konnte ich nicht überprüfen.

Mein ursprüngliches Ziel war, es auch auf GeekNews zu posten, wenn etwa 100 Personen das Repository per git clone ausprobiert haben. Da dieses Ziel nach 13 Tagen erreicht wurde, stelle ich es hier vor, um an einem Ort, den ich sonst häufig besuche, Feedback zu bekommen.

Vielen Dank fürs Lesen dieses langen Beitrags!