CRoM v1.0.2 Open-Source-Toolkit – geringerer Tokenverbrauch, höhere Geschwindigkeit und weniger Entgleisung in langen Gesprächen

Ich veröffentliche hier die neue Version v1.0.2 von CRoM (Context Rot Mitigation for Efficient LLMs), das ich selbst entwickelt und kontinuierlich aktualisiert habe.

CRoM ist ein Python-Toolkit, das das Problem von Context Rot (verwässerte Anweisungen, Drift im Schlussfolgern, Gedächtnisverlust) in langen Prompts abmildert und LLMs dabei hilft, Kontext stabiler und effizienter zu nutzen.

🔑 Hauptfunktionen:
▫️Budget Packer: komprimiert zuverlässig nur wichtige Texte innerhalb des Token-Budgets
▫️Hybrid Reranker: Neuordnung von Dokumenten auf Basis von TF-IDF + Dense Embeddings
▫️Drift Estimator: überwacht semantische Veränderungen zwischen Antworten
▫️Observability: Monitoring auf Basis von Prometheus-Metriken
▫️Plugin-Erweiterungen: Unterstützung für FlashRank, LLMLingua und Evidently
▫️Benchmarking: End-to-End-Auswertung und Leistungsanalyse per CLI

📊 In der aktuellen v1.0.2 wurden ImportError und SyntaxError behoben, die Konsistenz der Versionsverwaltung verbessert, Integrationstests (10+ Fälle) hinzugefügt und die Performance mit über 1.000 Dokumenten validiert.

🔗 Links
▫️GitHub Release: https://github.com/Flamehaven/…
▫️Demo: https://huggingface.co/spaces/Flamehaven/crom-demo
▫️Entstehungsgeschichte: https://medium.com/p/ab356e656d88