aipack: Neutraler semantisch gechunkter Parquet-Generator auf Basis von BGE-M3 + MCP-Server

Wir veröffentlichen die erste Version des aipack-Frameworks, das mit BGE-M3, MarkItDown und einem Markdown-Struktur-Parser semantisches Chunking durchführt und die Ergebnisse in Parquet-Dateien speichert. Es wurde so konzipiert, dass RAG auf Basis eines wiederverwendbaren Dateiformats umgesetzt werden kann, das in einem neutralen Zustand bleibt, ohne an Modelle oder Datenbanken gebunden zu sein, und sogar ein MCP-Server betrieben werden kann.

Der Fokus von aipack liegt darauf, RAG zu realisieren, ohne von NPU oder GPU abhängig zu sein, und zugleich eine Umgebung zu schaffen, die sich künftig leicht auf verschiedene RAG-Strukturen erweitern lässt. Unter der Prämisse „Wenn man hochwertige Parquet-Dateien erzeugen kann, ist alles möglich“ ist dies ein experimentelles Projekt, das die in der Branche häufig verwendete RAG-Pipeline entkoppelt (Decoupling).

Es setzt eine Idee um, über die ich schon länger nachgedacht habe, daher gibt es noch viele unausgereifte Stellen. Ich freue mich über viel Feedback und Meinungen und möchte das Projekt darauf aufbauend weiter verbessern!