RLama – Open-Source-DocumentAI mit Ollama

 (rlama.dev)
1 Punkte von GN⁺ 2025-03-09 | 1 Kommentare | Auf WhatsApp teilen
  • Ein KI-basiertes Frage-und-Antwort-Tool für Dokumente, das mit lokalen Ollama-Modellen verbunden verwendet wird
  • Damit lassen sich RAG-Systeme (Retrieval-Augmented Generation) passend zu Dokumentationsanforderungen erstellen, verwalten und nutzen
  • Verfügbar für macOS, Linux und Windows
  • Indizierung von Dokumentenordnern: Dokumentenordner können für intelligente Suche und Abfragen indiziert werden; unterstützt verschiedene Dokumentformate wie Text, Code, PDF und DOCX
  • Lokale Verarbeitung: Mit Ollama-Modellen werden alle Daten lokal verarbeitet, ohne dass Daten nach außen abfließen
  • Interaktive RAG-Sitzungen: Es können interaktive Sitzungen erstellt werden, um die Wissensbasis der Dokumente abzufragen
  • Einfache Verwaltung: Bietet einfache Befehle zum Erstellen, Auflisten und Löschen von RAG-Systemen
  • Entwicklerfreundlich: In Go für Entwickler und technisch versierte Nutzer konzipiert

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-03-09
Hacker-News-Kommentare

  • Dieses System zerlegt Dokumente nicht in Chunks, sondern sendet das gesamte Dokument als Embedding-Anfrage an Ollama. Daher ist es nur nützlich, wenn das Dokument klein ist

    • Das Embedding-Modell bge-m3 hat eine Sequenzlänge von 8192 Token. rlama versucht, ganze Bücher zu embeddieren, aber Ollama kann nur die ersten paar Seiten in die Embedding-Anfrage aufnehmen
    • Bei der Suche wird das gesamte Dokument statt relevanter Passagen abgerufen und dann auf 1000 Zeichen gekürzt. Dadurch erscheint das Wort "Buddha" im Dokument zwar 44.121-mal, aber das Modell antwortet: "Es gibt keine direkte Erwähnung von Buddha"
    • Eine bessere Lösung wäre, Dokumente in Chunks aufzuteilen, die zum Kontextfenster des Embedding-Modells passen, und diese Chunks zusammen mit Metadaten abzurufen

  • Ich empfehle, dem Nutzer die Suchergebnisse anzuzeigen. Schon eine reine Vektorsuchmaschine ist sehr nützlich

    • Ändert den Prompt so, dass Referenzen angegeben werden (z. B. auf Basis von Chunk-Metadaten wie Seitenzahlen)

  • Lob für das Projekt, zusammen mit ein paar kurzen Anmerkungen

    • Zentrale Bedenken bei einer App, die das Dateisystem nutzt
      • Wer kann lesen, ob die App Daten teilt
      • Es braucht eine harte Sperre gegen Internetzugang. Ob rlama dann immer noch korrekt funktioniert
      • Ob die App Dateien ändern/löschen kann
      • Es sollten nur Leserechte erlaubt sein, nicht Zugriff auf das gesamte Dateisystem

  • Code-Notiz: Es ist überraschend, dass .ts (TypeScript) nicht in der Liste ist

  • Die Website ist sehr sauber. Ich frage mich, ob sie von Grund auf programmiert oder auf einem Template basiert

  • Es ist sehr einfach, ein eigenes RAG zu bauen. Für Ollama gibt es ein Schnellstart-Tutorial. Man kann den Prozess an die eigenen Anforderungen anpassen

  • Ich bin skeptisch, was den Nutzen solcher Tools angeht. Wegen Halluzinationsproblemen frage ich mich, wie zuverlässig sie sind und wie gut sie Quellen zitieren

    • Das Wichtigste ist, die Daten korrekt zu bekommen. Ich nutze AI-Tools gelegentlich fürs Coding, aber für andere Zwecke kann ich den Ergebnissen nicht wirklich vertrauen

  • Es gibt keine Informationen über die Architektur/den Tech-Stack dieses Projekts. Weder im GitHub-README noch auf der Website

    • Mir gefällt, dass es in Go geschrieben und klein genug ist, um es am Wochenende zu überfliegen. Aber ich habe schon Zeit mit Tools aus dem LLM-Ökosystem verschwendet, daher zögere ich, den Code ohne grundlegende Informationen zu erkunden
    • Wenn ihr einen High-Level-Überblick über die Projektarchitektur gebt, werden mehr Leute das Tool übernehmen

  • Als Amateurhistoriker scanne ich Dokumente aus Archiven und speichere sie als JPG-Dateien. Ich frage mich, wie man diese Wissenssammlung am besten erschließen kann

    • Ich baue derzeit etwas Eigenes mit Gemini, bin mir aber nicht sicher, ob es eine Lösung gibt, ohne ein RAG-System von Grund auf aufzubauen

  • Ich frage mich, ob es zusammen mit llama.cpp, der Engine von Ollama, funktionieren kann

    • Normalerweise baue ich llama.cpp aus dem Quellcode und lade quantisierte Modelle von Huggingface herunter. Ollama habe ich noch nie benutzt

  • Es wäre schön, wenn es eine API-Schnittstelle gäbe, damit man es in andere Systeme integrieren kann

  • Tolles Projekt. Ich frage mich, unter welcher Lizenz es veröffentlicht wurde. Das ist nicht dokumentiert

  • Ich bin neugierig auf die Leistung von RAG. Es ist nicht hilfreich, einfach nur eine Vektordatenbank hinzuschmeißen