Local Deep Research – den eigenen Forschungsassistenten lokal betreiben

 (github.com/LearningCircuit)
16 Punkte von GN⁺ 2025-03-12 | 4 Kommentare | Auf WhatsApp teilen
  • Leistungsstarkes KI-basiertes Forschungstool, das mehrere LLMs und Websuche für tiefgehende iterative Analysen nutzt
    • Integriert Suchfunktionen für ArXiv, Wikipedia, Google, PubMed, DuckDuckGo, SerpAPI, lokales RAG, The Guardian und mehr
  • Kann lokal ausgeführt werden, um den Datenschutz zu verbessern, oder mit Cloud-basierten LLMs konfiguriert werden, um die Leistung zu steigern

Erweiterte Forschungsfunktionen

  • Automatisierte Tiefenrecherche: Generiert intelligente Folgefragen
  • Quellenverfolgung und Verifizierung: Automatische Nachverfolgung von Zitaten und Quellen
  • Iterative Analyse: Mehrstufige iterative Analyse für umfassende Abdeckung
  • Analyse ganzer Webseiteninhalte: Analyse auf Basis vollständiger Inhalte statt nur von Snippets

Flexible LLM-Unterstützung

  • Unterstützung lokaler Modelle: Lokale KI-Verarbeitung auf Basis von Ollama
  • Unterstützung von Cloud-Modellen: Unterstützung für Cloud-LLMs wie Claude und GPT
  • Kompatibilität mit Langchain-Modellen: Unterstützung für verschiedene Langchain-Modelle
  • Modellauswahl möglich: Modelle können je nach Leistung, Antwortgeschwindigkeit usw. konfiguriert werden

Vielfältige Ausgabeoptionen

  • Detaillierte Forschungsergebnisse: Ausführliche Berichte mit Zitaten
  • Umfassender Forschungsbericht: Liefert umfassende Forschungsergebnisse
  • Schnelle Zusammenfassung: Zentrale Inhalte lassen sich kompakt zusammenfassen
  • Quellenverfolgung und Verifizierung: Unterstützung bei Quellenverfolgung und Verifizierung

Datenschutzorientiertes Design

  • Lokal ausführbar: Bei Verwendung lokaler Modelle bleiben alle Daten auf dem Gerät des Nutzers
  • Konfigurierbare Suche: Verbessert den Datenschutz
  • Transparente Datenverarbeitung: Legt die Datenverarbeitung klar offen

Verbesserte Suchintegration

  • Automatische Auswahl der Suchmaschine: Wählt die Suchmaschine je nach Inhalt der Anfrage automatisch aus
  • Wikipedia-Integration: Suche nach verlässlichen Fakten
  • arXiv-Integration: Suche nach wissenschaftlichen Arbeiten und Forschung
  • PubMed-Integration: Suche nach medizinischen und biomedizinischen Forschungsquellen
  • DuckDuckGo-Integration: Allgemeine Websuche (mögliche Ratenbegrenzung)
  • SerpAPI-Integration: Liefert Google-Suchergebnisse (API-Schlüssel erforderlich)
  • Google Programmable Search: Benutzerdefinierte Sucheinstellungen (API-Schlüssel erforderlich)
  • The Guardian-Integration: Suche nach Nachrichten- und journalistischen Inhalten (API-Schlüssel erforderlich)
  • Lokale RAG-Suche: Suche in persönlichen Dokumenten möglich (mit Vektor-Embeddings)
  • Suche über vollständige Webseiteninhalte: Durchsucht den kompletten Inhalt von Webseiten
  • Quellenfilterung und Verifizierung: Kann auf vertrauenswürdige Quellen filtern
  • Konfigurierbare Suchparameter: Suchbereich, Zeitraum usw. können festgelegt werden

Lokale Dokumentensuche (RAG)

  • Suche auf Basis von Vektor-Embeddings: Inhalte in persönlichen Dokumenten durchsuchbar
  • Erstellung benutzerdefinierter Dokumentensammlungen: Dokumente können thematisch gruppiert werden
  • Datenschutz: Alle Dokumente werden lokal verarbeitet
  • Intelligentes Chunking und Suche: Dokumentinhalte werden segmentiert und durchsucht
  • Kompatibel mit verschiedenen Dokumentformaten: Unterstützt PDF, Text, Markdown usw.
  • Automatische Anwendung integrierter Metasuche: Lokale und Websuche können kombiniert werden

Weboberfläche

  • Dashboard verfügbar: Intuitive Benutzeroberfläche
  • Echtzeit-Updates zum Fortschritt: Zeigt den Forschungsfortschritt in Echtzeit an
  • Verwaltung des Forschungsverlaufs: Zugriff auf und Verwaltung früherer Recherchen
  • Export von PDF-Berichten: Forschungsberichte können als PDF heruntergeladen werden
  • Forschungsverwaltung: Laufende Recherchen können gestoppt oder gelöscht werden

Unterstützte Optionen für Suchmaschinen

  • Auto: Automatische Auswahl der Engine je nach Anfrage
  • Wikipedia: Geeignet für allgemeine Informationen und Faktensuche
  • arXiv: Geeignet für wissenschaftliche und akademische Arbeiten
  • PubMed: Geeignet für biomedizinische und medizinische Forschung
  • DuckDuckGo: Datenschutzorientierte allgemeine Websuche
  • The Guardian: Nachrichten- und journalistische Suche (API-Schlüssel erforderlich)
  • SerpAPI: Liefert Google-Suchergebnisse (API-Schlüssel erforderlich)
  • Google Programmable Search: Benutzerdefinierte Suche (API-Schlüssel erforderlich)

Verwandte Beiträge

4 Kommentare

 
zxshinxz 2025-03-13
  • Als jemand, der im Bereich Life Sciences arbeitet, möchte ich kurz meine Nutzungsergebnisse teilen.

Es werden zwei Research-Modi angeboten.

  1. Quick summary
  • Die benötigte Zeit liegt bei etwa 5–6 Minuten (basierend auf einer 4070 ti super, 16GB, Mistral sowie Gemma 3:12b).
  • Es gibt Halluzinationen, daher werden Referenzen zwar direkt erzeugt, aber bei den Refs, die im Dokument verlinkt sind, scheint die Quelle eindeutig zu sein.
  • Es gibt die Tendenz, Antworten auf Fragen mit Fokus auf neue Technologien zu formulieren. Insbesondere wird versucht, einen Bezug zu AI herzustellen.
  1. Detailed Report
  • Die benötigte Zeit liegt bei etwa 1 Stunde (4070 ti super 16GB, Gemma 3:12b).
  • Es ist im Grunde so, als würde ein einzelnes Review-Paper erstellt. Allerdings gibt es das Problem, dass die Zahl der Referenzen stark zurückgeht. Selbst wenn der Inhalt stimmt, fehlt dann die Belegbarkeit, daher ist hier etwas Verbesserung nötig. (Offenbar wird eine Art iterative Überarbeitung durchgeführt, um die Textqualität zu erhöhen, und dabei gehen die Ref-Links verloren.)
  • Allerdings liefert es definitiv Inhalte mit höherer Qualität als Quick summary.

In der Config-Datei lassen sich verschiedene Einstellungen vornehmen. Man kann die zu durchsuchende Datenbank auf PubMed beschränken und so die Qualität der Materialien weiter erhöhen. Außerdem kann man festlegen, wie viele Texte auf einmal durchsucht werden und wie viele Chunks bei der Nutzung von RAG erstellt werden sollen.

Wenn man berücksichtigt, dass es sich derzeit um Version 0.01V handelt, ist es äußerst beeindruckend, dass sich auf einer lokalen Maschine Berichte in diesem Umfang erzeugen lassen. Gerade im Bereich Life Sciences verwenden Chatbots oft verallgemeinernde Beschreibungen, aber die mit diesem Programm erstellten Berichte nutzen eine sehr wissenschaftliche Ausdrucksweise.

Das Programm unterstützt derzeit kein Koreanisch. Selbst wenn man Fragen auf Koreanisch stellt, wird der Bericht auf Englisch ausgegeben.
Außerdem gibt es beim Export als PDF das Problem, dass Koreanisch in der PDF-Datei nicht angezeigt wird.

Wenn nur das Problem gelöst wird, dass Refs während der Berichterstellung verschwinden, sowie das Halluzinationsproblem, halte ich es für ein wirklich leistungsstarkes Werkzeug.
 
zxshinxz 2025-03-14

Nach weiterer Nutzung scheint es in Ollama unter den verschiedenen Modellen besonders mit Qwen2.5 gut zu funktionieren. Deepseek-r1 erzeugt bei der Suche merkwürdige Abfragen, sodass es die als Beleg dienenden Inhalte falsch abruft, und die Gemma-Modelle interpretieren den als Beispiel genannten Prompt als tatsächlichen Prompt und versuchen, Inhalte zu genau diesem verwandten Thema unbedingt einzufügen.
 
GN⁺ 2025-03-12
Hacker-News-Kommentare

  • Applaus für die Bemühungen um einen lokalen und Low-Fidelity-Bereich. Nach dem Lesen der Beispiele im Dokument wirken die Ergebnisse allerdings etwas verwirrend

    • Ich denke, es braucht einen oder mehrere Zwischenschritte. Zum Beispiel könnte ein Graph-Datenbank verwendet werden, damit das LLM Informationen speichert, Zusammenhänge prüft und sich selbst Fragen stellt, um den Abschlussbericht zu erstellen
    • Der Abschlussbericht könnte eine interaktive HTML-Datei sein, die der Nutzer abfragen oder direkt bearbeiten kann
    • Es gibt ein ähnliches Open-Deep-Research-Tool namens Onyx, dessen UI/UX besser zu sein scheint. Der Autor könnte erwägen, dieses Tool lokal zu portieren
    • Nicht, dass dieses Projekt schlecht wäre, aber ich sorge mich, dass viele Open-Deep-Research-Projekte verschwinden werden. Es wäre besser, zusammenzuarbeiten und sich auf die Teile zu konzentrieren, die die Leute am meisten interessieren

  • Dieses Projekt ist großartig

    • Wenn man das Internet als Quelle einbinden und Embeddings hinzufügen möchte, würde ich empfehlen, exa.ai auszuprobieren. Es umfasst Wikipedia, Tausende News-Feeds, Github und mehr als 70 Millionen wissenschaftliche Arbeiten
    • Hinweis: Ich bin einer der Gründer

  • Ich habe es ausprobiert, aber es traten viele Fehler auf, sodass ich keinen Bericht erstellen konnte. Es gibt keine Möglichkeit, nach einem Fehlschlag fortzusetzen, daher muss man bei einem fehlgeschlagenen API-Aufruf wieder ganz von vorn beginnen

  • Für die Websuche sollte man auch die APIs von Kagi und Tavily in Betracht ziehen

  • Sieht sehr cool aus. Ich frage mich, wie es sich mit der RAG-Funktion von open-webui vergleichen lässt

    • Es gibt Methoden für Websuche und Dokument-Embeddings, aber die Ergebnisse sind unzureichend, weil in den Embeddings Details verloren gehen. Ich frage mich, ob dieser Ansatz besser ist

  • Ich frage mich, ob jemand mit einem (lokalen) LLM direkt in einer Materialsammlung nach relevanten Informationen sucht, ohne sich auf Vektorsuche zu verlassen

  • Gute Arbeit

    • In letzter Zeit denke ich, dass eine vorverarbeitete lokale Sammlung mit kuratierten, strukturierten Informationen für RAG eine gute Ergänzung zu diesem dynamischen Suchansatz sein könnte
    • Ich habe gesehen, dass LangChain verwendet wurde; es könnte sich lohnen, txtai anzuschauen

  • Ich frage mich, ob es ein Tool gibt, das eine AI-Sucherfahrung bietet und den Inhalt von Bookmarks mischt, um einen Bericht zu erzeugen. Meine Bookmarks sind derzeit nutzlos. Das könnte sie nützlich machen

    • Ein häufiger Fehlermodus bei OpenAIs Deep Research ist derzeit, dass Antworten aus wenig autoritativen Quellen geholt und mit Verweisen versehen werden, als stammten sie aus wissenschaftlichen Journalen. Solche Quellen enthalten fast nie etwas Wertvolles, und selbst wenn andere Quellen hochwertig sind, ruiniert eine minderwertige Quelle alles
    • Wenn man bereits kuratierte Inhalte wie Bookmarks stärker gewichtet, könnte das das Signal-Rausch-Verhältnis (SNR) deutlich verbessern

  • Ich denke, wer eine GUI wie ein 3D-Spiel für LLMs baut, wird der nächste Jobs/Gates/Musk und Nobelpreisträger sein. Das würde Millionen Menschen einen Blick ins Innere von LLMs ermöglichen und damit das Alignment-Problem lösen. Computer wurden erst mit dem Aufkommen von Betriebssystemen mit GUI massentauglich, und die heutigen Chatbots ähneln der Kommandozeile. Ich habe ASK HN gestartet, um Ideen zur AI-Sicherheit zu teilen
 
zhniee 2025-03-13

Nicht nachvollziehbar. Das hat nicht einmal das Coding-Niveau eines Grundschülers, geschweige denn akademisches Niveau — warum teilt man so etwas überhaupt ...