Show HN: Khoj – Offline als zweites Gehirn mit Llama 2 chatten

• Khoj: persönlicher KI-Assistent zum Durchsuchen und Chatten mit Notizen, Dokumenten und Bildern.
• Offline-First-Anwendung zur Nutzung ohne Internetverbindung.
• Khoj: Open-Source-Tool, zugänglich über Emacs, Obsidian oder den Webbrowser.
• Unterstützt verschiedene Dateitypen: jpeg, markdown, notion, org-mode, pdf-Dateien und github-Repositories.
• Mit Khoj relevante Dokumente abrufen und mithilfe natürlicher Sprache Antworten erhalten.
• Für die Offline-Nutzung konfigurierbar, ein praktisches Tool ohne Internet.

[GN⁺]

Hacker-News-Kommentare

• Auf der Landingpage der Website werden die Offline-Anwendungsfälle von Llama nicht erwähnt; stattdessen wird nur die Online-Nutzung über OpenAI genannt.
• Die Modellgröße und das Fine-Tuning von Llama 2 sind auf Consumer-Geräten sehr RAM-intensiv.
• Feedback zur Landingpage: Verwendet für Beispiel-Prompts einen Container mit fester Höhe, um Scroll-Probleme zu vermeiden.
• Llama 2 verursachte auf einem kleinen M2 MacBook Air Leistungsprobleme.
• Dieses Projekt hat das Potenzial, den Webverlauf zusammenzufassen und sich zu einer persönlichen KI weiterzuentwickeln.
• Es wäre gut, wenn Llama PDFs für die Dokumentenindizierung indizieren und per OCR verarbeiten könnte.
• Es gibt eine unterstützte Möglichkeit, das in Llama für lokale Inferenz verwendete Modell zu wechseln.
• Llama 2 hat ausreichend nützliche Anwendungsfälle, sodass es gegenüber ChatGPT nicht unprofitabel wirkt.
• Das Messaging von Khoj hat sich im Vergleich zu früher auf Hacker News verbessert.
• Für Menschen, die Obsidian nutzen und mit Chat-AI experimentieren, ist Llama nützlich.
• Es wurde nach inkrementeller Suche und Implementierungsdetails gefragt.
• Eine leicht erweiterbare Data-Connector-Schnittstelle zur Anbindung benutzerdefinierter Datenquellen wäre vorteilhaft.