Anything-LLM - Open-Source-All-in-One-AI-Desktop-Assistent

• Eine Full-Stack-AI-Anwendung, mit der sich ein privates ChatGPT unter Verwendung kommerzieller LLMs oder Open-Source-LLMs und Vector-DB-Lösungen aufbauen lässt
  • Kann lokal oder remote gehostet werden
  • Wandelt alle von Ihnen bereitgestellten Dokumente und Ressourcen in referenzierbaren Kontext um
• Das zu verwendende LLM oder die Vector DB kann ausgewählt werden; außerdem werden Multi-User-Verwaltung und Berechtigungen unterstützt
  • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
• Unterstützt Multimodalität (sowohl für kommerzielle als auch Open-Source-LLMs)
• Bietet ein benutzerdefiniertes Chat-Widget zum Einbetten in die eigene Website (Docker-Version)
• Dokumente werden in Objekte namens Workspaces aufgeteilt und wie ein einzelner Thread gekapselt betrieben
  • Freigabe ist möglich, aber sie führen keine Gespräche miteinander, sodass der Kontext zwischen den einzelnen Workspaces erhalten bleibt

Aufteilung der Komponenten im Monorepo

• frontend: Frontend, aufgebaut mit viteJS + React
• server: NodeJS-Express-Server für Vector-DB-Verwaltung und die Abwicklung der LLM-Interaktionen
• collector: NodeJS-Express-Server zum Verarbeiten und Parsen von Dokumenten
• docker: Informationen zu Docker-Befehlen und Build-Prozessen
• embed: Submodul zum Erstellen und Verwalten von Web-Embed-Widgets
• browser-extension: Submodul für die Chrome-Browser-Erweiterung

[xguru]

Hacker-News-Kommentare

• Ich versuche, in einer Enterprise-Umgebung eine angepasste AnythingLLM-Instanz bereitzustellen. TimC und das Entwicklerteam sind hervorragend und reagieren sehr schnell. Ich warte auf die EntraID-Integration; damit sollten die meisten grundlegenden Anwendungsfälle abgedeckt sein. Vielen Dank an TimC und das Team
• Ich dachte zunächst, es sei ein Ollama/WebGenUI-Wrapper, aber tatsächlich unterstützt es viel mehr Funktionen. Nicht nur LLMs, sondern auch Embedding-Modelle, Vektor-Datenbanken und TTS/STT. Es enthält alles, was man zum Aufbau eines vollständigen Sprach-Chatbots braucht
• Sehr gut. Ich finde den Begriff „Language Learning Model“ lustig. Ein Witz darüber, dass der Autor wohl losgelegt hat, ohne zu wissen, wofür LLM steht
• Ich habe es heruntergeladen und ausprobiert, und bisher ist es sehr gut. Ich habe es mit GPT-4o verwendet, um regulatorische PDFs zu lesen. Erstes Feedback:
  • Die Zitate sind etwas unsicher. Die Antworten sind größtenteils korrekt, aber der Inhalt des Zitatfensters ist etwas verwirrend
  • Ich würde mir eine Textsuche innerhalb bestehender Chats wünschen. Wenn ich zum Beispiel während eines Chats nach Giraffen suche, sollte ich zu diesem Chatverlauf springen können
• Als jemand, der nicht weiß, was Embeddings oder Vektoren sind, ist dies das einzige Offline-AI-Tool, das ich auf einem Standard-Büro-PC installieren und nutzen kann
• LLMs werden in Zukunft wie Web-Frameworks kostenlos und Open Source sein. Es wird auch kostenpflichtige Optionen geben, aber für die meisten Aufgaben werden die kostenlosen Optionen ausreichen
• Ich habe AnythingLLM auf Enterprise-Niveau eingerichtet und bin von den meisten Funktionen sehr beeindruckt. Ich wünschte, es gäbe eine Option, benutzerdefiniertes CSS sauber einzubinden. Die Standardoberfläche wirkt etwas altmodisch. Bitte macht weiter mit der großartigen Arbeit
• Bei der Linux-Installation ist ein Fehler aufgetreten, aber mit den folgenden Befehlen ließ er sich beheben:

  sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox  
  sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox  
  

  Davon abgesehen funktioniert es sehr gut
• AnythingLLM macht die lokale Nutzung von LLMs und die Nutzung per API sehr einfach. Es gibt viele Auswahlmöglichkeiten bei Embeddern und Vector Stores. Das Desktop-Paket als Single-Install ist sehr sauber umgesetzt. Ich freue mich auf die kommenden neuen Funktionen