Möchten Sie Ihren eigenen Open-Source-Chatbot bauen?

• Künstliche Intelligenz (AI) verändert das Web und beeinflusst das Leben der Menschen.
• Mozilla setzt sich für vertrauenswürdige AI ein, darunter Transparenz, Datenschutz, Nutzerautonomie und Fairness.
• Generative AI-Chatbots sind beliebt, werden jedoch meist von mächtigen Technologieunternehmen kontrolliert.
• Mozilla glaubt an die Stärke von Open Source und arbeitet daran, technologische Kontrolle durch einige wenige Unternehmen zu verhindern und Nutzer zu befähigen.
• Mozilla hat kürzlich einen Hackathon veranstaltet, um interne Chatbot-Prototypen zu entwickeln.
• Das Team nutzte Open-Source-LLMs und stand vor Fragen zu Hosting, Runtime-Umgebung, Modellauswahl, Bias und der Erweiterung des Wissens des Chatbots.
• Aus Gründen des Datenschutzes und der Kontrolle entschieden sie sich, den Chatbot in Mozillas Cloud-Infrastruktur zu hosten.
• Zum Ausführen von Modellen auf Basis der LLaMA-Architektur nutzten sie das Open-Source-Projekt llama.cpp.
• Sie bewerteten die Modelle im Hinblick auf Toxizität, Bias, Fehlinformationen und gefährliche Inhalte und wählten das LLaMA-2-Modell von Facebook.
• Sie integrierten internes, Mozilla-spezifisches Wissen mithilfe von Embeddings und Vektorsuche.
• Mit Python und verschiedenen Bibliotheken entwickelten sie eine manuelle Lösung.
• Prompt Engineering ist bei der Entwicklung von Chatbots entscheidend, um Kontext bereitzustellen und Antworten zu verbessern.
• System-Prompts und das Kontextfenster sind wichtig für die Fähigkeiten des Chatbots und den Gesprächskontext.
• LangChain ist ein führendes Orchestrierungswerkzeug im Bereich der Sprachmodelle, kann jedoch komplex zu erlernen und zu verwenden sein.
• Mit Open-Source-Chatbot-UIs wie chatbot-ui und Companion lässt sich ein Frontend für Sprachmodelle erstellen.
• Mozilla entwickelte einen Prototyp-Chatbot, der ihre Werte widerspiegelt und sicher innerhalb der Organisation gehostet wird.
• Open-Source-Chatbots befinden sich weiterhin in der Entwicklung, und es ist schwierig, Modelle zu bewerten und die richtige Auswahl zu treffen.
• Mozilla arbeitet daran, es Entwicklerinnen und Entwicklern zu erleichtern, sich am Open-Source-Ökosystem für maschinelles Lernen zu beteiligen und zur Community beizutragen.

[GN⁺]

Hacker-News-Kommentar

• Chatbots werden als Ausgleich für mangelnde UX-Umsetzung auf Websites wahrgenommen.
• Manche Menschen finden Chatbots nervig und denken nicht, dass jedes Unternehmen einen Chatbot haben sollte.
• Das Web wird zunehmend von immer weniger Unternehmen kontrolliert, was zu einem Kampf um Sichtbarkeit und Kommunikation führt.
• Chatbots werden eingesetzt, wenn Websites eine verwirrende UI haben oder wichtige Informationen verstecken.
• Der eigentliche Zweck von Chatbots besteht darin, das Web und mobile Apps als erstes Kontaktmittel mit Unternehmen zu ersetzen.
• Der Autor baut in Wirklichkeit keinen Open-Source-Chatbot, sondern wirbt für die Nutzung von Open-Source-Bibliotheken.
• Einen Server innerhalb der Google-Infrastruktur aufzusetzen, ist in Wirklichkeit nicht privat und steht nicht unter Mozillas Kontrolle.
• Manche Menschen haben mit Chatbots positive Erfahrungen gemacht, die hilfreicher waren als traditionelle Suchmethoden.
• Es werden Ressourcen zum Aufbau von Chat-Modellen mit Vektordatenbanken und zur Skalierung der semantischen Ähnlichkeitssuche bereitgestellt.