Tabby: Selbstgehosteter KI-Coding-Assistent

 (github.com/TabbyML)
4 Punkte von GN⁺ 2025-01-13 | 1 Kommentare | Auf WhatsApp teilen

  • Einführung in Tabby

    • Tabby ist eine Alternative zu GitHub Copilot und ein selbstgehosteter KI-Coding-Assistent.
    • Es verfügt über eine eigenständige Architektur, die weder ein DBMS noch einen Cloud-Service benötigt.
    • Über eine OpenAPI-Schnittstelle lässt es sich leicht in bestehende Infrastrukturen integrieren.
    • Unterstützt Consumer-GPUs.

  • Neue Funktionen

    • 6. Dezember 2024: Die Integration von Llamafile-Deployments und eine verbesserte Benutzererfahrung der Answer Engine werden in Tabby v0.21.0 hinzugefügt.
    • 10. November 2024: Das Umschalten zwischen verschiedenen Backend-Chat-Modellen in der Answer Engine wird in Tabby v0.20.0 unterstützt.
    • 30. Oktober 2024: Tabby v0.19.0 fügt auf der Hauptseite geteilte aktuelle Threads hinzu und erhöht so die Sichtbarkeit.
    • 9. Juli 2024: Integration von Codestral angekündigt.
    • 5. Juli 2024: Tabby v0.13.0 führt die Answer Engine ein, die interne Daten von Entwicklungsteams integriert, um verlässliche Antworten zu liefern.
    • 13. Juni 2024: VSCode 1.7 bietet verschiedene Chat-Erfahrungen über das gesamte Coding-Erlebnis hinweg.
    • 10. Juni 2024: Blogbeitrag zu Tabbys verbessertem Verständnis von Code-Kontext veröffentlicht.
    • 6. Juni 2024: Tabby v0.12.0 bietet nahtlose Integration mit Gitlab SSO, selbstgehostetem GitHub/GitLab und mehr.
    • 22. Mai 2024: Tabby VSCode 1.6 bietet mehrere Optionen bei Inline-Vervollständigungen und unterstützt automatisch generierte Commit-Nachrichten.
    • 11. Mai 2024: v0.11.0 bringt große Enterprise-Upgrades, darunter GitHub- und GitLab-Integration, eine Aktivitätsseite und die Funktion Ask Tabby.
    • 22. April 2024: v0.10.0 führt einen neuen Berichts-Tab ein, der teambezogene Analysen bereitstellt.
    • 19. April 2024: Tabby integriert lokal relevante Snippets für Code-Vervollständigungen.
    • 17. April 2024: Die Modellreihen CodeGemma und CodeQwen werden zum offiziellen Registry hinzugefügt.
    • 20. März 2024: v0.9 hebt eine Admin-UI mit vollem Funktionsumfang hervor.
    • 23. Dezember 2023: Tabby kann über SkyServe von SkyPilot nahtlos in der Cloud bereitgestellt werden.
    • 15. Dezember 2023: v0.7.0 bietet Teamverwaltung und sicheren Zugriff.
    • 15. Oktober 2023: RAG-basierte Code-Vervollständigung wird in v0.3.0 aktiviert.
    • 27. November 2023: Veröffentlichung von v0.6.0.
    • 9. November 2023: v0.5.5 enthält ein UI-Redesign und Performance-Verbesserungen.
    • 24. Oktober 2023: Großes Update für die Tabby-IDE-Plugins für VSCode/Vim/IntelliJ.
    • 4. Oktober 2023: Die neuesten von Tabby unterstützten Modelle sind im Modellverzeichnis einsehbar.
    • 18. September 2023: Unterstützung für Apple-M1/M2-Metal-Inferenz wird in v0.1.1 hinzugefügt.
    • 31. August 2023: Veröffentlichung der ersten stabilen Version von Tabby, v0.0.1.
    • 28. August 2023: Experimentelle Unterstützung für CodeLlama 7B.
    • 24. August 2023: Tabby wird im JetBrains Marketplace gelistet.

  • Erste Schritte

    • In der Dokumentation finden sich Hinweise zu Installation, IDE-/Editor-Erweiterungen und Konfiguration.

  • Community

    • Über Twitter/X, LinkedIn und den Newsletter kann man mit TabbyML in Kontakt bleiben.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-01-13
Hacker-News-Kommentare

  • Ein Nutzer erwähnte, dass es zwar ein gutes Produkt sein könnte, der Interviewprozess aber furchtbar gewesen sei. Es habe mehrere Interviewrunden gegeben, doch nach dem letzten Interview sei der Kontakt ohne jede Erklärung abgebrochen. Auch nach dem Verfassen eines Blogposts habe es monatelang keine Rückmeldung gegeben, und erst nach wiederholten Nachfragen habe er eine Antwort erhalten. Alle Interviews seien als Aufgaben gestaltet gewesen, und insgesamt habe er mehr als 10 Stunden investiert.

  • Es wurde erwähnt, dass angebliche Alternativen zu GitHub Copilot nicht in VS2022 funktionieren. Man wolle einen selbst gehosteten KI-Assistenten, der in VS2022 nutzbar ist. Es wurde infrage gestellt, warum es keine Alternativen gibt, obwohl VS2022 Plugins unterstützt.

  • Es wurde erwähnt, dass die Demo zum Vervollständigen der Funktion findMaxElement auf der Homepage ein aktuelles oder zukünftiges Beispiel sei. Der vorgeschlagene sechszeilige Python-Code könne durch return max(arr) ersetzt werden. Der vorgeschlagene Code wurde als Anfängerniveau bewertet. Es wurde die Sorge geäußert, dass Menschen, die Autovervollständigung blind nutzen, auf ihrem technischen Niveau stagnieren könnten. Man könne zwar Story Points sammeln, aber es wurde bezweifelt, ob sich die tatsächlichen Fähigkeiten dadurch verbessern.

  • Es wurde erwähnt, dass man sich nie hätte vorstellen können, dass das Tabby-Projekt auf der HN-Startseite landen würde. Seit dem Launch habe sich Tabby erheblich weiterentwickelt und sei zu einer umfassenden KI-Entwicklerplattform mit Code-Vervollständigung und Chat über die Codebasis geworden. Ein Nutzer erklärte, Tabby sei die einzige Plattform gewesen, die eine Self-Service-Onboarding-Erfahrung geboten habe. Auch die Leistung könne mit anderen Optionen auf dem Markt mithalten. Wer neugierig sei, solle es ausprobieren.

  • Ein Nutzer, der mit lokaler KI nicht vertraut ist, erwähnte, dass er Tabby ausprobieren möchte. Er fragte sich, wie sich "run tabby in 1 minute" im Vergleich zum kostenlosen 4o-mini von chatgpt schlägt. Er fragte, ob man auf einem MacBook Pro der mittleren Leistungsklasse durch Ausführen eines Docker-Befehls eine schnelle und fähige KI nutzen könne. Es wurde erwähnt, dass die Rechenleistung von M1/M2 begrenzt sei und wohl nur für die private Nutzung ausreiche. Falls eine gemeinsam genutzte Instanz für ein Team benötigt werde, wurde empfohlen, Docker-Hosting mit CUDA oder ROCm in Betracht zu ziehen.

  • Es wurde erwähnt, dass sich in der Community Edition die IDE-/Extensions-Telemetrie nicht deaktivieren lässt. Es wurde gefragt, welche Daten in dieser Telemetrie enthalten sind.

  • Es wurde erwähnt, dass alle Beispiele Code seien, den man in Bibliotheken finden könne. Bei einem Teil des Codes wurde die Qualität infrage gestellt. Es wurde die Sorge geäußert, dass LLMs zu Spam-Bots für Codebasen werden könnten.

  • Es wurde erwähnt, dass die Idee gut sei, keine Daten an Großunternehmen zu senden und den TOS vertrauen zu können. Die Wirksamkeit von Coding-Assistenten sei proportional zur Kontextlänge, und Open Models, die auf dem eigenen Computer laufen, seien in der Regel kleiner. Man würde gerne Material sehen, das den Nutzen in komplexeren Codebasen quantifiziert.

  • Es wurde erwähnt, dass man bei der Arbeit selbst gehostete KI-Lösungen untersucht. Es wurde gefragt, wie dieses Unternehmen Umsatz erzielt. Es gebe kostenlose/Community/Open-Source-Optionen, und es wurde gefragt, wie "bis zu 5 Benutzer" überwacht werde. Außerdem wurde gefragt, was passiert, wenn es mehr als 5 Nutzer gibt.

  • Es wurde erwähnt, dass Tabby nur die Nutzung einer einzelnen GPU unterstützt. Um mehrere GPUs zu verwenden, müsse man mehrere Tabby-Instanzen starten und CUDA_VISIBLE_DEVICES oder HIP_VISIBLE_DEVICES setzen. Es wurde gefragt, ob die Nutzung von zwei per NVLink verbundenen GPUs nicht unterstützt werde oder ob die Situation anders sei, weil NVLink beide GPUs als eine behandle.