BigCode – Open-Source-Projekt zur Entwicklung einer KI für Codegenerierung
(bigcode-project.org)- Ein Open-Source-Projekt zur Entwicklung eines LLM (Large Language Model) für Quellcode, das ähnliche Funktionen wie OpenAIs Codex bietet, das in GitHubs Copilot verwendet wird
- Soll in Zusammenarbeit von Hugging Face und ServiceNow R&D entstehen
- Ziel ist es, einen Datensatz in ausreichender Größe für das Training von Systemen zur Codegenerierung bereitzustellen
- Mit 15 Milliarden Parametern, also sogar größer als Codex
4 Kommentare
Da Copilot nun einmal mit Kosten verbunden ist, bringt das hier und da Einschränkungen mit sich,
ihre Wirkung wäre daher hoffentlich so groß wie die von Stable Diffusion.
Es wäre gut, wenn es wie Stable Diffusion auch lokal laufen würde. Copilot erfordert letztlich externe Kommunikation (selbst wenn der Datenschutz für Code gut eingehalten und alles verschlüsselt wird). Da bei dieser Kommunikation Quellcode enthalten ist, fühlt sich das für mich unangenehm an.
Das stimmt wohl.
Realistisch gesehen handelt es sich um ein LLM (Large Language Model), also wird es wohl kaum direkt lokal laufen. Aber schon eine Größe, die sich on-prem betreiben lässt, wäre wohl brauchbar. Mit 15 Milliarden Parametern liegt es größenmäßig zwischen GPT-2 (1,5 Milliarden) und GPT-3 (175 Milliarden) — ob das wohl klappt ... seufz
Soweit ich weiß, konnte man GPT-2 ja lokal ausführen. Tabnine basiert auf diesem Modell und bietet ja auch ein lokales Modell an.