Code Llama, ein hochmodernes Large Language Model fürs Programmieren

• Code Llama ist ein hochmodernes Large Language Model (LLM), das speziell für Programmieraufgaben entwickelt wurde.
• Es kann sowohl aus Code als auch aus natürlichsprachlichen Prompts Code und natürlichsprachliche Beschreibungen zu Code erzeugen.
• Code Llama basiert auf Llama 2 und ist in drei Varianten verfügbar: als Basis-Code-Modell, als auf Python spezialisiertes Modell und als für das Verständnis natürlichsprachlicher Anweisungen feinabgestimmtes Modell.
• Das Modell ist sowohl für Forschung als auch für kommerzielle Nutzung kostenlos und übertrifft bei Code-Aufgaben andere öffentlich verfügbare LLMs.
• Code Llama kann als Produktivitätstool genutzt werden, das Programmierern hilft, robustere und besser dokumentierte Software zu schreiben, und als Lernwerkzeug, das die Einstiegshürde für Menschen senkt, die Programmieren lernen.
• Das Modell unterstützt viele verbreitete Sprachen, darunter Python, C++, Java, PHP, Typescript (Javascript), C#, Bash und weitere.
• Code Llama ist in drei Größen mit jeweils 7B, 13B und 34B Parametern verfügbar; jede davon wurde mit 500B Tokens aus Code und codebezogenen Daten trainiert.
• Die verschiedenen Modelle sind auf unterschiedliche Dienste und Latenzanforderungen ausgelegt: Das 34B-Modell liefert die besten Ergebnisse, während kleinere Modelle besser für Aufgaben geeignet sind, die schnell und mit geringer Latenz beantwortet werden müssen.
• Code Llama kann Kontexte von bis zu 100.000 Tokens verarbeiten, was beim Erzeugen längerer Programme und beim Debuggen größerer Codebasen hilfreich ist.
• Zwei zusätzliche Varianten, Code Llama - Python und Code Llama - Instruct, wurden feinabgestimmt und sind jeweils auf Python-Code spezialisiert beziehungsweise darauf optimiert, hilfreiche und sichere Antworten in natürlicher Sprache zu erzeugen.
• In Benchmark-Tests mit HumanEval und Mostly Basic Python Programming (MBPP) übertraf Code Llama andere Open-Source-, reine Code-LLMs sowie Llama 2.
• Vor der Veröffentlichung von Code Llama wurden Sicherheitsmaßnahmen ergriffen, darunter eine quantitative Bewertung des Risikos, dass das Modell bösartigen Code erzeugt.
• Das Trainingsrezept und die Modellgewichte von Code Llama sind auf GitHub verfügbar; Entwicklung, Benchmark-Tests, Grenzen und zukünftige Herausforderungen werden in einem Research Paper ausführlich beschrieben.
• Die Entwickler von Code Llama sind überzeugt, dass AI-Modelle, insbesondere LLMs fürs Programmieren, am stärksten von einem offenen Ansatz profitieren, weil so die gesamte Community ihre Fähigkeiten bewerten, Probleme identifizieren und Schwachstellen beheben kann.
• Entwickler werden dazu angehalten, Code Llama verantwortungsvoll zu nutzen. Dazu gehört, Leitlinien für die Entwicklung von Untermodellen, die Definition von Content-Richtlinien, die Datenaufbereitung, das Fine-Tuning von Modellen, die Bewertung und Verbesserung der Leistung, den Umgang mit Risiken sowie Transparenz in der Nutzerinteraktion und den Aufbau von Meldemechanismen zu befolgen.
• Code Llama wurde entwickelt, um Softwareingenieure in allen Bereichen zu unterstützen und andere dazu zu inspirieren, Llama 2 für neue innovative Tools in Forschung und kommerziellen Produkten zu nutzen.

[GN⁺]

Hacker-News-Meinungen

• Code Llama ist ein neues großes Sprachmodell, das speziell fürs Coding entwickelt wurde.
• Das Modell kann bis zu 100.000 Token Kontext verarbeiten und liefert eine stabile Generierung.
• Einige Nutzer stellten die Nützlichkeit des 100k-Kontexts infrage, da die Genauigkeit beim Abruf relevanter Inhalte nach 16k Token nachlässt.
• Das 7B-Modell von Code Llama wird als konkurrenzfähig zu Codex angesehen, dem Modell hinter GitHub Copilot.
• Nutzer sind vom Potenzial des 34B-Python-4-Bit-quantisierten Modells begeistert.
• Es gibt Fragen zu eingebetteten Code-Modellen, die Codebasen mit mehr als 100K Token verarbeiten.
• Die Entwicklung solcher Modelle führt zu Diskussionen über mögliche Veränderungen in Coding-Praktiken, um diese Tools besser zu optimieren.
• Nutzer interessieren sich für die Möglichkeit, spezifische große Sprachmodelle für andere Domänen wie Rust, Linux, Genomik und Physikmodellierung zu entwickeln und gemeinsam Probleme zu lösen.
• Das Spitzenmodell Unnatural Code Llama wurde noch nicht veröffentlicht, möglicherweise weil es gegen die Nutzungsbedingungen von OpenAI verstoßen könnte.
• Nutzer vergleichen die Nützlichkeit von Tools wie Code Llama und Code Pilot mit der direkten Nutzung von GPT-4.
• Es besteht Interesse daran, die Hardware-Anforderungen für den Betrieb dieser Modelle zu verstehen, und einige Nutzer möchten solche Modelle verwenden, ohne ihren Quellcode bei Tech-Giganten hochzuladen.