Meta AI veröffentlicht das Modell Code Llama 70B

 (twitter.com/AIatMeta)
11 Punkte von GN⁺ 2024-01-30 | 4 Kommentare | Auf WhatsApp teilen
  • Ein leistungsstarkes LLM zur Codegenerierung, das auf Llama 2 basiert und mit einem auf Code spezialisierten Datensatz länger und mit mehr gesampelten Daten trainiert wurde
  • Erreicht bei HumanEval 67,8 und zeigt damit unter den Open Models die beste Leistung
  • Wie bei der vorherigen Lizenz ist die Nutzung sowohl für Forschungs- als auch kommerzielle Zwecke möglich
  • Drei Modelle
    • CodeLlama-70B
    • CodeLlama-70B-Python
    • CodeLlama-70B-Instruct
  • Jetzt in vier Größen verfügbar: 7B/13B/34B/70B

Verwandte Beiträge

4 Kommentare

 
ragingwind 2024-01-30

Wenn es sich lokal auf einem M2 Max oder höher ausführen lässt, wäre es wohl das beste Spielzeug.
 
xguru 2024-01-30

Quantisiert läuft es vermutlich ganz gut. Wenn man noch ein bisschen wartet, kommt es vielleicht heraus, oder?
 
xguru 2024-01-30

Der obige Link ist zwar ein Link, um bei Meta Zugang anzufragen, aber auf Hugging Face ist bereits alles vollständig veröffentlicht. https://huggingface.co/codellama
 
GN⁺ 2024-01-30
Hacker-News-Kommentare
  • Ein Entwickler hat das JetBrains-Plugin CodeGPT erstellt, das lokal ausgeführt werden kann. Das Plugin ist hier zu finden.
  • Das Modell ist auf Hugging Face verfügbar: CodeLlama-70b-hf.
  • Ein Nutzer, der ChatGPT und GitHub Copilot verwendet, fragt sich, wie sich solche Modelle in VS Code nutzen lassen. Es gibt viele GPT-Erweiterungen für VS Code, aber die meisten werden nicht mehr aktualisiert oder führen zu kostenpflichtigen Plänen, weshalb er es für besser hält, weiterhin GitHub Copilot zu verwenden.
  • Meta verdient Anerkennung für sein starkes Engagement für Open-Source-Machine-Learning.
  • Wenn man sieht, wie gut kleine Code-Modelle sind, fragt man sich, welche Fähigkeiten dieses 70B-Modell zeigen wird.
  • Viele Leute erwähnen die 4090 und die Nutzung kleiner Modelle, aber eine Analyse des Energieverbrauchs sieht man nur selten. Es wird vermutet, dass Microsoft Copilot stark subventioniert, und wenn man Copilot 30 % des Tages nutzt, wäre interessant zu wissen, wie viele kWh ein 7B- oder 13B-Modell auf einer 4090 pro Monat verbraucht und wie hoch die Energiekosten wären.
  • Jemand fragt sich, was derzeit das beste lokale Copilot-Modell ist und ob es eine Erweiterung für vscode gibt, die eine ähnliche Erfahrung bietet. Mit einer 4090 sollte es möglich sein, eine beachtliche Zahl an Modellen auszuführen.
  • Baptiste Roziere hat kürzlich einen hervorragenden Vortrag über Code Llama gehalten; er ist hier zu sehen.
  • Es wäre interessant, wenn sich das lokal auf Geräten wie einem M2 Max ausführen ließe und über ein IDE-Plugin Copilot-ähnliche Funktionen bieten würde. Das könnte Zeit sparen, etwa beim Lösen langweiliger Probleme im Projekt oder beim Schreiben von "Boilerplate"-Code, sodass man sich stärker auf schwierigere Software-Engineering-Aufgaben konzentrieren kann.
  • Wahrscheinlich verfügt der durchschnittliche Programmierer nicht über die Hardware, um das mit der nötigen Geschwindigkeit auszuführen, daher ist nicht ganz klar, an wen sich dieses Plugin richtet. Trotzdem ist es eine coole Funktion.