Replit Code – Open-Source-LLM zur Codegenerierung, in nur 10 Tagen trainiert

• Replit hat ein neues LLM zur Codegenerierung als Open Source mit kommerzieller Nutzungsmöglichkeit veröffentlicht.
• Mit 2,7B Parametern ist es leichtgewichtig und schnell, und das Training wurde in nur 10 Tagen abgeschlossen.
• Im Vergleich zu Modellen derselben Klasse bietet es eine Leistungssteigerung von 40 %, und das feinabgestimmte Modell ist leistungsfähiger als Codex.
• Es wurde mit dem Datensatz The Stack trainiert und kann über 20 Sprachen generieren.
• Eine Demo kann direkt auf Hugging Face genutzt werden.

[kuroneko]

In letzter Zeit scheint die Zahl der Open-Source-LLMs, die kommerziell genutzt werden können, stark zuzunehmen. Ob das wohl durch LLaMA ausgelöst wurde ...

Und mir gefällt, dass die Leistung im Verhältnis zur Modellgröße deutlich besser geworden ist.
Ich denke, das ist inzwischen ein Niveau, auf dem man so etwas lokal auf einem gewöhnlichen Entwicklungsrechner ohne GPU laufen lassen könnte.

[kuroneko]

• Demo
• Podcast
• Veröffentlichter Tweet
• Repository
• HN-Thread