MPT-7B, ein kommerziell nutzbares Open-Source-LLM

• Ein Transformer, der mit 1 Billion Tokens trainiert wurde
• Ähnliche Qualität wie LLaMA-7B, aber Open Source und kommerziell nutzbar
• Zusätzlich wurden drei Fine-Tuning-Modelle veröffentlicht
  • MPT-7B-Instruct, MPT-7B-Chat, MPT-7B-StoryWriter-65K+ (unterstützt 65K Tokens)
• Wurde auf der MosaicML-Plattform in 9,5 Tagen zu Kosten von etwa ~$200K trainiert; es ist möglich, eigene MPT-Modelle zu trainieren, feinzujustieren und zu deployen
• MPT: Mosaic Pretrained Transformers

[kuroneko]

Wenn man sieht, wie derzeit unglaublich viele Open-Source-LLM-Modelle erscheinen, die kommerziell genutzt werden können,
wirkt es so, als würden sie darum konkurrieren, das Stable Diffusion der LLM-Welt zu werden.

Ich bin gespannt, wer am Ende als Sieger hervorgeht. +_+

[xguru]

Ich denke, es ist eine gute Alternative, zunächst die Entwicklung mit ChatGPT durchzuführen und später auf das am weitesten fortgeschrittene Open-Source-Modell umzusteigen.