Meta stellt die innovative AI-Modellarchitektur Megabyte vor

• Skalierbar, um effizienter und paralleler zu verarbeiten als die Transformer-Architektur, die von Modellen wie GPT-4 verwendet wird
• Transformer eignen sich für kurze Sequenzen, lassen sich aber nur schwer auf lange Tokenfolgen mit mehr als 1 Million Tokens erweitern, etwa bei hochauflösenden Bildern, Podcasts, Code oder Büchern
• Megabyte ist eine Multi-Scale-Decoder-Architektur, die Sequenzen mit mehr als 1 Million Tokens modellieren kann
  • Eingabe- und Ausgabesequenzen werden nicht in einzelne Tokens, sondern in "Patches" aufgeteilt
  • Ein lokales AI-Modell erzeugt Ergebnisse für jeden Patch, während ein globales Modell diese Patches verwaltet und koordiniert
• In Tests erzeugte das Megabyte-Modell mit 1,5 Milliarden (1.5B) Parametern Sequenzen 40 % schneller als ein Transformer-Modell mit 350 Millionen (350M) Parametern
• Testergebnisse zeigen, dass Megabyte mit bis zu 1.2M Tokens die 32.000 Tokens von GPT-4 und die 100.000 Tokens von Claude deutlich übertrifft

[ninebow]

Der folgende einführende Beitrag zu Megabyte, verfasst vom KI-Infrastruktur- und Tool-Startup ENCORD, wurde mit Genehmigung wie folgt übersetzt. :)

https://discuss.pytorch.kr/t/…

[cosine20]

Wie auch im Haupttext erwähnt, hier ist der Link zum Paper: https://arxiv.org/abs/2305.07185