Meta beginnt bereits mit der Arbeit an Llama 4. Benötigte Rechenleistung ist 10-mal höher als bei Llama 3

• In der Earnings Call für Q2 2024 von Mark Zuckerberg erwähnt
• Llama 3 konkurriert bereits mit den fortschrittlichsten Modellen, und die Entwicklung von Llama 4 hat bereits begonnen
  • Ziel ist es, im nächsten Jahr zur absoluten Spitzengruppe der Branche zu gehören
• Es werden Pläne für die in den kommenden Jahren benötigten Compute-Cluster und Daten erstellt
  • Die für das Training von Llama 4 benötigte Rechenleistung wird voraussichtlich fast 10-mal so hoch sein wie bei Llama 3, und bei künftigen Modellen weiter darüber hinaus steigen
  • Es ist schwer vorherzusagen, wie sich dieser Trend fortsetzen wird, aber angesichts der langen Vorlaufzeiten für die Inbetriebnahme neuer Infrastrukturprojekte hält man es derzeit für besser, Kapazitäten aufzubauen, bevor sie benötigt werden, statt zu spät zu sein
  • Während diese Investitionen ausgeweitet werden, soll zugleich die operative Effizienz im gesamten Unternehmen erhalten bleiben

[brainer]

Ich denke, es ist nicht besonders überraschend, weil sich die Computing-Ressourcen im Deep Learning ursprünglich im Durchschnitt alle zwei Jahre verzehnfacht haben.