Posits, eine neue Art von Zahlen zur Verbesserung der Mathematik von KI

• Das Training großer neuronaler Netze erfordert enorme Rechenleistung
  • Bei OpenAIs GPT-3 kostete allein das Training mehr als etwa $5m
• Ingenieure haben andere Möglichkeiten entwickelt, Zahlen darzustellen, um diese Kostenbelastung zu senken
• Posits, 2017 vorgeschlagen, sind eine Verbesserung gegenüber den heute verwendeten Prozessoren für Gleitkommaarithmetik
• Der erste Core, der dies in Hardware implementiert, wurde entwickelt. Gegenüber dem heutigen FP-Ansatz steigt die Genauigkeit von Rechenoperationen um bis zum Vierfachen

  Da das Moore'sche Gesetz nicht mehr richtig zu gelten scheint, müssen wir Wege finden, auf derselben Maschine mehr Leistung zu erzielen
  Einer dieser Wege besteht darin, die Art zu verändern, wie reelle Zahlen kodiert werden und wie tatsächliche Zahlen dargestellt werden

• Dies ist nicht der einzige Ort, an dem versucht wird, Zahlenformate zu verändern. Vor Kurzem einigten sich Nvidia, Arm und Intel darauf, für Machine-Learning-Anwendungen statt 32-/16-Bit 8-Bit-Gleitkommazahlen zu verwenden
  • Kleinere und ungenauere Formate verbessern Effizienz und Speichernutzung, gehen jedoch auf Kosten der Rechengenauigkeit
• Reelle Zahlen sind unendlich, daher kann Hardware sie nicht perfekt darstellen
• Um in eine festgelegte Bitzahl zu passen, müssen viele reelle Zahlen gerundet werden
• Der Vorteil von Posits ergibt sich aus der Art, wie die Zahlen, die exakt dargestellt werden sollen, entlang der Zahlengeraden verteilt sind
  ( Für die tatsächliche Verteilung der Posits siehe bitte die Abbildung im Artikel. )
• Die dadurch erzielte Genauigkeitsverbesserung ist unbestreitbar, aber welchen genauen Einfluss dies auf das Training großer KI-Systeme wie GPT-3 haben wird, bleibt abzuwarten