Intel veröffentlicht NPU-Beschleunigungsbibliothek

Intel® NPU Acceleration Library: Mehr AI-Leistung mit Intels Neural Processing Unit

• Die Intel NPU Acceleration Library ist eine Python-Bibliothek, die die Leistung von Intels Neural Processing Unit (NPU) nutzt, um die Effizienz von Anwendungen mit künstlicher Intelligenz zu steigern. Sie optimiert AI-Workloads, indem sie Computing und Datenfluss effizient steuert, die Auslastung der Recheneinheiten maximiert und Datenübertragungen minimiert, um optimale Leistung und Energieeffizienz zu erreichen.

• Die Bibliothek wurde für Intel Core Ultra Prozessoren entwickelt, die NPU, Rechenbeschleunigung und Datenübertragungsfunktionen integrieren. Zu den Merkmalen gehören eine Neural Computing Engine für AI-Operationen, eine Vector Engine mit Streaming-Hybrid-Architektur für allgemeine Rechenaufgaben sowie eine DMA-Engine für effiziente Datenübertragung.

• Zu den wichtigsten Funktionen für Entwickler gehören 8-Bit- und 4-Bit-Quantisierung, NPU-native Mixed-Precision-Inferenz, Unterstützung für Float16 und BFloat16, Unterstützung für torch.com-Dateien, die Implementierung horizontaler Fusion für LLM-MLP, statische Shape-Inferenz, MHA-NPU-Inferenz sowie heterogenes Computing mit NPU/GPU.

• Um die Bibliothek zu verwenden, prüfen Sie zunächst, ob auf dem System eine verfügbare NPU vorhanden ist, und installieren Sie dann das Paket per pip. Sie ist mit Windows- und Linux-Systemen kompatibel, MacOS wird jedoch noch nicht unterstützt. Für die beste Leistung sollte der NPU-Treiber auf die neueste Version aktualisiert werden.

• Die Bibliothek bietet implementierte Beispiele und unterstützt torch.com-Dateien zur Optimierung von PyTorch-Modellen für die NPU. Außerdem stellt sie explizite Funktionen bereit, wenn eine PyTorch-Version unter 2.0.0 verwendet wird oder Modelle in einer Windows-Umgebung kompiliert werden.

[kuroneko]

Ich bin gespannt, wie viel KI-Berechnung allein mit der NPU möglich sein wird, auch ohne eine dedizierte Grafikkarte.