ExecuTorch Alpha: Unterstützung für die Bereitstellung großer Sprachmodelle und KI am Edge durch Zusammenarbeit mit der Community

• PyTorch stellt ExecuTorch Alpha vor, das sich auf die Bereitstellung großer Sprachmodelle (LLMs) und großer ML-Modelle auf Edge-Geräten, die Stabilisierung der API und die Verbesserung des Installationsprozesses konzentriert.

• ExecuTorch Alpha bietet Unterstützung für Metas Llama 2 und frühe Unterstützung für Llama 3, sodass sich diese LLMs effizient auf Edge-Geräten wie iPhones, Samsung-Galaxy-Smartphones und ähnlichen Geräten ausführen lassen.

• Um die Leistung auf ressourcenbeschränkten Edge-Geräten zu optimieren, verwendet ExecuTorch Alpha Quantisierungstechniken und nutzt die Unterstützung dynamischer Shapes in XNNPack sowie neue dtypes für eine breite Unterstützung von CPU-Geräten.

• Das ExecuTorch SDK bietet verbesserte Debugging- und Profiling-Tools, mit denen Entwickler Operator-Knoten wieder dem ursprünglichen Python-Quellcode zuordnen können, um Probleme effizient zu analysieren und die Performance zu optimieren.

• Die Zusammenarbeit mit Partnern wie Arm, Apple, Qualcomm Technologies, Google, Unity und Meta spielte eine wichtige Rolle bei der Weiterentwicklung von ExecuTorch, das Meta bereits für Hand-Tracking und verschiedene Modelle auf Geräten einsetzt.