vLLM PagedAttention: eine Revolution für den Durchsatz bei der LLM-Inferenz

Siehe die ausführliche Beschreibung unter URL-Link. Dies ist eine Zusammenfassung.

Die zentrale Herausforderung beim Serving von LLMs (Large Language Models) besteht darin, den KV-Cache (Key-Value Cache)-Speicher effizient zu verwalten. Bestehende Systeme waren durch das Problem der Speicherfragmentierung eingeschränkt, was zu einer geringeren GPU-Auslastung und begrenztem Durchsatz führte.

vLLM löst dieses Problem mit dem PagedAttention-Algorithmus, der von virtuellem Speicher und Paging in Betriebssystemen inspiriert ist. PagedAttention verwaltet den KV-Cache, indem er ihn in physisch nicht zusammenhängende „Blöcke“ aufteilt, wodurch Speicherverschwendung drastisch reduziert und eine flexible Speicherzuweisung ermöglicht wird.

Auf Basis dieses PagedAttention implementiert vLLM die folgenden Kerntechnologien, um die Inferenzleistung zu maximieren.

• Continuous Batching: Anfragen werden unmittelbar nach ihrem Eintreffen dem Batch hinzugefügt, und abgeschlossene Sequenzen werden daraus entfernt. Dieser dynamische Ansatz minimiert Leerlaufzeiten der GPU und steigert den Durchsatz im Vergleich zu herkömmlichem statischem Batching um bis zu das 24-Fache.

• Unterstützung für fortgeschrittene Inferenzfunktionen: vLLM nutzt die Flexibilität von PagedAttention, um die folgenden erweiterten Funktionen effizient zu unterstützen.

  • Chunked Prefill: Die Prefill-Phase langer Prompts wird in mehrere Chunks aufgeteilt, damit eine einzelne Anfrage nicht das gesamte System blockiert und die Latenz anderer Anfragen verbessert wird.
  • Prefix Caching: Der KV-Cache für Prompt-Präfixe, die von mehreren Anfragen gemeinsam genutzt werden, wird ohne Neuberechnung geteilt, wodurch redundante Berechnungen entfallen.
  • Guided and Speculative Decoding: Unterstützt Verfahren, die die Ausgabe auf ein bestimmtes Format (z. B. JSON) festlegen, oder die Generierung mithilfe eines kleineren Draft-Modells beschleunigen.
  • Disaggregated Prefill/Decoding: Die rechenintensive Prefill-Phase und die speicherbandbreitenintensive Decoding-Phase werden auf separaten Instanzen verarbeitet, um die Ressourcennutzung zu optimieren.

Zusammengefasst beseitigt vLLM mit PagedAttention grundlegende Ineffizienzen bei der Verwaltung des KV-Caches und steigert darauf aufbauend mit Optimierungstechniken wie Continuous Batching den Durchsatz und die Leistung von LLM-Inferenzsystemen.