‚Inferact‘, von den Machern von vLLM gegründet, erhält 150 Millionen Dollar Seed-Finanzierung zur Kommerzialisierung der Open-Source-Inference-Engine

Zusammenfassung:

• Das von den Machern der Open-Source-LLM-Inference-Engine vLLM gegründete Startup ‚Inferact‘ hat eine Seed-Finanzierung in Höhe von 150 Millionen US-Dollar (rund 210 Milliarden Won) erhalten und wird dabei mit 800 Millionen US-Dollar bewertet.
• Die Finanzierungsrunde wurde von a16z und Lightspeed angeführt. Das Kapital soll für den Aufbau einer Enterprise-tauglichen AI-Inference-Plattform auf Basis von vLLM sowie für die Ausweitung der Kommerzialisierung eingesetzt werden.
• Inferact will eine leistungsstarke und kostengünstige Inference-Infrastruktur bereitstellen, damit Unternehmen Large Language Models (LLMs) effizient in unterschiedlichen Hardware-Umgebungen bereitstellen und betreiben können.

Ausführliche Zusammenfassung:
Die große Seed-Finanzierung von Inferact zeigt, dass die Effizienzsteigerung in der AI-Infrastruktur, insbesondere in der Phase der „Inference“, derzeit eine der zentralen Aufgaben des AI-Markts ist.

1. Die Beziehung zwischen Inferact und vLLM

   • Inferact ist ein Unternehmen, das von den zentralen Entwicklern des Projekts vLLM gegründet wurde, das derzeit zu den am weitesten verbreiteten Open-Source-LLM-Serving-Engines gehört. Geführt wird es von CEO Simon Mo.
   • vLLM hat mit dem Algorithmus „PagedAttention“ Speicherengpässe gelöst und bietet im Vergleich zu bestehenden Lösungen einen hohen Durchsatz (Throughput), wodurch es sich unter Entwicklern als De-facto-Standard etabliert hat.

2. Umfang und Hintergrund der Finanzierung

   • 150 Millionen US-Dollar (Seed Round): Ein außergewöhnliches Volumen, das weit über eine typische Seed-Phase hinausgeht und die explosive Marktnachfrage nach Kostensenkung und Performance-Optimierung bei AI-Inference widerspiegelt.
   • Bewertung von 800 Millionen US-Dollar: Obwohl sich das Produkt noch vor der eigentlichen breiten Kommerzialisierung befindet, wurden der bestehende Einfluss von vLLM und sein technischer Burggraben (Moat) hoch bewertet.
   • Wichtige Investoren: Die Finanzierungsrunde wurde von den führenden Silicon-Valley-Venture-Capital-Firmen Andreessen Horowitz (a16z) und Lightspeed Venture Partners angeführt.

3. Technische Ziele und Roadmap

   • Enterprise-Kommerzialisierung: Auf Basis des Open-Source-Projekts vLLM soll eine kommerzielle Plattform für Unternehmensumgebungen aufgebaut werden, einschließlich Managed Services, Sicherheit und technischem Support.
   • Ausweitung der Hardware-Kompatibilität: Geplant ist, die Unterstützung über NVIDIA-GPUs hinaus auf verschiedene Hardware-Beschleuniger wie AMD und AWS Inferentia auszuweiten, um dort optimale Leistung zu ermöglichen.
   • Optimierung der Inference-Kosten: Ähnlich wie Unternehmen wie Stripe ihre Inference-Kosten mit vLLM-ähnlichen Frameworks bereits um mehr als 70 % gesenkt haben, will Inferact Unternehmen helfen, LLMs günstiger und schneller bereitzustellen.

4. Auswirkungen auf das Entwickler-Ökosystem

   • Die Nachhaltigkeit des Open-Source-Projekts vLLM wird gestärkt, und zugleich entsteht für Organisationen mit Bedarf an Enterprise-Funktionen eine klare kostenpflichtige Option.
   • Durch die Abstraktion komplexer Modelloptimierungsprozesse dürfte ein Umfeld entstehen, in dem sich ML-Ingenieure stärker auf die Entwicklung von Modellanwendungen statt auf Infrastrukturmanagement konzentrieren können.