Fly.io hat jetzt GPUs

 (fly.io)
1 Punkte von GN⁺ 2024-02-14 | 1 Kommentare | Auf WhatsApp teilen

KI ist wirklich cool

  • Fly.io ist ein neuer Public-Cloud-Dienst, der Rechenleistung in die Nähe der Nutzer bringen kann.
  • Jetzt lassen sich mit GPUs KI-Workloads in Edge-Computing-Umgebungen verarbeiten.
  • Fly.io ermöglicht es, Full-Stack-Apps oder auf der Fly Machines API basierende Entwicklungsplattformen in der Nähe der Nutzer auszuführen.

Praxisbeispiele für den Einsatz von Fly.io-GPUs

  • Auf dem Cloud-Backbone von Fly.io kann man eigenen Code und bevorzugte Modelle deployen.
  • Mit Fly.io-GPUs lässt sich eine GPU-App, die Ollama (die Freunde aus der Textgenerierung) ausführt, in zwei Schritten einfach starten.
  • Man kann die App deployen, indem man Einstellungen zu fly.toml hinzufügt und den Befehl fly apps create sandwich_ai && fly deploy ausführt.

Die Lichtgeschwindigkeit hat ihre Grenzen

  • GPUs schnell hochzufahren ist gut, aber Fly.io zeigt seine Stärken vor allem bei Inferenz am Edge.
  • Ein Beispiel ist eine App, bei der Nutzer Zutaten aus ihrer Küche eingeben und sofort ein Sandwich-Rezept erhalten.
  • Fly.io verfügt über GPUs in Rechenzentren weltweit und ermöglicht es, dasselbe Programm in jeder Region mit GPU-Unterstützung auszuführen.

Nur dann, wenn man sie wirklich braucht

  • GPUs sind leistungsstarke Parallelverarbeitungsgeräte, aber nicht billig.
  • Durch Hinzufügen eines services-Abschnitts in der Datei fly.toml kann festgelegt werden, wie die App hoch- und herunterskaliert.
  • So lässt sich einstellen, dass keine GPU-Kosten anfallen, wenn Nutzer keine Sandwich-Rezepte anfordern.

Details

  • Es werden GPUs angeboten, die in mehreren Regionen in den USA, in Europa und in Sydney verfügbar sind.
  • Es gibt verschiedene GPU-Optionen und Preise; standardmäßig kommen bei jedem Deployment acht AMD-EPYC-CPU-Kerne zum Einsatz.
  • Volumes von bis zu 500 GB können angebunden werden, außerdem gibt es Rabatte für reservierte Instanzen und dedizierte Hosts.

GN⁺-Meinung:

  • Fly.io bietet einen innovativen Cloud-Dienst, der KI-Workloads in Edge-Computing-Umgebungen verarbeiten kann und auf die Verbesserung der Nutzererfahrung ausgerichtet ist.
  • Der GPU-basierte Dienst bietet eine Lösung, die sowohl schnelle Inferenz als auch Kosteneffizienz berücksichtigt, und eignet sich besonders für Anwendungen, die in Echtzeit hohe Rechenleistung benötigen.
  • Dieser Dienst erhöht die Zugänglichkeit von KI-Technologie und ist eine sehr interessante und nützliche Entwicklung, da er Entwicklern helfen kann, neue innovative Anwendungen zu schaffen.

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2024-02-14
Hacker-News-Kommentare
  • Ein Nutzer äußert Enttäuschung über die grundlegenden Funktionen von Fly. Er kritisiert unter anderem, dass das Support-Team Probleme in der internen Plattform nicht erkennen könne und dass Fehlermeldungen vage seien oder ganz fehlten. Für Menschen, die Fly aus Angst vor oder Unkenntnis über Kubernetes nutzen, könne es attraktiv sein, aber er selbst vermisse Kubernetes.
  • Ein Developer-Relations-Mitarbeiter von Fly.io stellt vor, dass GPUs nun für allgemeine Nutzer freigeschaltet wurden und dass Nutzer damit experimentieren können. Außerdem teilt er einen Link zu einem Blogpost über GPUs und ermutigt dazu, Fragen zu stellen.
  • Ein anderer Nutzer erwähnt, dass Fly Firecracker zum Ausführen von VMs verwendet, und weist darauf hin, dass Firecracker standardmäßig keine GPUs unterstützt. Er fragt sich, wie Fly die GPU-Unterstützung umgesetzt hat, und hofft auf einen technischen Beitrag dazu.
  • Ein Nutzer lobt die Funktion von Fly, auf 0 zu skalieren, und erwähnt, dass sich damit beim Betrieb experimenteller Websites mit fast keinen Nutzern Serverkosten sparen lassen. Er wünscht sich ein Beispiel für die Abrechnungszeit pro Anfrage.
  • Ein Nutzer bedauert, dass es bei Fly keinen Ersatz für S3 gibt. Er nennt ein GNU-Affero-Projekt als Alternative, hat aber das Gefühl, dass es für Unternehmen nicht geeignet ist. Er mag die Einfachheit, das Preis-Leistungs-Verhältnis und das integrierte VPN von Fly, aber dass er Fly verlassen muss, um Nutzer-Assets zu speichern, ist für ihn der entscheidende Grund, Fly im nächsten Projekt nicht zu verwenden.
  • Ein Nutzer fragt sich, was genau der Zielmarkt von Fly ist. Er stellt infrage, ob kleine oder noch nicht validierte Apps gemeint sind, die AI-Modelle ausführen müssen, aber keinen Hosting-Service nutzen, oder ob ein anderer Zweck dahintersteht.
  • Ein Nutzer fragt nach Erfahrungen mit der Performance von Fly und hat den ersten Eindruck, dass es teuer ist. Als Beispiel vergleicht er es mit CPU-Maschinen von Hetzner.
  • Ein Nutzer fragt, ob jemand Erfahrung mit einem Vergleich zwischen Beam.Cloud und Fly hat.
  • Ein Nutzer erwähnt, wie interessant es wäre, wenn das Herunterskalieren auf 0 schnell genug sei, und fragt, wie schnell das tatsächlich ist.
  • Ein Nutzer fragt sich, ob Fly die von replicate verwendeten cog-Dateien ausführen kann und ob sich vorverpackte Modelle mit derselben Prediction-API ausführen lassen. Wegen replicate könnte er zögern, aber wenn Fly das übernehmen würde, wäre die Erfahrung aus seiner Sicht deutlich nahtloser.