gpudeploy - Airbnb für GPUs

GPU-Marktplatz

• GPU Deploy bietet einen kostengünstigen On-Demand-GPU-Service für Machine Learning und KI.
• Es ist für ML-Arbeiten vorkonfiguriert, sodass GPU-Instanzen sofort gestartet werden können.

Verfügbare GPU-Spezifikationen und Preise

• Unterstützt verschiedene GPU-Modelle wie Nvidia H100, A100, GeForce RTX 4090/3060 und Quadro RTX 6000.
• Der GPU-Speicher reicht von 11 GB bis 640 GB.
• Die Anzahl der CUDA-Kerne liegt zwischen 3.584 und 116.736.
• Es stehen 16 bis 242 vCPUs zur Auswahl.
• Die Stundensätze liegen zwischen $0.06 und $26.55 (ohne Umsatzsteuer; der tatsächliche Preis ist meist günstiger).

Vorschlag zur Nutzung ungenutzter GPUs

• Wenn Sie ungenutzte GPUs haben, können Sie über GPU Deploy Rechenressourcen bereitstellen.
  • Als Betreiber eines GPU-Clusters können Sie ungenutzte Rechenressourcen vermieten.
  • Als KI-Unternehmen können Sie ebenfalls ungenutzte Rechenressourcen vermieten.
  • Auch Privatpersonen können teilnehmen, auch wenn sie nur eigene GPUs besitzen.

GN⁺-Meinung

• On-Demand-GPU-Kosten sind oft sehr hoch, daher wirkt dieser Dienst attraktiv, weil man bei Bedarf preisgünstig darauf zugreifen kann.
• Bei langfristiger Nutzung kann der direkte Aufbau eigener GPU-Server jedoch deutlich kostengünstiger sein.
• Für Privatpersonen oder kleine und mittlere Unternehmen kann das eine brauchbare Option sein, um GPU-Ressourcen zu nutzen.
• Aus Unternehmersicht lohnt es sich, den Einsatz unter Berücksichtigung von Investitions- und Betriebskosten für GPU-Server kurzfristig und langfristig zu prüfen.
• Vergleichbare GPU-Anbieter sind AWS, GCP und MS Azure; deren angebotene GPU-Spezifikationen und Preispolitiken sollten sorgfältig verglichen werden.
• Die Nutzung ungenutzter GPUs ist ein interessantes Konzept, kann jedoch in Bezug auf Sicherheit und Ressourcenverwaltung Bedenken hervorrufen.

[GN⁺]

Hacker News Kommentar

• Worauf man achten sollte, wenn man GPU-Ressourcen an Dritte bereitstellt:
  • Datenschutzprobleme - ein Angreifer könnte einen GPU-Honeypot installieren und Daten sammeln
  • Gefälschte GPU-Berechnungen - ein Angreifer könnte Fake-GPUs verwenden und Dummy-Daten senden, um den Rechenaufwand zu reduzieren
  • Defekte GPUs - ohne böswillige Absicht, aber eine defekte GPU kann falsche Ergebnisse liefern
• Es ist seltsam, dass man den Nutzungsbedingungen und der Datenschutzrichtlinie zustimmen muss, der Link aber auf eine leere Seite führt
• Die Grundidee ist gut. Es ist ein ähnliches Konzept wie ein „Airbnb für GPUs“ wie bei Vast.ai, aber ich frage mich, was dieses Projekt besser oder anders macht
• Meiner Meinung nach ist "GPU-on-Demand-Provisionierung" verständlicher als "Airbnb für GPUs"
• Gute Idee, viel Glück! Das Kryptoprojekt Akash Network wirkt beeindruckend, da es Nachfrage und legitime Anwendungsfälle gibt
• Ich verstehe nicht den Punkt, dass Stability AI angeblich zu viel Hardware provisioniert hat. Ich denke, dass man einfach vom KI-Hype geblendet wurde
• Tolle Idee! Wie wird die Sicherheit für Provider gewährleistet? Wenn man einen GPU-Cluster mietet, welche Zugriffsrechte bekommt der Mieter? Werden nur GPU-Kernel übertragen oder gibt es auch eingeschränkten Nutzerzugriff? Haben Sie darüber nachgedacht, diese in ein privates Netzwerk einzubinden, um eine reibungslose Erfahrung zu bieten, ohne dass der Betreiber Router-Ports öffnen muss?
• Wenn ihr die Preise wissen wollt, schaut euch GPUMonger.com an. Dieser Service wirkt wie ein deutlich ausgereifterer und echterer Service, aber wenn ihr nur den Preisvergleich wollt, ist GPUMonger die richtige Wahl
• Als Softwarelösung für Hardware-Probleme gibt es viele solcher Firmen. Der Großteil der verfügbaren Rechenleistung scheint bereits vergeben zu sein, daher braucht es wahrscheinlich mehr Anbieter. Warum investiert Y Combinator in mehrere ähnliche Firmen? Shadeform.ai ist noch ein weiteres Beispiel
• Einige Gedanken:
  • Im Quellcode des Installationsskripts sieht man, dass es nicht mit set -e startet, wodurch es zu einer unvollständigen Installation kommen kann
  • Ich weiß nicht, was das Installieren der instance-server-Binary macht. Kann ich darauf in meinem Server-/Netzwerksetup vertrauen?
  • Es ist NVIDIA-only, daher werden AMD-GPUs vermutlich vorerst nicht unterstützt
  • Es wirkt wie ein MVP. Wir werden sehen, wie es sich im Laufe der Zeit entwickelt
• Wie viel kann man wohl erhalten, wenn eine RTX 4090 im Leerlauf ist?