[NAVER] Erfahrungsbericht zur Umstellung eines ML-GPU-Modellservers auf einen CPU-Server bei gleichbleibender Performance (feat. torchserve)

 (medium.com)
3 Punkte von ninebow 2023-07-26 | 3 Kommentare | Auf WhatsApp teilen
  • *Dieser Text ist eine automatisch mit GPT-4 erzeugte Beschreibung und kann Fehler enthalten. *
  • *Falls Sie Fehler entdecken, teilen Sie sie uns bitte in den Kommentaren mit! *

Einführung

In diesem Beitrag teilt das Naver-Place-Entwicklungsteam den Prozess der Umstellung eines ML-Modellservers von GPU auf CPU. Ziel dieser Umstellung war es, Serverkosten zu senken und den Serverbetrieb effizienter zu gestalten.

Zusammenfassung

1. Umstellung des Modellservers von GPU auf CPU

  • Das Naver-Place-Entwicklungsteam hat den Modellserver von GPU auf CPU umgestellt. Ziel war es, Serverkosten zu senken und den Serverbetrieb effizienter zu gestalten. Diese Arbeit umfasste auch, die für das Modelltraining verwendete GPU durch eine CPU zu ersetzen.

2. Architektur des Modellservers

  • Der Modellserver besteht im Wesentlichen aus drei Teilen: Modelltraining, Modellserver und Client. Das Modelltraining umfasst den Prozess, ein Modell mit einem Datensatz (dataset) zu trainieren; der Modellserver hostet das trainierte Modell, und der Client sendet Anfragen an den Modellserver und empfängt Antworten.

3. Umstellung von GPU auf CPU

  • Die Umstellung von GPU auf CPU umfasst mehrere Schritte. Zunächst wird der Trainingscode so angepasst, dass er auf der CPU ausgeführt werden kann. Anschließend wird der Modellserver so konfiguriert, dass er auf der CPU läuft. Schließlich wird der Client-Code angepasst, damit er Anfragen an den auf der CPU laufenden Modellserver senden kann.
  1. Ergebnisse nach der Umstellung
  • Nach der Umstellung konnten die Serverkosten erheblich gesenkt und der Serverbetrieb effizienter gestaltet werden. Außerdem arbeitete der auf der CPU laufende Modellserver im Vergleich zum auf der GPU laufenden Modellserver ohne Performanceverlust zuverlässig.

Referenzen

  • Naver Place Dev Blog
    • In diesem Blog teilt das Naver-Place-Entwicklungsteam verschiedene Projekte und Erfahrungen. Dort finden sich weitere Informationen zur in diesem Beitrag erwähnten Umstellung von GPU auf CPU.

Verwandte Beiträge

3 Kommentare

 
xguru 2023-07-27

Ich habe den Beitrag überarbeitet.
Wenn am Anfang des Beitrags ein Warnhinweis steht, wird in Slack/Twitter nur dieser Warnhinweis angezeigt.
Wenn möglich, bitten wir darum, am Anfang des Beitrags eine Zusammenfassung zu platzieren.
 
ninebow 2023-07-27

Ich werde in Zukunft vorsichtiger sein. Vielen Dank! :)