Cog: Ein Container-Tool für Machine Learning

• Ein Open-Source-Tool, mit dem sich Machine-Learning-Modelle produktionsreif paketieren lassen
• Erstellt auf einfache Weise Docker-Images, die bereits Best Practices wie NVIDIA-Basis-Images, Caching, Python und Standardwerte für Umgebungsvariablen enthalten
  → damit CUDA/cuDNN/PyTorch/TensorFlow/Python usw. versionskompatibel bleiben
• Erzeugt über Pydantic OpenAPI-Schemata
• Generiert anhand von Modelltypen dynamisch RESTful-HTTP-APIs mit FastAPI
• Bietet für lang laufende Deep-Learning-Modelle oder Batch-Processing Redis-basierte Queue-Worker an (weitere sollen noch hinzukommen)
• Wurde für das ML-SaaS Replicate entwickelt, kann aber auch in der eigenen Infrastruktur eingesetzt werden