Procella – die Datenbank-Engine von YouTube

Ein Erläuterungsartikel zu dem kürzlich von Google veröffentlichten Paper "Procella: Unifying serving and analytical data at YouTube"

• Google verfügt bereits über Dremel (BigQuery), Mesa, Photon, F1, PowerDrill und Spanner, aber diese passen nicht gut zu YouTube.

• Procella bietet eine SQL-Schnittstelle für die verschiedenen Nicht-OLTP-Aufgaben von YouTube.

• Es funktioniert ähnlich wie Presto und nutzt Borg (den Vorläufer von Kubernetes) sowie Colossus (die neue Version von GFS).

• Die Daten werden spaltenbasiert gespeichert, und dafür wird ein Columnar-Format namens "Artus" vorgestellt.

• Es werden Standard-SQL-Anweisungen wie CREATE und ALTER verwendet.

Aus Sicht des Autors ist Procella zwar Presto ähnlich, aber da Presto auf Java basiert, hätte es wohl nicht gut zu Google gepasst, wo viel Infrastruktur in C++ geschrieben ist …