YTsaurus – Open-Source-Speicher- und Verarbeitungssystem im Exabyte-Maßstab

• Open-Source-Plattform für verteilte Speicherung und Verarbeitung von Big Data, veröffentlicht von Yandex
  • Anwendungsfälle: Batch-Verarbeitung, Ad-hoc-Analysen, OLTP, Machine Learning, Metadaten-Speicher, ETL-Pipelines
• Multi-Tenant-Ökosystem
• Zuverlässigkeit und Sicherheit: Kein SPOF. Automatisierte Replikation zwischen Servern. Updates ohne Verlust des Fortschritts
• Skalierbarkeit
  • Skalierbar bis zu 1 Million CPU-Kerne und mehrere Tausend GPUs
  • Unterstützung für mehr als 10.000 Nodes. Automatisches Hoch- und Herunterskalieren von Servern
  • Unterstützung verschiedener Speichermedien bis hin zu Exabyte-Daten
• Umfangreiche Funktionen
  • Umfassendes MapReduce-Modell
  • Verteilte ACID-Transaktionen
  • Verschiedene SDKs (C++, Python, Java, Go) und APIs
  • Sichere Isolierung von Compute-Ressourcen und Storage
  • Benutzerfreundliche UI
• CHYT powered by ClickHouse
  • Vertrauter SQL-Dialekt und ähnliche Funktionen
  • Schnelle analytische Abfragen
  • Integration mit beliebten BI-Lösungen (JDBC/ODBC)
• SPYT powered by Apache Spark
  • Tools zum Erstellen von ETL-Prozessen
  • Unterstützung mehrerer unabhängiger Cluster in verschiedenen Größen
  • Einfache Migration bestehender Lösungen

[xguru]

Ein einführender Artikel zur Geschichte von Open Source selbst und zu den intern eingesetzten Technologien: YTsaurus: Exabyte-Scale Storage and Processing System Is Now Open Source

• Die Entwicklung läuft demnach seit fast 10 Jahren.
• Ab 2006 wurde MapReduce verwendet, 2009 stieß man an Grenzen, und ab 2010 begann das YT-Projekt.
• Cypress (Storage) + MapReduce + dynamische K-V-Tabellen + YQL + CHYT + SPYT
• Der wichtigste Server-Code ist in C++