- Zielt auf ein Framework ab, das Stream Processing / Batch Processing / High-Performance-Computing-(AI)-Workloads integriert verarbeitet
- Bietet derzeit eine Drop-in-Ersatzlösung für Spark SQL und die Spark-DataFrame-API (kompatibel)
- Kann auf einer einzelnen Maschine oder in einer verteilten Konfiguration betrieben werden
- Im TPC-H-Benchmark 4-mal schneller als Spark, senkt die Hardwarekosten um 94 % und erfordert keine Codeänderungen
- Als Python-Paket verfügbar:
pip install "pysail==0.2.0.dev0"
- Technologie-Stack
- Rust-basierte Engine, aufgebaut auf Apache Arrow und Apache DataFusion
- Die Spark-Connect-Protokoll wird verwendet, damit die Spark-Sitzung mit dem Sail-Server kommuniziert
Noch keine Kommentare.