Lance – modernes spaltenorientiertes Datenformat, optimiert für ML-Workflows

• Lässt sich mit zwei Zeilen Code aus Parquet konvertieren und unterstützt 100-mal schnelleren Random Access, Vektorindex/-suche und Datenversionierung
• Kompatibel mit pandas, duckdb, polars, pyarrow usw.
• Zero-Copy, automatische Versionierung
• Optimale Einsatzgebiete
  • Aufbau von Suchmaschinen und Feature Stores
  • Training großer ML-Modelle, die hochperformantes I/O und Shuffle benötigen
  • Speichern/Abfragen/Untersuchen komplex verschachtelter Daten wie in der Robotik oder großer Blobs (Bilder, Point Clouds, ..)