Apache SeaTunnel – Verteilte, hochperformante Plattform für Datenintegration

• Plattform zur Synchronisierung und Transformation großer Datenmengen, offline oder in Echtzeit

• Apache-Inkubator-Projekt (früherer Name: Waterdrop)

• Einfach zu verwenden, flexibel konfigurierbar, Low-Code-Entwicklung

• Unterstützung für Echtzeit-Streaming

• Offline-Datenanalyse aus mehreren Quellen

• Hochperformante Datenverarbeitung

• Datenaggregation und -verarbeitung mit SQL möglich

• Unterstützung für Spark Structured Streaming

• Unterstützung für Spark 2.x

• Unterstützte Plugins

→ Input : Fake, File, Hdfs, Kafka, S3, Socket,..

→ Filter : Add, Checksum, Convert, Date, Drop, Grok, Json, Kv, Lowercase, Remove, Rename, Repartition, Replace, Sample, Split, Sql, Table, Truncate, Uppercase, Uuid,..

→ Output : ElasticSearch, File, Hdfs, Jdbc, Kafka, Mysql, S3, Stdout,..