Architekturverbesserungen für eine verzögerungsfreie Echtzeit-Datenpipeline

 (engineering.ab180.co)
17 Punkte von toughrogrammer 2021-11-11 | 2 Kommentare | Auf WhatsApp teilen

Ein Bericht über die Beziehung zwischen Kafka Consumer Group und der Anzahl der Partitionen, die daraus entstehenden Schwierigkeiten beim Auto Scaling und die Einführung einer neuen Architektur zu deren Lösung.

  • Einführung in den Airbridge-Service und die Workload

  • Probleme der bestehenden Architektur

  • Vorschlag für eine neue Architektur

    • Option 1: ein Driver-Executor-Modell wie bei Spark Streaming

    • Option 2: ein entkoppeltes Modell aus Kafka Consumer und Application Server

  • Warum Option 2 gewählt wurde

  • Die Architektur des entkoppelten Modells aus Kafka Consumer und Application Server

  • Überlegungen zur neuen Architektur

  • Erlebte Schwierigkeiten

  • Ergebnisse nach der Einführung der neuen Architektur

  • Was künftig noch ausprobiert werden sollte

Verwandte Beiträge

2 Kommentare

 
lamanus 2021-11-11

Wow … ich nutze auch ECS, aber in diesem Ausmaß habe ich mir darüber noch keine Gedanken gemacht. Wirklich gut.
 
lamanus 2021-11-11

Beim Einsatz von envoy war die Anfrage, den Traffic zwischen den AZs zu reduzieren, offenbar im Status „holding“.

https://github.com/aws/aws-app-mesh-roadmap/issues/94