Praxisbeispiel für den Einsatz von Serverless in der Airbridge Data Pipeline

• Intro
• Hintergrund für die Einführung von Serverless-Technologien in der Data Pipeline: Auf der Suche nach einer Umgebung, in der sich Code in kürzeren Intervallen als stündlich ausführen lässt, entschied man sich für den Einsatz von Serverless-Technologien
• Unpraktische Lambda-Deployment-Umgebung: Bei der Nutzung von Terraform für IaC war nicht nur die Menge des zu schreibenden Codes groß und damit unpraktisch, auch Lambda Packaging und Ähnliches waren umständlich
• Einführung des Serverless Framework: Lässt sich mit wenig Code gut konfigurieren und betreiben, außerdem sind Build und Test einfach
  • Nachteil: Es gibt keine Möglichkeit, den Plan einzusehen, und die Unannehmlichkeiten von CloudFormation bleiben bestehen
  • Fazit: Das Serverless Framework hat deutlich mehr Vorteile als Nachteile und soll daher auch künftig weiter genutzt werden. Tatsächlich gibt es mehr Probleme mit der Lambda-Umgebung als mit dem Serverless Framework selbst.
• Anwendungsbeispiele
  • Beispiel 1: Kafka Connect Manager
  • Beispiel 2: Ausführung von Batch-Jobs
• Fazit