Skyfall, LinkedIns eBPF-Agent

 (engineering.linkedin.com)
10 Punkte von xguru 2022-10-14 | 1 Kommentare | Auf WhatsApp teilen
  • Die Infrastruktur von LinkedIn besteht aus mehreren Rechenzentren mit Hunderttausenden von Servern
  • Mit dem Wachstum der Infrastruktur wurde Observability immer wichtiger, um potenzielle Ursachen für Infrastrukturausfälle und Anomalien präzise zu identifizieren
  • Mit eBPF lassen sich gewünschte Informationen direkt extrahieren, bei minimalem Overhead
  • LinkedIn nennt seinen eBPF-Agenten Skyfall und betreibt ihn auf fast allen Servern

Skyfall

  • Sammelt mit kprobes und kretprobes Informationen zu TCP/UDP-Protokollen
    • tcp_set_state, tcp_v4_connect, tcp_v6_connect, inet_csk_accept
    • ip4_datagram_connect, ip6_datagram_connect
  • Überträgt die gesammelten Daten per UDP an InFlow (eigene Plattform zur Flow-Erfassung/-Visualisierung)
  • Von InFlow gehen die Daten an Kafka, werden in HDFS gespeichert und über Samza im Graph Data Store abgelegt

Verwandte Beiträge