Vector - Open-Source-Plattform für hochperformante Observability-Datenpipelines

• Eine hochperformante End-to-End-Observability-Datenpipeline-Plattform, mit der Nutzer ihre Observability-Daten kontrollieren können (Agent und Aggregator)
• Sammelt, transformiert und routet Logs und Metriken, sodass sie an jeden Anbieter gesendet werden können, den man heute nutzen möchte, sowie an andere Anbieter, die man künftig vielleicht nutzen will
• Senkt Kosten, bietet neue Datenanreicherung (Enrichment) und Datensicherheit, ist Open Source und laut eigener Aussage bis zu 10-mal schneller als andere Alternativen

Prinzipien

• Zuverlässigkeit - In Rust entwickelt, wobei Zuverlässigkeit ein zentrales Designziel ist
• End-to-end - Bereitstellung als Agent oder Aggregator. Vector ist eine vollständige Plattform
• Integration - Logs, Metriken (Beta), Traces (demnächst verfügbar). Ein Tool für alle Daten

Anwendungsfälle

• Senkung der gesamten Observability-Kosten
• Anbieter wechseln, ohne Workflows zu beeinträchtigen
• Datenqualität verbessern und bessere Insights gewinnen
• Agenten konsolidieren und Agent Fatigue beseitigen
• Gesamtleistung und Zuverlässigkeit der Observability verbessern

Community

• Startups und Großunternehmen wie Atlassian, T-Mobile, Comcast, Zendesk, Discord, Fastly, CVS, Trivago, Tuple, Douban, Visa, Mambu, Blockfi, Claranet und Instacart verlassen sich auf Vector
• Vector wird täglich mehr als 100.000 Mal heruntergeladen
• Der größte Nutzer von Vector verarbeitet täglich mehr als 30 TB an Daten
• Vector hat mehr als 100 Mitwirkende und wächst weiter

[softer]

Wächter der Log-Pipeline

[xguru]

Hacker-News-Kommentare

• Positive Einschätzung der Vector-Software

  • Vector ist hervorragende Software für den Betrieb von Log-Pipelines mit mehreren GB/s.
  • Der Vector-Agent sammelt als DaemonSet Pod- und journald-Logs und sendet sie über das protobuf-Protokoll von Vector an einen zentralen Vector-Aggregator (Deployment).
  • Es unterstützt verschiedene Speicherziele (s3, gcs/bigquery, loki, prom).
  • Die Dokumentation ist gut, aber Beispiele für allgemeine Muster sind möglicherweise schwer zu finden; mit der Zeit und einer wachsenden Nutzerbasis wird das jedoch besser.
  • Ein nützlicher Tipp ist, bei Google nach "vector dev" zu suchen, um gute Ergebnisse zu erhalten.
  • Kürzlich wurde außerdem ein Beitrag hinzugefügt, der Counter besser verarbeitet und als Alternative zu Prometheus pushgateway dient.

• Vision und Erwartungen an ein Log-Speichersystem

  • Ein System zur Log-Verarbeitung und -Speicherung ist fast fertig und soll sich mittel- bis langfristig zu einem abfragbaren Log-Speichersystem weiterentwickeln.
  • Logs werden mit Tools wie Vector verarbeitet und in breit verstandenen Dateiformaten im Objektspeicher abgelegt.
  • Log-Objekte werden in einem Metadaten-Store registriert und sind dadurch durchsuchbar.
  • Tools wie Delta Lake oder Iceberg können sowohl in großen als auch in kleinen Umgebungen funktionieren.
  • Mehrere Log-Verarbeitungs-Pipelines können in dasselbe Repository committen.
  • Leistungsstarke Tools wie Clickhouse, DuckDB und Spark können diese Daten lesen.
  • Durch die Verwendung von Standardformaten ist es möglich, Tools zu wechseln oder mehrere Tools gleichzeitig zu nutzen.

• Zuverlässigkeit und Nützlichkeit von Vector

  • Vector ist deutlich zuverlässiger als beats oder anbieterspezifische Forwarder (chronicle forwarder, fdr).
  • VRL ist nützlich, um große Logs wie aws cloudtrail und imperva abp „vorzuparsen“.

• Erfahrungen mit Vector und Empfehlung

  • Es gibt praktische Erfahrung mit Vector; die Konfiguration ist einfach und die Sprache vrl ist leistungsfähig genug.
  • Die "check"-Funktion der CLI hilft dabei, Konfigurationsprobleme zu erkennen.
  • Es gibt keine Leistungsprobleme, und es wird wegen seiner Ressourceneffizienz empfohlen.

• Die Vielseitigkeit von Vector

  • Vector ist mehr als nur „hochperformant“; es ist wie ein Schweizer Taschenmesser für Logs und Metriken.
  • Es wird für viele Aufgaben genutzt, etwa um Logs in Metriken umzuwandeln, Metriken in andere Formate zu konvertieren, Daten in andere Datenspeicher zu pushen oder zu filtern.
  • Es ist die erste Wahl zum Sammeln, Aggregieren, Filtern und Vorverarbeiten von Observability-Daten.

• Interesse an Vector und Erwartungen

  • Jemand hat erst nach dem Einrichten einer neuen fluent-bit-Pipeline von Vector erfahren.
  • Vector hat viele interessante Funktionen, und man würde es gern so bald wie möglich ausprobieren, wenn Zeit dafür ist.
  • Es dürfte spannend sein, es in einem neuen Projekt zu testen.

• Einsatzbereich und Möglichkeiten von Vector

  • Was man über Vector gesehen hat, bestand größtenteils aus Beispielen und Diskussionen, die sich auf Datenbanken oder komplexe Multi-Tenant-Anwendungen bezogen.
  • Es wird gefragt, ob jemand Vector in verteilten Systemen wie autonomen Fahrzeugen eingesetzt hat, um Betriebslogs, Systemzustand sowie Ein- und Ausgaben jeder Anwendung zu aggregieren.

• Praktische Anwendungsfälle und weitere Nutzungsmöglichkeiten von Vector

  • Vector wird für den Log-Transport genutzt und ersetzt dabei eine logstash-Konfiguration, die die benötigten Aufgaben nicht erfüllen konnte.
  • Man hat die Möglichkeiten von Vector erst ansatzweise erkannt und möchte es noch viel stärker nutzen.
  • Es wird nach Informationen zu Einsatzfällen von Vector jenseits des Log-Transports gesucht.

• Vertrauensproblem bei Datadog

  • Es besteht Misstrauen gegenüber der Tatsache, dass Datadog Vector verwaltet, das als Konkurrent zu OTEL erscheint.

• Funktionen von Vector und weitere Beobachtungspläne

  • Vector ist interessant, kann aber derzeit nicht eingesetzt werden, weil Tracing fehlt.
  • Es ist geplant, Vector in den kommenden Monaten weiter zu beobachten, in der Erwartung, dass noch brauchbare Funktionen hinzukommen.