CloudWatch-Logs mit Athena abfragen

 (engineering.ab180.co)
9 Punkte von toughrogrammer 2022-01-04 | 4 Kommentare | Auf WhatsApp teilen

  • Schwachstellen von CloudWatch Logs

    • Auch mit Logs Insights gibt es Punkte, die sich nur schwer lösen lassen

  • Versuch, CloudWatch Logs mit Athena Federated Query abzufragen

    • Die Abfrage dauerte zu lange und

    • wegen wenig hilfreicher Error-Logs und Dokumentation war Troubleshooting schwierig

  • Am Ende wurde die klassische Methode genutzt: per Firehose nach S3 auslagern und dann mit Athena abfragen

    • Punkte, die bei dieser Methode berücksichtigt wurden

      • Firehose dynamic partitioning

      • Athena partition projection

      • Firehose buffer size & interval

    • Hinweise

      • Begrenzung der Anzahl von CloudWatch Logs subscription filters

      • Log-Format

      • Kosten

  • IaC

    • Terraforming der Athena-Tabellen-DDL

Verwandte Beiträge

4 Kommentare

 
toughrogrammer 2022-01-04

Ich habe die Bullet-List mehrstufig verwendet, aber das Format wird beschädigt … Ich habe sowohl Leerzeichen als auch Tabs ausprobiert, aber das Ergebnis war dasselbe, daher habe ich es erst einmal so belassen. Ich bitte um Ihr Verständnis.
 
xguru 2022-01-04

Ah, das ist derzeit noch nicht möglich. Markdown-Unterstützung kommt später, bitte warten Sie noch etwas~
 
toughrogrammer 2022-01-04

Oh, ich bin gespannt! Vielen Dank, ich nutze den Service immer sehr gern.
 
toughrogrammer 2022-01-04

Ich wollte es nach dem Hinzufügen eines Kommentars noch einmal versuchen, aber anscheinend lässt sich der Beitrag nicht löschen. Offenbar kann man einen Beitrag nicht löschen, wenn es Kommentare dazu gibt.