- Eine Anwendung, die automatisch Log-Dateien aus AWS und anderen Cloud-Diensten sammelt und analysiert
- Funktionsweise
- Führt per SSH Verbindungen zu entfernten Geräten aus, unter Verwendung von
boto3 (AWS) und Ansible-Inventardateien (andere Clouds)
- Lädt die angegebenen Log-Dateien herunter, parst sie und stellt sie zur Einreihung für die Eingabe in die Datenbank in eine Queue
- Fügt mit SQLAlchemy Log-Entries aus der geparsten Queue in SQLite ein
- Verarbeitet und analysiert die in der DB gespeicherten Log-Entries. Bietet Funktionen zum Finden von Fehlern und zum Erstellen aggregierter Datenansichten anhand vorgegebener Kriterien
- Holt und verarbeitet Daten zur Netzwerkaktivität von jeder entfernten Maschine
- Gibt die DB mit Datasette als Web-App frei
1 Kommentare
Wie bei solchen Artikeln immer sollte man im Hinterkopf behalten, dass das Ganze etwas übertrieben dargestellt ist.
Wie dem auch sei, perfekt ist es vielleicht nicht, aber je nach Einsatzzweck kann man mit einem einfachen Skript durchaus teure Systeme ersetzen.
Nur weil man ein teures Tool einführt, erledigt sich schließlich nicht alles von selbst.
Datasette - Open Source für ein persönliches Data Warehouse