Pypipe - Python-CLI-Tool zur Verarbeitung von Datenpipelines

• ppp line
  • $ cat staff.txt |ppp 'i, line.upper()'
  • Verarbeitung pro Zeile. Die jeweilige Zeilennummer ist als i verfügbar, die komplette Zeile als String kann über line/l verarbeitet werden
• ppp rec
  • $ cat staff.txt |ppp rec 'r[:3]'
  • Jede Zeile wird per TAB gesplittet. Der aufgeteilte String kann als rec/r verwendet werden
  • Mit der Option -l Länge kann jedes Feld als f1, f2, f3 usw. verwendet werden
  • $ tail -n +2 staff.txt |ppp rec -l5 'f"{f1} is {f4} years old"'
  • Mit der Option -H kann die erste Header-Zeile erkannt und übersprungen werden
• ppp csv
  • Wie rec, aber mit konfigurierbarem Delimiter (Standard ist Komma); verwendet die csv-Bibliothek
  • $ cat staff.csv |ppp csv -O 'quoting=csv.QUOTE_ALL'
• ppp text
  • Die gesamte Eingabe wird als ein einziger Text eingelesen. Zugriff ist über text möglich
  • $ cat staff.txt | ppp text 'len(text)'
• ppp file
  • Nimmt eine Liste von Dateipfaden entgegen, öffnet jede Datei, liest sie in text ein und verarbeitet sie; das wird für die Liste von Dateien wiederholt
  • Auf den Pfad kann ebenfalls über path zugegriffen werden
  • $ ls staff.txt staff.csv staff.json staff.xml |ppp file 'path, len(text)'
• ppp custom -N NAME
  • Eigene Befehle lassen sich in Python erstellen und leicht hinzufügen
  • Definiert in ~/.config/pypipe/pypipe_custom.py; der Dateispeicherort kann per Umgebungsvariable geändert werden
• Funktioniert auch als Code-Generator
  • Übergebene Argumente können zur Erzeugung von Python-Code verwendet werden
  • Unterstützt das Ausführen dieses Codes per exec oder das Ausgeben mit -p sowie das Speichern in eine Datei mit -o PATH