Mandala – Python-Berechnungen automatisch speichern, abfragen und versionieren

• Ein Framework, das entwickelt wurde, um das Tracking von ML-Experimenten zu automatisieren
• Anders als andere Tools für Experiment-Tracking macht es Logik für Persistenz, Abfragen und Versionsverwaltung zu einem allgemeinen Bestandteil der Programmiersprache selbst
• Das Ziel ist, ausdrucksstarken Berechnungscode schreiben zu können, ohne wie in einer interaktiven Sitzung über Persistenz nachdenken zu müssen, und später dennoch alle Vorteile eines versionierten und abfragbaren Speichers zu nutzen
• Entfernt mit zwei universellen Werkzeugen den Aufwand und Code-Overhead, der für das Tracking von ML-Experimenten (und darüber hinaus) nötig ist:
  1. @op-Decorator:
  • Erfasst Eingaben, Ausgaben und Code (+ Abhängigkeiten) von Python-Funktionsaufrufen
  • Verwendet vergangene Ergebnisse automatisch wieder und berechnet denselben Aufruf nicht zweimal
  • Ist dafür ausgelegt, zu durchgängigen persistierenden Programmen komponiert zu werden, die effiziente iterative Entwicklung in normalem Python ermöglichen, ohne über Storage-Backends nachdenken zu müssen
  2. Datenstruktur ComputationFrame:
  • Organisiert die Ausführung von imperativem Code automatisch als hochrangigen Berechnungsgraphen aus Variablen und Operationen. Erkennt Muster wie Feedback-Schleifen, Verzweigungen/Zusammenführungen und Aggregation/Indizierung
  • Fragt Beziehungen zwischen Variablen ab, indem ein DataFrame extrahiert wird, dessen Spalten die Variablen und Operationen des Graphen sind und dessen Zeilen die Werte/Aufrufe von (möglicherweise partiellen) Ausführungen des Graphen enthalten
  • Automatisiert Exploration und hochrangige Operationen über das heterogene „Web“ von @op-Aufrufen