Nemo – Facebooks Plattform zur Datenentdeckung

 (engineering.fb.com)
9 Punkte von xguru 2020-10-14 | 1 Kommentare | Auf WhatsApp teilen
  • Große Organisationen entwickeln oft eigene Systeme für interne Datensuche und Metadata-Engines.

→ Netflix (Metacat), Lyft (Amundsen), LinkedIn (DataHub), Uber (Databook)

→ Eine Plattform, die Metadaten dazu durchsuchbar macht, welche Daten von wem, wann gesucht oder erzeugt wurden, und so die Wiederverwendung erleichtert.

  • Integriert Hive, Scuba, Cubrick sowie verschiedene Dashboards und KI-Datensätze.

  • Verwendet Unicorn, das auch für die Suche im Social Graph eingesetzt wird.

  • Ermöglicht Natural-Language-Queries mit spaCy: "Wie viele WAU (wöchentlich aktive Nutzer) hat Instagram?"

Verwandte Beiträge

1 Kommentare

 
xguru 2020-10-14

Nemo wurde nicht als Open Source veröffentlicht; die Tools anderer Unternehmen sind hingegen als Open Source verfügbar.

Lyft - Amundsen https://github.com/amundsen-io/amundsen

Netflix - Metacat https://github.com/Netflix/metacat

LinkedIn - DataHub https://github.com/linkedin/datahub