Wie Twitter mit Natural-Language-Queries Daten-Insights gewinnt
(blog.twitter.com/engineering)- Interne Business-Teams haben mit Qurious ein System der nächsten Generation aufgebaut, mit dem sich verschiedene Daten per natürlicher Sprache abfragen lassen
→ „Wie viele Tweets werden pro Tag ungefähr veröffentlicht?“ - Architektur
- Fragen können über Slack/Web-App gestellt werden
- Fragen werden über den Google-Cloud-Load-Balancer/NgRoutes an die Qurious-App auf GKE gesendet
- Die Frage wird an Googles Data QnA API gesendet
- Data QnA interpretiert die Nutzerfrage und gibt sie als SQL-Query zurück
- Das erzeugte SQL wird zur Ausführung an BigQuery gesendet
- Der Egress Proxy liefert das Ausführungsergebnis an die Slack-App, der LB an die WebApp
- Fragen und Antworten werden in GCS/CloudSQL gespeichert
Noch keine Kommentare.