- Wer ich bin und warum mich das interessiert → früher Ingenieur bei BigQuery
- Unverzichtbare Einführungsfolie → das Diagramm, auf das sich alle beziehen: "Daten explodieren mit der Zeit"
- Die meisten Menschen haben gar nicht so viele Daten
- Storage und Compute sind getrennt, mit einer Verzerrung zugunsten von Storage
- Die Größe der Workloads ist kleiner als die Gesamtgröße der Daten
- Die meisten Daten werden fast nie abgefragt
- Die Big-Data-Frontier zieht sich immer weiter zurück
- Daten sind eine Liability
→ Eine andere Definition von Big Data ist: "wenn die Kosten, Daten zu behalten, geringer sind als die Kosten, herauszufinden, was man wegwerfen sollte"
- Gehören Sie zu dem einen Prozent von Big Data?
- Erzeugen Sie wirklich riesige Datenmengen?
- Falls ja: Müssen Sie wirklich auf einmal mit riesigen Datenmengen arbeiten?
- Falls ja: Sind die Daten so groß, dass sie nicht auf ein einzelnes System passen?
- Falls ja: Sind Sie sicher, dass Sie nicht einfach nur ein Datensammler (Hoarder) sind?
- Falls ja: Wäre es dann nicht besser, die Daten zu verdichten?
- Wenn Sie auch nur eine der Fragen in der obigen Liste mit Nein beantworten,
ist es möglicherweise besser, statt auf die "furchteinflößende Größenordnung von Big Data", die Sie vielleicht irgendwann einmal haben werden,
"Datenwerkzeuge der nächsten Generation zu verwenden, die es Ihnen ermöglichen, die Größe der Daten zu handhaben, die Sie tatsächlich haben"
1 Kommentare
Man sollte beim Lesen bedenken, dass das Unternehmen, das diesen Artikel geschrieben hat, MotherDuck ist – also die Firma hinter „DuckDB“.
DuckDB - Open-Source-Embedded-OLAP-DB
Der Slogan dieses Unternehmens lautet „Big Data is DEAD. Long live EASY DATA.“.
Mit „Your laptop is faster than your data warehouse. Why wait for the Cloud?“ bewirbt es seine eigene Embedded-DB.
Natürlich heißt das nicht, dass der Artikel schlecht ist. Insgesamt ist er lesenswert, und ich stimme vielen seiner Aussagen zu.
Es gibt einfach zu viele Unternehmen, die bei einer Datenmenge, die kaum der Rede wert ist, von „Big Data“ sprechen.