Datadogs Übernahme von Quickwit

 (quickwit.io)
1 Punkte von GN⁺ 2025-01-11 | 1 Kommentare | Auf WhatsApp teilen
  • Das Quickwit-Team schließt sich Datadog an und wird sich auf die Entwicklung neuer Produkte konzentrieren; zugleich ist geplant, eine neue Version von Quickwit unter der Apache License 2.0 zu veröffentlichen, damit die Community das Projekt weiterführen kann
  • Ausgangspunkt waren die Skalierungsgrenzen und hohen Betriebskosten von Elasticsearch; Quickwit zielte auf eine Suchmaschine, die mehr als 10-mal kosteneffizienter ist und sich bis in den Multi-Petabyte-Bereich skalieren lässt
  • Binance baute mit Quickwit einen 100-PB-Log-Service auf und indexierte 1,6 PB pro Tag; auch Mezmo verarbeitet damit in der Produktion Tausende Kunden und Logs im Petabyte-Bereich
  • Obwohl das Interesse an Open Source und der Umsatz wuchsen und eine Series-A-Runde geprüft wurde, erhöhte die über Tokyo, Paris und New York verteilte Teamstruktur die Skalierungsbelastung, sodass Übernahmeoptionen geprüft wurden
  • Für Quickwit und tantivy sind wichtige Updates geplant; die neue Quickwit-Version soll unter anderem verteilte Erfassung, Cardinality-Aggregationen sowie Verbesserungen bei Performance und Speicher enthalten

Anschluss an Datadog und Fortführung von Open Source

  • Das Quickwit-Team schließt sich Datadog an und wird sich darauf konzentrieren, gemeinsam mit Datadog neue Produkte zu entwickeln
  • Damit die Community Quickwit weiterführen kann, ist geplant, in Kürze eine neue Version unter der Apache License 2.0 zu veröffentlichen
  • Sowohl für Quickwit als auch für tantivy sind größere Updates geplant
    • Die neue Quickwit-Version enthält die von der Community gewünschte verteilte Erfassung
    • Außerdem sind Cardinality-Aggregationen, Performance- und Speicherverbesserungen sowie weitere Funktionen vorgesehen

Das Problem, das Quickwit lösen wollte

  • Quickwit entstand aus einer langjährigen Zusammenarbeit der drei Ingenieure Paul, Adrien und François
  • Auslöser war 2020 tantivy, ein persönliches Projekt von Paul
    • tantivy war bereits als beliebte Alternative zu Lucene bekannt
  • Das zentrale Problem, auf das das Team abzielte, waren Skalierbarkeit und Betriebskosten von Elasticsearch
    • Elasticsearch skaliert nicht effektiv
    • Die Kosten werden zu hoch
    • Die betriebliche Komplexität nimmt zu
  • Ziel war es, eine Suchmaschine zu bauen, die Operatoren zuverlässig betreiben können, die bis in den Multi-Petabyte-Bereich skaliert und mindestens 10-mal kosteneffizienter ist

Verteiltes Team und frühe Open-Source-Entwicklung

  • Die Entwicklung begann mit einem verteilten Team: Adrien in San Francisco, Paul in Tokyo und François in Paris
  • Durch die verschiedenen Zeitzonen entstand ein Follow-the-Sun-Entwicklungszyklus
  • Die Wahl von Rust hatte großen Einfluss auf frühe Entwicklungsgeschwindigkeit und Stabilität
    • Eine erste Demo auf Basis des Common-Crawl-Datensatzes schaffte es auf die HN-Startseite
    • Es gab fast keine Bugs; als Ausnahme wurde ein Python-Fehler "'NoneType' object has no attribute" erwähnt
  • Die erste Version wurde am 13. Juli 2021 veröffentlicht
  • Open Source war sowohl eine strategische als auch für Ingenieure naheliegende Entscheidung
  • Die Aufmerksamkeit auf HN führte zu Gesprächen mit frühen Nutzern, doch je mehr Gespräche stattfanden, desto deutlicher wurden fehlende Funktionen, sodass viel Implementierungsarbeit nötig wurde

Große Einsatzszenarien und Beiträge zum Rust-Ökosystem

  • Die Begegnungen mit den Engineering-Teams von Mezmo und Binance wurden zum Wendepunkt, an dem sich Quickwit zu einem echten Produkt für große Maßstäbe entwickelte
  • Binance baute mit Quickwit einen 100-PB-Log-Service auf
    • Pro Tag wurden 1,6 PB indexiert
  • Mezmo setzte Quickwit in der Produktion ein, um für Tausende Kunden Logs im Petabyte-Bereich zu verarbeiten
    • Bei gleicher User Experience konnten Infrastrukturkosten und Komplexität deutlich reduziert werden
  • Diese Partnerschaften trugen dazu bei, Quickwit als kosteneffiziente Multi-Petabyte-Suchmaschine zu etablieren
  • Das Team trug während der Entwicklung von Quickwit auch zu mehreren Bibliotheken im Rust-Ökosystem bei
    • tantivy: spezialisierte Suchmaschinenbibliothek, die die Grundlage von Quickwit bildet
    • chitchat: Cluster-Membership-Protokoll mit Ausfallerkennung, inspiriert von Cassandra und DynamoDB
    • Bitpacking: SIMD-Algorithmen zur Ganzzahlkomprimierung mittels Bitpacking
    • Whichlang: schnelle und leichtgewichtige Bibliothek zur Spracherkennung für Rust
    • Mrecordlog: effizientes Write-Ahead-Log, entwickelt für Multi-Tenancy

Der Weg zur Entscheidung für Datadog

  • Im Sommer 2024 erlebte Quickwit wachsendes Open-Source-Interesse, stark steigende Umsätze und großes Interesse von VCs
  • Das Unternehmen kam zu dem Schluss, dass der Zeitpunkt gekommen war, ein neues Kapitel aufzuschlagen und eine Series-A-Runde voranzutreiben
  • Doch die über Tokyo, Paris und New York verteilte Teamstruktur war bereits belastend, und weiteres Wachstum hätte diese Schwierigkeit noch vergrößern können
  • Quickwit entschied sich schließlich, ein neues Zuhause zu suchen, und prüfte Übernahmeoptionen
  • Datadog stach unter den Kandidaten deutlich hervor
    • Datadogs Fähigkeit, eine starke User Experience zu liefern
    • Quickwits Suchmaschine im Petabyte-Maßstab
    • Die Chance, leistungsfähige Lösungen zu bauen, die in Kundenumgebungen bereitgestellt werden
  • Die anfängliche Skepsis gegenüber dem Anschluss an ein großes Unternehmen verschwand in den Gesprächen mit dem Datadog-Team
  • In diesen Gesprächen zeigten sich intellektuelle Stärke, Bescheidenheit und eine aufrichtige Kultur

Community und Kunden

  • Das Quickwit-Team bedankt sich bei Mitarbeitenden, Investoren, Mitwirkenden, Freunden und Unterstützern
  • Als Kunden werden Mezmo, Formal, Radiant Security, MatterLabs, Fly.io und weitere genannt
  • Auch der Community wird dafür gedankt, Teil der Quickwit-Reise gewesen zu sein

Verwandte Beiträge

1 Kommentare

 
GN⁺ 2025-01-11
Meinungen auf Hacker News

  • Als Mitgründer von Quickwit fühlt es sich wirklich an, als schließe sich der Kreis, wenn ich sehe, dass die Übernahme durch Datadog auf der HN-Startseite gelandet ist.
    Die Reise von Quickwit war von Anfang an mit HN verflochten, und ihr Verlauf ist direkt in Beiträgen auf der HN-Startseite dokumentiert: “Searching the web for under $1000/month” https://news.ycombinator.com/item?id=27074481, “A Rust optimization story” https://news.ycombinator.com/item?id=28955461, “Decentralized cluster membership in Rust” https://news.ycombinator.com/item?id=31190586, “Filtering a vector with SIMD instructions (AVX-2 and AVX-512)” https://news.ycombinator.com/item?id=32674040, “Efficient indexing with Quickwit Rust actor framework” https://news.ycombinator.com/item?id=35785421, “A compressed indexable bitset” https://news.ycombinator.com/item?id=36519467, “Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog” https://news.ycombinator.com/item?id=38902042, “Quickwit 0.8: Indexing and Search at Petabyte Scale” https://news.ycombinator.com/item?id=39756367, “Tantivy – full-text search engine library inspired by Apache Lucene” https://news.ycombinator.com/item?id=40492834, “Binance built a 100PB log service with Quickwit” https://news.ycombinator.com/item?id=40935701, “Datadog acquires Quickwit” https://news.ycombinator.com/item?id=42648043
    Jede dieser Platzierungen auf der Startseite war ein Meilenstein, und wir haben viel Herzblut in unsere Engineering-Artikel gesteckt, weil wir der Community etwas Wertvolles beitragen wollten. Ich bin überzeugt, dass HN eine wichtige Rolle für den Erfolg von Quickwit gespielt hat – durch Sichtbarkeit, positives Feedback, kritische Kommentare und sogar Leads, die uns direkt kontaktiert haben.

    • Ich glaube, du hast den Link vergessen, aber jedenfalls ist Tantivy großartig.
      Ich mag pg_search https://www.paradedb.com/blog/introducing_search; es wurde zwar von einem anderen Unternehmen entwickelt, scheint aber auf Tantivy aufzubauen, und genau das ist einer der großen Vorteile von Open Source. Allerdings mache ich mir Sorgen, dass die Entwicklung nach dieser Übernahme zum Stillstand kommen könnte. Mich würde interessieren, wie es Datadogs Umsatz hilft, Tantivy weiterhin öffentlich zu entwickeln.
    • Glückwunsch. Dass das Team Tantivy geschaffen hat, ist an sich schon ein großer Beitrag zu Open Source.
      Als jemand, der mit Produkten auf Basis von Apache Lucene (Solr, Elastic) nie richtig warm geworden ist, habe ich mich sehr gefreut, dass Tantivy als Open Source erschienen ist. BM25-Scoring, ordentliche Unterstützung für asiatische Sprachen, Geschwindigkeit, Speicherverbrauch und mehr sind hervorragend.
      https://github.com/quickwit-oss/tantivy
      Ich denke, Datadog hat eine kluge Wahl getroffen. Mir reicht es, wenn Tantivy selbst dauerhaft unter der Apache-2-Lizenz bleibt und nachhaltig mit der Open-Source-Community koexistieren kann. Kommerziellen Erfolg haben sie verdient.

  • Quickwit schien Anfang dieses Jahres in PR #5529 eine Enterprise-Lizenz hinzufügen zu wollen; in dieser Ankündigung heißt es nun aber im Gegenteil, dass man es unter der Apache License 2.0 neu lizenzieren werde, damit die Community weitermachen kann.
    Der Inhalt lautet sinngemäß: „Wir werden uns darauf konzentrieren, mit Datadog neue Produkte zu bauen, und demnächst ein großes Update für Quickwit und tantivy veröffentlichen sowie sie unter der Apache License 2.0 neu lizenzieren, damit die Open-Source-Community fortbestehen kann.“
    Am Ende bekommen wir also ein Quickwit mit einer freieren Lizenz, aber zwischen den Zeilen liest es sich so, als würde die Entwicklung faktisch zurückgefahren. Nach meiner Nutzung ist es stabil, also gibt es nicht viel zu beklagen, aber ich hatte mich darauf gefreut, was künftig noch dazukommen würde.

    • Vermutlich wird die Arbeit, die das Team bisher täglich in Vollzeit selbst daran geleistet hat, aufhören. Wahrscheinlich, weil sie innerhalb von Datadog in eine ähnliche, aber geschlossene Service-Variante integriert weiterentwickelt wird.
      Trotzdem scheint man das aktuelle Produkt unter einer OSI-kompatiblen Lizenz zu veröffentlichen, damit die Community es übernehmen kann, und das ist ein ordentlicher Kompromiss. Es hätte deutlich schlimmer kommen können.
      Datadog ist auch kein Unternehmen, das mit Open Source überhaupt nichts zu tun hätte. Vector, das sie als allgemein einsetzbares Observability-Pipeline-Tool veröffentlicht haben, ist ein ziemlich solides Produkt: https://vector.dev/

  • Es ist ein wenig schade, dass in letzter Zeit mehrere moderne Datenbanken übernommen wurden. Sie hatten das Potenzial, viel Innovation zu bringen.
    https://www.warpstream.com/, https://www.orioledb.com/, https://quickwit.io/

    • Aus Sicht eines Supabase-Mitarbeiters: OrioleDB bleibt weiterhin vollständig Open Source und unter einer großzügigen Lizenz.
      Supabase stellt einen frühen Distributionskanal bereit, damit sich das OrioleDB-Team stärker auf die Storage Engine statt aufs Hosting konzentrieren kann und viel Nutzerfeedback sowie Bug Reports erhält. Das gemeinsame Ziel ist, OrioleDB zu einem Kandidaten für die standardmäßige Storage Engine von Postgres weiterzuentwickeln – nicht nur bei Supabase, sondern überall.
    • Eine Übernahme bedeutet nicht zwangsläufig das Ende von Innovation. Manchmal ermöglicht sie, eine über Jahre aufgebaute Innovation auf eine deutlich größere Nutzerbasis zu skalieren.
      Ich habe die Gründer aller drei Unternehmen getroffen und bin überzeugt, dass sie es ernst damit meinen, ihre Arbeit in die Welt zu bringen. Nebenbei: ParadeDB ist unabhängig und hat auf absehbare Zeit keine Verkaufspläne.

  • Der Countdown läuft, bis Datadog einen Weg findet, pro Node, CPU, Container, RAM (KB) und indexiertem Unicode-Zeichen abzurechnen.

    • Das tun sie bereits. Zum Beispiel sind im Pro-Plan 5 Container pro Host enthalten; selbst mein Hobbyprojekt hat mehr als das, und danach zahlt man extra pro Container.
      Das Preismodell ist ziemlich komplex, und mit der Zeit fragt man sich, ob diese guten Features den hohen Preis wirklich wert sind.
    • Machen sie das nicht schon? Logs werden nach aufgenommenen GB berechnet, Monitoring pro Node.

  • Mezmo sagt, es habe Quickwit in die Produktion gebracht, um Tausende Kunden und Logs im Petabyte-Maßstab zu verarbeiten, und dabei Infrastrukturkosten und Komplexität stark reduziert. Dass Quickwit kurz darauf an einen Konkurrenten verkauft wurde, dürfte sich kaum gut anfühlen.

    • Das ist ein Risiko, das man eingeht, wenn man Open Source etwas zurückgibt.
      Das Gute für alle anderen ist: Wenn Datadog es kaputtmacht, ist das ein Signal, dass es wohl eine erhebliche Nachfrage nach Forks geben wird.
    • Wenn sie das selbst gemacht haben, ist genau das der Kern von Open Source; und wenn es einen Vertrag mit Quickwit gab, kann ich mir kaum vorstellen, dass es keine Klauseln für so eine Situation gab.

  • Verwandte Beiträge: Binance built a 100PB log service with Quickwit (vor 6 Monaten, 228 Punkte, 195 Kommentare) https://news.ycombinator.com/item?id=40935701
    Show HN: Quickwit – OSS Alternative to Elasticsearch, Splunk, Datadog (vor 1 Jahr, 145 Punkte, 51 Kommentare) https://news.ycombinator.com/item?id=38902042

    • Man sollte wohl darauf abzielen, ein erfolgreiches Produkt zu bauen, das große, träge Legacy-Anbieter bedroht, und sich dann schnell per Acqui-hire übernehmen zu lassen.

  • Es hieß: „Ab diesem Sommer änderte sich die Stimmung. Die Open-Source-Traktion wurde stärker, der Umsatz schoss in die Höhe, und VCs kamen aktiver auf uns zu. Es war Zeit, ein neues Kapitel für das Unternehmen aufzuschlagen und eine Series A aufzunehmen.“ Rhetorisch gefragt: Warum war genau dann der Zeitpunkt?
    Die realistische Antwort steckt genau dort. VCs geben sich nicht mit einem schnell wachsenden Unternehmen mit guter Technologie allein zufrieden. Entweder ist es eine Up Round, mit der sie den Wert ihres Portfolios höher ausweisen können, oder – wenn der Markt nicht heiß genug für eine hoch bewertete Series A ist – sie drängen auf einen Exit.

    • Diese Entscheidung fällt man nicht erst, wenn man nach der Anschlussfinanzierung sucht, sondern bereits bei der Seed-Finanzierung.
      Wenn man ein profitabel wachsendes Unternehmen aufbauen will, ist VC-Geld nicht der richtige Weg.
    • Ich frage mich, was tatsächlich passiert, wenn die Gründer nicht mitspielen. Kann ein VC mit Gewalt einen Verkauf zu schlechteren Konditionen erzwingen? Ich verstehe nicht ganz, wo die Grenze zwischen höflicher Bitte und Druck liegt und wer in der Praxis den Hebel in der Hand hat.
    • Unsere Seed-Runde bestand zu 100 % aus SAFE, daher hatten die VCs kein Recht, uns irgendetwas aufzuzwingen.
      Die Formulierung im Blogpost kann etwas missverständlich sein. Mit den VCs, von denen François sprach, meinte er vermutlich eher andere VCs, die von der Lage des Unternehmens wussten und sich meldeten, weil sie an einer möglichen späteren Series A teilnehmen wollten – nicht unbedingt VCs, die bereits in Quickwit investiert waren.
      Insgesamt hatten wir einfach das Gefühl, an einem „Scheideweg“ zu stehen; niemand hat uns den Arm verdreht.
    • Wenn die Gründer Seed-Kapital aufgenommen haben, nun Product-Market Fit gefunden wurde und wiederholbare Umsätze beginnen, ist es dann nicht naheliegend, für die Skalierung eine Series A aufzunehmen?

  • Ich kann Datadog wirklich nicht ausstehen. In unserer Firma benutzen wir den Namen Datadog wie ein Schimpfwort für eine Art zu verkaufen oder zu vermarkten, die man nicht machen sollte.
    Irgendwann um 2015–2018 herum hatte ich ihre Vertriebsmethoden komplett satt. Endlose Anrufe und E-Mails; der letzte Tropfen war eine Lambda-Präsentation auf der AWS re:Invent, als Lambda gerade erst angekündigt worden war. Unser ganzes Team ging hin, um früh etwas über Lambda zu lernen, und am Ende war es ein Vortrag eines Datadog-Mitarbeiters, der Barrs Blogpost „lambda up and running“ ziemlich simpel kopierte und das Ganze wie Stand-up-Comedy verpackte; der Vortragende betonte ständig, dass er bei Datadog arbeitet. Es wirkte so, als wolle man uns mit Alkohol versorgen und in gute Stimmung bringen, damit wir Datadog cool finden.
    Ernst gemeinte Frage: Hat sich das Unternehmen seitdem so verändert, dass man es sich wieder ansehen sollte?

    • Was hat das mit dem eigentlichen Produkt zu tun?
    • Nach der Zusammenführung mit Datadog sind mehrere Ergebnisse möglich.
      Wie ein früherer Manager sagte: In der GuV gibt es keinen Posten „gute Menschen“, und irgendjemand muss die Kosten tragen. Deshalb denkt man leicht an dunkle Wege und wird nervös.
      Aber eines der möglichen Ergebnisse ist ein brauchbarer Open-Source-Konkurrent zum Grafana-Ökosystem, und allein das könnte helfen, den Rest des Ökosystems davon abzuhalten, seine Lizenzen zu ändern. Es könnte auch ein Win-win werden, bei dem die Gründer ohne Geld- und Machtkämpfe einen nachhaltigen Weg finden. Ich möchte optimistisch bleiben; nur die Zeit wird es zeigen.
    • Ich habe das Gegenteil erlebt. Das Sales-Team hat unsere Zeit ziemlich respektiert.
    • Stimme zu. Sobald sie unsere Domain hatten, wurde jeder Engineer mit E-Mails wie „Re: meeting next week“ bombardiert.
    • Uns hat noch nie jemand so ein Sales-Angebot mit Alkohol gemacht.

  • Bin gerade von Elastic zu Quickwit gewechselt und seufze. Gibt es andere empfehlenswerte Log-Datenbanken, die Open Source sind und auf Object Storage basieren?

    • Loki von Grafana Labs ist ganz gut: https://grafana.com/oss/loki/
      Vor etwa drei Jahren änderte sich das Produkt ziemlich schnell und ein großer Teil der Dokumentation lag in git, sodass Minor-Version-Upgrades etwas Kopfzerbrechen bereiteten; inzwischen dürfte es aber deutlich ausgereifter sein.
    • Ich empfehle, SigNoz einmal auszuprobieren.
      Es ist auf ClickHouse aufgebaut, schnell und skalierbar.
      https://github.com/SigNoz/signoz
      Zur Einordnung: Ich bin Maintainer von SigNoz.
    • Schau dir VictoriaLogs an: https://docs.victoriametrics.com/victorialogs/
      Es ist eine kleine einzelne ausführbare Datei, läuft mit den Standardeinstellungen sofort und speichert alle Daten in einem einzigen Verzeichnis. Unterstützung für Object Storage soll demnächst hinzukommen.

  • Ich bin gespannt, was Datadog mit dieser Technologie bauen wird. Noch vor ein paar Monaten stellte sich das Unternehmen, glaube ich, als Open-Source-Konkurrent von Datadog dar.

    • In der Pressemitteilung gibt es Hinweise darauf, dass man Kunden, die aus regulatorischen Gründen kein reines SaaS nutzen können, ein Self-Hosting-Modell anbieten will.
      Regulierte Branchen wie Finanzwesen, Versicherungen und Gesundheitswesen müssen Datenresidenz, Datenschutz und regulatorische Anforderungen erfüllen und zugleich die Sichtbarkeit über das gesamte System hinweg bewahren. Wenn Logs in der Kundenumgebung oder in einer bestimmten Region verbleiben müssen, wird nahtlose Observability und das Gewinnen von Insights schwieriger; Datadog scheint mit Quickwit diese Anforderungen erfüllen zu wollen, ohne mehrere zusätzliche Log-Tools einzuführen.
    • Es geht darum, Enterprise-Kunden größere Rechnungen zu schicken.
    • Vielleicht haben sie es eher übernommen, damit mit dieser Technologie nicht noch mehr gebaut wird. Sie bedroht ja Verlängerungen bestehender Enterprise-Verträge.
    • Die Absicht, den eigenen Burggraben zu schützen, ist ziemlich offensichtlich. Ich glaube nicht, dass Datadog hier weiter investieren wird. Es war schließlich ein ziemlich direkter Konkurrent.
      Was ist eigentlich aus dem früher übernommenen Open-Source-Projekt Vector geworden? Sind die Leute noch angestellt?
    • Ich denke, es könnte auch darum gehen, die bestehende Infrastruktur dadurch zu ersetzen und Kosten zu senken.