Kafka ist schnell – aber ich werde Postgres verwenden
(topicpartition.io)Zentrale These
Die Tech-Branche teilt sich in zwei Lager:
- Lager 1: verfolgt Buzzwords und führt wahllos komplexe, moderne Tech-Stacks ein
- Lager 2: setzt auf einen vernünftigen, pragmatischen Ansatz und nutzt nur so viel wie nötig
Der Autor argumentiert, dass man in den meisten Fällen statt Kafka Postgres als Pub/Sub- und Queue-System verwenden kann.
Benchmark-Ergebnisse
Pub/Sub-Performance
- 4-vCPU-Single-Node: 5.036 geschriebene Nachrichten pro Sekunde, 25.183 gelesene (5-facher Fan-out)
- 4 vCPU, 3 replizierte Nodes: ähnlicher Durchsatz, leicht erhöhte Latenz
- 96-vCPU-Single-Node: 243.000 Nachrichten pro Sekunde, 1,16 GiB/s Lesedurchsatz
Queue-Performance
- 4-vCPU-Single-Node: 2.885 Nachrichten pro Sekunde
- 96-vCPU-Single-Node: 20.144 Nachrichten pro Sekunde
Zentrale Punkte
- Fortschritte bei der Hardware: Moderne Hardware (192-Core-CPU, 4 TB RAM) macht einen Single Node extrem leistungsfähig
- Postgres-Renaissance: Die Bewegung „Postgres für alles“ wächst
- Praxisnähe: Selbst große Startups wie OpenAI nutzen weiterhin eine einzelne Postgres-Instanz
- Organisatorischer Overhead: Die Einführung neuer Technologien verursacht Kosten für Lernen, Betrieb, Monitoring usw.
Fazit
„Verwendet einfach Postgres, bis es an seine Grenzen stößt“
Die meisten Unternehmen brauchen nur einen Durchsatz im Bereich einiger MB pro Sekunde, und das kann Postgres problemlos bewältigen. Die Botschaft lautet, komplexe verteilte Systeme erst dann einzuführen, wenn sie wirklich nötig sind.
8 Kommentare
Kafka ist langsam, aber ...
Ich weiß nicht, ob Bubbley in jeder Situation gut ist, aber ich habe oft Fälle gesehen, in denen zusätzlich Arbeit entsteht, weil Kafka eingesetzt wird, obwohl man Kafka gar nicht verwenden müsste.
Schon wieder ein Lobgesang auf PostgreSQL ...
Wichtig ist, nur so viel zu nutzen, wie man braucht,
und ein Design zu haben, das einen flexiblen Wechsel ermöglicht.
Wenn ich das sehe, muss ich an den extremsten Empfehlungsbeitrag zu PostgreSQL denken.
Oh, wie haben Sie den Titel nach Ihrem Geschmack geändert?
Der Titel?
Ich habe dabei nicht einmal besonders große Tricks angewendet.
https://news.hada.io/guidelines
> Markdown wird unterstützt.
> Es wird sowohl in Beiträgen als auch in Kommentaren unterstützt.
> Grundsätzlich folgt es der CommonMark-Spezifikation.
> Bilder werden nicht unterstützt.
Zusätzlich scheint bei GeekNews-URLs vor dem Linktitel ein Symbol angezeigt zu werden.
Ich werde einfach bei SQLite bleiben, bis es kaputtgeht.