River – schnelle und robuste Job Queue für Go + Postgres

• Empfiehlt, für Anwendungsdaten und die Job Queue dieselbe Datenbank (Postgres) zu verwenden. Minimiert Abhängigkeiten
• Durch das transaktionale Einstellen von Jobs in die Queue zusammen mit anderen Datenbankänderungen lässt sich eine ganze Klasse von Problemen in verteilten Systemen vermeiden
• Transactional enqueueing: Jobs werden in die Queue aufgenommen, wenn eine Transaktion committet wird, entfernt, wenn die Transaktion zurückgerollt wird, und es ist garantiert, dass sie bis zum Commit nicht sichtbar sind
• Durch die Nutzung der NOTIFY-Funktion von Postgres kann die Job Queue Worker sofort wecken, sobald Jobs bereit sind, sodass sich die durchschnittliche Latenz vor dem Start eines Jobs auf Millisekunden reduzieren lässt
• Verwendet das Binärprotokoll von Postgres und minimiert Roundtrips zur Datenbank, um die Effizienz zu erhöhen
  • Bulk Job Insert wird effizient mit COPY FROM ausgeführt