Stability: run-ledger valt stil uit en idempotency kan succes overschrijven #197

Open
opened 2026-09-22 14:37:48 +00:00 by meshflows · 1 comment
Owner

Context

Stability review (2026-09-22).

Bevindingen

  • High. Bij een fout op de Postgres-pool wist RunStateStore.open de DSN en draait de orchestrator door zonder ledger. engine/services/orchestrator/app/run_state_store.py rond 133-136. /readyz kijkt alleen naar in-memory workflows/connections/policies (main.py rond 2290-2304), niet naar de DB.
  • High. record_receipt doet ON CONFLICT DO UPDATE en overschrijft final_status ook als de bestaande rij succeeded is. Rond 954-960. Een late retry kan een geslaagde run als failed registreren.

Impact

Pod blijft Ready terwijl crash-recovery en audit weg zijn. At-least-once delivery kan dedup en resume corrumperen.

Gewenste uitkomst

  • Als ORCH_MESSAGE_DATABASE_DSN gezet is: startup fail-hard, of /readyz 503 tot de pool gezond is. DSN niet wissen.
  • DO UPDATE alleen als de bestaande status niet succeeded is.
## Context Stability review (2026-09-22). ## Bevindingen - **High.** Bij een fout op de Postgres-pool wist `RunStateStore.open` de DSN en draait de orchestrator door zonder ledger. `engine/services/orchestrator/app/run_state_store.py` rond 133-136. `/readyz` kijkt alleen naar in-memory workflows/connections/policies (`main.py` rond 2290-2304), niet naar de DB. - **High.** `record_receipt` doet `ON CONFLICT DO UPDATE` en overschrijft `final_status` ook als de bestaande rij `succeeded` is. Rond 954-960. Een late retry kan een geslaagde run als failed registreren. ## Impact Pod blijft Ready terwijl crash-recovery en audit weg zijn. At-least-once delivery kan dedup en resume corrumperen. ## Gewenste uitkomst - Als `ORCH_MESSAGE_DATABASE_DSN` gezet is: startup fail-hard, of `/readyz` 503 tot de pool gezond is. DSN niet wissen. - `DO UPDATE` alleen als de bestaande status niet `succeeded` is.
Author
Owner

Triage: opgepakt in de werkbranch (nog niet gecommit).

  • RunStateStore.open wist de DSN niet meer bij een verbindingsfout en gooit de fout door. De orchestrator start dan niet als ORCH_MESSAGE_DATABASE_DSN gezet is en Postgres niet bereikbaar is.
  • /readyz geeft 503 zolang die store geconfigureerd is maar geen pool heeft.
  • record_receipt doet ON CONFLICT ... WHERE final_status <> 'succeeded', zodat een late retry een geslaagde receipt niet overschrijft.
Triage: opgepakt in de werkbranch (nog niet gecommit). - `RunStateStore.open` wist de DSN niet meer bij een verbindingsfout en gooit de fout door. De orchestrator start dan niet als `ORCH_MESSAGE_DATABASE_DSN` gezet is en Postgres niet bereikbaar is. - `/readyz` geeft 503 zolang die store geconfigureerd is maar geen pool heeft. - `record_receipt` doet `ON CONFLICT ... WHERE final_status <> 'succeeded'`, zodat een late retry een geslaagde receipt niet overschrijft.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#197
No description provided.