Stability: single-replica control plane, geen PDB en korte shutdown-grace #199

Open
opened 2026-09-22 14:37:50 +00:00 by meshflows · 0 comments
Owner

Context

Stability review (2026-09-22). Dit is deels een bewust lab-profiel; het hoort expliciet te zijn, of de HA-gaten dicht.

Bevindingen

  • High. replicas: 1 en vaak strategy: Recreate op orchestrator, gateway, identity, capability-registry, redis en de in-cluster postgres. O.a. engine/deploy/k8s/orchestrator-deployment.yaml.
  • Medium. Geen PodDisruptionBudget in engine/deploy.
  • Medium. Geen terminationGracePeriodSeconds. Default 30s is krap voor een lopende workflow of een queue-worker die nog nackt.

Impact

Pod-, node- of rollout-storing stopt HTTP-triggers, JWT-validatie en discovery tot herstel. Node drains kunnen de enige replica evicten. SIGKILL midden in een run geeft duplicates of een inconsistent ledger.

Gewenste uitkomst

  • Of documenteer dit profiel als lab-only, of: gateway en orchestrator-API ≥2, identity/registry/redis/postgres HA.
  • PDB minAvailable: 1 op de kritieke Deployments zodra replicas > 1; tot die tijd drain-vensters afspreken.
  • Langere grace op orchestrator en workers, preStop die in-flight werk laat eindigen of nackt.
## Context Stability review (2026-09-22). Dit is deels een bewust lab-profiel; het hoort expliciet te zijn, of de HA-gaten dicht. ## Bevindingen - **High.** `replicas: 1` en vaak `strategy: Recreate` op orchestrator, gateway, identity, capability-registry, redis en de in-cluster postgres. O.a. `engine/deploy/k8s/orchestrator-deployment.yaml`. - **Medium.** Geen `PodDisruptionBudget` in `engine/deploy`. - **Medium.** Geen `terminationGracePeriodSeconds`. Default 30s is krap voor een lopende workflow of een queue-worker die nog nackt. ## Impact Pod-, node- of rollout-storing stopt HTTP-triggers, JWT-validatie en discovery tot herstel. Node drains kunnen de enige replica evicten. SIGKILL midden in een run geeft duplicates of een inconsistent ledger. ## Gewenste uitkomst - Of documenteer dit profiel als lab-only, of: gateway en orchestrator-API ≥2, identity/registry/redis/postgres HA. - PDB `minAvailable: 1` op de kritieke Deployments zodra replicas > 1; tot die tijd drain-vensters afspreken. - Langere grace op orchestrator en workers, preStop die in-flight werk laat eindigen of nackt.
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#199
No description provided.