Stability: registry, trigger-queue, postgres-egress, scheduler en otel-probes #203

Open
opened 2026-09-22 14:37:52 +00:00 by meshflows · 0 comments
Owner

Context

Stability review (2026-09-22). Vijf kleinere maar reële gaten in één planbaar issue.

Bevindingen

  • Medium. Capability registry is alleen een in-memory dict en replicas: 1. Restart maakt discovery leeg tot de volgende heartbeats. engine/services/capability-registry/app/main.py rond 79-82.
  • Medium. Trigger-event writer gebruikt een onbegrensde queue.SimpleQueue als ORCH_TRIGGER_EVENTS_ASYNC=true. engine/services/orchestrator/app/trigger_event_store.py rond 45 en 247. Een burst kan de orchestrator OOMKill-en.
  • Medium. Egress Postgres opent psycopg.connect per request, zonder pool en zonder connect_timeout/statement_timeout. engine/services/postgres/app/main.py rond 330-344.
  • Medium. Scheduler start meteen en triggert met timeout 10s. Een trage orchestrator tijdens rollout wordt een gemiste cron, zonder catch-up. engine/services/scheduler/app/main.py rond 170, 584 en 760.
  • Medium. OTel collector-deployment heeft resources maar geen liveness/readiness. engine/deploy/k8s/otel-collector-deployment.yaml.

Gewenste uitkomst

  • Registry persistent (Redis of Postgres) of clients met stale-while-revalidate.
  • Bounded trigger-queue met drop-metric, of sync write met timeout.
  • Connectiepool en statement-timeouts op de postgres-egress.
  • Scheduler-ready pas als de orchestrator healthy is; langere timeout en een misfire-beleid.
  • Health-probe op de collector (extension-poort of TCP 4317).
## Context Stability review (2026-09-22). Vijf kleinere maar reële gaten in één planbaar issue. ## Bevindingen - **Medium.** Capability registry is alleen een in-memory `dict` en `replicas: 1`. Restart maakt discovery leeg tot de volgende heartbeats. `engine/services/capability-registry/app/main.py` rond 79-82. - **Medium.** Trigger-event writer gebruikt een onbegrensde `queue.SimpleQueue` als `ORCH_TRIGGER_EVENTS_ASYNC=true`. `engine/services/orchestrator/app/trigger_event_store.py` rond 45 en 247. Een burst kan de orchestrator OOMKill-en. - **Medium.** Egress Postgres opent `psycopg.connect` per request, zonder pool en zonder `connect_timeout`/`statement_timeout`. `engine/services/postgres/app/main.py` rond 330-344. - **Medium.** Scheduler start meteen en triggert met timeout 10s. Een trage orchestrator tijdens rollout wordt een gemiste cron, zonder catch-up. `engine/services/scheduler/app/main.py` rond 170, 584 en 760. - **Medium.** OTel collector-deployment heeft resources maar geen liveness/readiness. `engine/deploy/k8s/otel-collector-deployment.yaml`. ## Gewenste uitkomst - Registry persistent (Redis of Postgres) of clients met stale-while-revalidate. - Bounded trigger-queue met drop-metric, of sync write met timeout. - Connectiepool en statement-timeouts op de postgres-egress. - Scheduler-ready pas als de orchestrator healthy is; langere timeout en een misfire-beleid. - Health-probe op de collector (extension-poort of TCP 4317).
Sign in to join this conversation.
No milestone
No project
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#203
No description provided.