Stability: Identity SQLite blokkeert de event loop en readiness is altijd ready #198

Open
opened 2026-09-22 14:37:49 +00:00 by meshflows · 4 comments
Owner

Context

Stability review (2026-09-22).

Bevindingen

  • High. Async routes (login en tientallen andere) gebruiken sync sqlite3.connect via _db() op de event loop. Geen WAL, geen busy_timeout, geen asyncio.to_thread. engine/services/identity/app/main.py rond 719-723.
  • Medium. /readyz retourneert vast ready zonder SQLite- of Redis-check. Identity rond 1741; capability-registry rond 286-288 doet hetzelfde.

Impact

Onder parallelle logins: database is locked, latency-spikes en timeouts op het gateway-pad dat JWT en rate-limit via identity doet. Kubernetes stuurt verkeer naar een pod die de DB nog niet kan bedienen.

Gewenste uitkomst

  • WAL plus busy_timeout als minimum. DB-werk van de event loop af (to_thread of async driver).
  • Postgres voor identity als productiedoel vastleggen als SQLite niet houdbaar is.
  • /readyz pas 200 na geslaagde DB-open en, indien geconfigureerd, Redis-ping.
## Context Stability review (2026-09-22). ## Bevindingen - **High.** Async routes (login en tientallen andere) gebruiken sync `sqlite3.connect` via `_db()` op de event loop. Geen WAL, geen `busy_timeout`, geen `asyncio.to_thread`. `engine/services/identity/app/main.py` rond 719-723. - **Medium.** `/readyz` retourneert vast `ready` zonder SQLite- of Redis-check. Identity rond 1741; capability-registry rond 286-288 doet hetzelfde. ## Impact Onder parallelle logins: `database is locked`, latency-spikes en timeouts op het gateway-pad dat JWT en rate-limit via identity doet. Kubernetes stuurt verkeer naar een pod die de DB nog niet kan bedienen. ## Gewenste uitkomst - WAL plus `busy_timeout` als minimum. DB-werk van de event loop af (`to_thread` of async driver). - Postgres voor identity als productiedoel vastleggen als SQLite niet houdbaar is. - `/readyz` pas 200 na geslaagde DB-open en, indien geconfigureerd, Redis-ping.
Author
Owner

Triage: deels opgepakt. De event-loop-blokkade blijft open.

Gedaan:

  • SQLite gebruikt WAL, busy_timeout 5s en een connect-timeout, zodat database is locked minder snel hard faalt.
  • /readyz doet SELECT 1 en geeft 503 als het bestand niet open kan. Liveness blijft /healthz, dus een lock laat de pod niet meteen herstarten.

Niet gedaan: alle with _db() calls (login en de overige paden) van de event loop af halen met asyncio.to_thread. Dat is een brede refactor door tientallen call sites en hoort een eigen wijziging te blijven op dit issue.

Triage: deels opgepakt. De event-loop-blokkade blijft open. Gedaan: - SQLite gebruikt WAL, `busy_timeout` 5s en een connect-timeout, zodat `database is locked` minder snel hard faalt. - `/readyz` doet `SELECT 1` en geeft 503 als het bestand niet open kan. Liveness blijft `/healthz`, dus een lock laat de pod niet meteen herstarten. Niet gedaan: alle `with _db()` calls (login en de overige paden) van de event loop af halen met `asyncio.to_thread`. Dat is een brede refactor door tientallen call sites en hoort een eigen wijziging te blijven op dit issue.
Owner

Pickup: slice identity async SQLite off event loop (#198).

Scope: login /
efresh / mfa email request / pi-keys/validate via asyncio.to_thread + thread assertion test.
Branch: fix/issue-198-identity-sqlite-off-loop
Out of scope for this slice: Postgres identity, Redis in /readyz.

Pickup: slice identity async SQLite off event loop (#198). Scope: login / efresh / mfa email request / pi-keys/validate via `asyncio.to_thread` + thread assertion test. Branch: `fix/issue-198-identity-sqlite-off-loop` Out of scope for this slice: Postgres identity, Redis in `/readyz`.
Owner

Delivered: identity hot-path SQLite off event loop (#198).

  • Branch: fix/issue-198-identity-sqlite-off-loop
  • Commit: 8cf9801e81 (8cf9801)
  • Scope: /auth/login, /auth/refresh, /auth/mfa/email/request, /api-keys/validate run SQLite via asyncio.to_thread; thread assertion test added.
  • Tests: test_identity.py (incl. new off-loop test), test_identity_auth_rate_limit.py, test_identity_internal_api.py green for this slice.
  • Remaining #198 follow-ups (out of scope): Postgres identity, Redis in /readyz.
Delivered: identity hot-path SQLite off event loop (#198). - Branch: `fix/issue-198-identity-sqlite-off-loop` - Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/8cf9801e81c57b855c7a0de49dacd899a59cdb69 (8cf9801) - Scope: `/auth/login`, `/auth/refresh`, `/auth/mfa/email/request`, `/api-keys/validate` run SQLite via `asyncio.to_thread`; thread assertion test added. - Tests: `test_identity.py` (incl. new off-loop test), `test_identity_auth_rate_limit.py`, `test_identity_internal_api.py` green for this slice. - Remaining #198 follow-ups (out of scope): Postgres identity, Redis in `/readyz`.
Owner

PR gemerged

  • PR: #210
  • Branch: fix/issue-198-identity-sqlite-off-loop (8cf9801)
  • Merge commit: 37292454bea2f641726a7d63411ab7c748b9e5aa
  • CI: test.yml + build.yml groen (PR checks success/skipped)

Volgende stap: patch VERSION-bump (0.4.6 → 0.4.7) + productalias-publicatie.

## PR gemerged - PR: https://code.meshflows.org/MeshFlowsGPL/meshflows/pulls/210 - Branch: `fix/issue-198-identity-sqlite-off-loop` (`8cf9801`) - Merge commit: `37292454bea2f641726a7d63411ab7c748b9e5aa` - CI: test.yml + build.yml groen (PR checks success/skipped) Volgende stap: patch VERSION-bump (0.4.6 → 0.4.7) + productalias-publicatie.
Sign in to join this conversation.
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#198
No description provided.