Inschatting inspanning omzetten orchestrator naar GO #173

Open
opened 2026-08-31 11:20:03 +00:00 by Marc · 5 comments
Contributor

Dit is één van de grootste images en één van de belangrijkste. Ik wil een plan hoe we deze kunnen omzetten van Python naar GO en daarbij nog meer ook gaan leunen op de capability registry.
Hoe kunnen we zorgen dat we een set tests hebben om de functionaliteit van de archestrator met een hoge mate van zekerheid om te zetten?

Dit is één van de grootste images en één van de belangrijkste. Ik wil een plan hoe we deze kunnen omzetten van Python naar GO en daarbij nog meer ook gaan leunen op de capability registry. Hoe kunnen we zorgen dat we een set tests hebben om de functionaliteit van de archestrator met een hoge mate van zekerheid om te zetten?
Owner

Triage 2026-08-31

  • Prio: P3 (research, geen implementatie-start)
  • Status: nieuw

Geen rewrite starten zolang HITL leftover (#133) en Service Bus leftover (#127) open zijn. Eerste deliverable is een inschattingsplan: modulegrenzen, hoe we op de capability registry leunen, en een karakterisatietestset waarmee Python→Go met hoge zekerheid omgezet kan worden. Daarna pas een eerste Go-slice.

**Triage 2026-08-31** - **Prio:** P3 (research, geen implementatie-start) - **Status:** nieuw Geen rewrite starten zolang HITL leftover (#133) en Service Bus leftover (#127) open zijn. Eerste deliverable is een inschattingsplan: modulegrenzen, hoe we op de capability registry leunen, en een karakterisatietestset waarmee Python→Go met hoge zekerheid omgezet kan worden. Daarna pas een eerste Go-slice.
Owner

Triage-uitwerking 2026-08-31 (inschatting, geen rewrite-start)

Orchestrator is ~17k regels Python (workflow_runner 5.1k + main 4.5k). ~60 tests raken de runner; pytest 1-op-1 naar Go is geen contract.

Aanbevolen pad
0. Contracttests (2–3w) — gouden YAML-runs + HTTP-snapshots; Python blijft oracle. Zelfde suite later tegen Go.

  1. Registry-lean in Python (1–2w) — compose-specials via designer-metadata; geen EGRESS_* meer als discovery.
  2. Go skeleton (1–2w) — health + discovery + step-catalogus.
  3. Runner-port (8–12w) — control flow + service_call.
  4. Durable pad (5–8w) — Postgres, HITL, queue, OAuth/secrets.
  5. Shadow + cutover (3–4w).

Totaal: 20–29 persoonsweken (1 persoon). Eerste slice = fase 0, niet main.go.

PR #174 (HITL-mail) is gemerged naar main.

**Triage-uitwerking 2026-08-31** (inschatting, geen rewrite-start) Orchestrator is ~17k regels Python (`workflow_runner` 5.1k + `main` 4.5k). ~60 tests raken de runner; pytest 1-op-1 naar Go is geen contract. **Aanbevolen pad** 0. **Contracttests (2–3w)** — gouden YAML-runs + HTTP-snapshots; Python blijft oracle. Zelfde suite later tegen Go. 1. **Registry-lean in Python (1–2w)** — compose-specials via designer-metadata; geen EGRESS_* meer als discovery. 2. Go skeleton (1–2w) — health + discovery + step-catalogus. 3. Runner-port (8–12w) — control flow + `service_call`. 4. Durable pad (5–8w) — Postgres, HITL, queue, OAuth/secrets. 5. Shadow + cutover (3–4w). **Totaal:** 20–29 persoonsweken (1 persoon). Eerste slice = fase 0, niet `main.go`. PR #174 (HITL-mail) is gemerged naar main.
Owner

Fase 0 gestart — branch feat/issue-173-orchestrator-contract-tests

Taal-agnostische golden traces (Python oracle):

  • 10 cases: context/log, try/catch, parallel, on_error/finally, run_after, HITL-pause, business-event, when-skip, terminate, json-bind
  • HTTP-shape: GET /healthz + GET /readyz
  • Goldens: engine/tests/orchestrator_contract/goldens/*.json (tokens/request_id genormaliseerd)
  • Smoke CI: engine/tests/test_orchestrator_contract.py

Vernieuwen: UPDATE_ORCHESTRATOR_GOLDENS=1 pytest engine/tests/test_orchestrator_contract.py

**Fase 0 gestart** — branch `feat/issue-173-orchestrator-contract-tests` Taal-agnostische golden traces (Python oracle): - 10 cases: context/log, try/catch, parallel, on_error/finally, run_after, HITL-pause, business-event, when-skip, terminate, json-bind - HTTP-shape: `GET /healthz` + `GET /readyz` - Goldens: `engine/tests/orchestrator_contract/goldens/*.json` (tokens/request_id genormaliseerd) - Smoke CI: `engine/tests/test_orchestrator_contract.py` Vernieuwen: `UPDATE_ORCHESTRATOR_GOLDENS=1 pytest engine/tests/test_orchestrator_contract.py`
Owner

Update: dashboard/gateway/storage zijn nu registry-lean op branch feat/issue-173-registry-lean.

Referenties:

Opgeleverd:

  • Dashboard: AMQP-test, S3-admin, Postgres snapshots en /api/diag via registry (rabbitmq.service, s3.service, postgres.service); EGRESS_* / TRANSFORMERS_URL / SFTP_SERVICE_URL / SES_SERVICE_URL uit k8s + compose
  • Gateway: /v1/status probeert geregistreerde providers i.p.v. EGRESS_* env (TRANSFORMERS_URL blijft voor /v1/transform)
  • Storage: KV-events publiceren naar rabbitmq.service /publish; STORAGE_EVENT_EGRESS_URL optioneel override
  • Tests + wiki (dashboard/gateway/storage)

Nog open in deze research-track:

  • Gateway TRANSFORMERS_URL voor transform-forward
  • Go-skeleton / runner port (stappen 2+)
Update: dashboard/gateway/storage zijn nu registry-lean op branch `feat/issue-173-registry-lean`. Referenties: - Commit: `2232be1` — resolve provider URLs via capability registry (#173) - Branch / compare: https://code.meshflows.org/MeshFlowsGPL/meshflows/compare/main...feat/issue-173-registry-lean Opgeleverd: - Dashboard: AMQP-test, S3-admin, Postgres snapshots en `/api/diag` via registry (`rabbitmq.service`, `s3.service`, `postgres.service`); `EGRESS_*` / `TRANSFORMERS_URL` / `SFTP_SERVICE_URL` / `SES_SERVICE_URL` uit k8s + compose - Gateway: `/v1/status` probeert geregistreerde providers i.p.v. `EGRESS_*` env (`TRANSFORMERS_URL` blijft voor `/v1/transform`) - Storage: KV-events publiceren naar `rabbitmq.service` `/publish`; `STORAGE_EVENT_EGRESS_URL` optioneel override - Tests + wiki (dashboard/gateway/storage) Nog open in deze research-track: - Gateway `TRANSFORMERS_URL` voor transform-forward - Go-skeleton / runner port (stappen 2+)
Owner

Update: hardcoded probe/alias maps weggehaald.

  • Commit: 23dcbaeee7f09d9bd2b6e4e4ed05f272561f2823
  • Gateway /v1/status en dashboard /api/diag gebruiken registry service_name.
Update: hardcoded probe/alias maps weggehaald. - Commit: `23dcbaeee7f09d9bd2b6e4e4ed05f272561f2823` - Gateway `/v1/status` en dashboard `/api/diag` gebruiken registry `service_name`.
Sign in to join this conversation.
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#173
No description provided.