Operations dashboard aanpassingen #178

Open
opened 2026-09-01 17:58:16 +00:00 by Marc · 15 comments
Contributor

Ik zou graag in het dashboard de mogelijkheid hebben om folders te definieren met workflow namen. Een workflow is alles wat aan een bepaald DSAV voldoen. Ik wil kolommen kunnen bepalen op basis van context van de berichten.
image

Als we een dashboard definitie (die ik wil uploaden in een deployment) hebben dan wil ik de operations op basis van deze definities hebben. De huidige opzet is dan de default als we geen definities hebben.

Ik zou graag in het dashboard de mogelijkheid hebben om folders te definieren met workflow namen. Een workflow is alles wat aan een bepaald DSAV voldoen. Ik wil kolommen kunnen bepalen op basis van context van de berichten. ![image](/attachments/26ec6215-63ef-440e-97d9-9653d643e292) Als we een dashboard definitie (die ik wil uploaden in een deployment) hebben dan wil ik de operations op basis van deze definities hebben. De huidige opzet is dan de default als we geen definities hebben.
Owner

Triage 2026-09-16

  • Prio: P2 (belangrijke ops-UX, geen incident/blocker)
  • Status: nieuw
  • Type: feature
  • Niet in één keer bouwen — kies een slice voordat we starten

Buiten scope van dit ticket

Het 24u-tijdvenster (#181) zit al op main (default “last 1 day”, presets 30m/1h/3h/1d + custom). Dat is niet dit werk.

Huidige staat

  • Operations-tree groepeert op workflow-group (slash-pad in de catalogus), niet op configureerbare folders of DSAV.
  • Run-tabel heeft vaste kolommen (workflow, run, status, correlation, track, recovery, step, …), niet uit berichtcontext.
  • Geen uploadbare dashboarddefinitie; de huidige layout is de enige.

Slices (voorgestelde volgorde)

  1. Folders met workflownamen — configureerbare mappen in de Operations-tree. Een “workflow” in ops-zin = alles wat aan een bepaald DSAV voldoet (niet per se één YAML-naam). Zonder definitie blijft de huidige group-tree de default.
  2. Kolommen uit berichtcontext — extra kolommen uit run/message-context (DSAV-velden, payload-keys). Eerst een klein, vast contract van toegestane paden; daarna pas vrije expressies.
  3. Uploadbare dashboarddefinities — YAML/JSON in de deployment; Operations rendert folders + kolommen daaruit. Huidige opzet blijft de default als er geen definities zijn.

Slice 3 is de overkoepelende vorm. 1 en 2 kunnen eerst tegen één intern schema; upload/deploy-wiring volgt daarna.

Volgende stap: kies slice 1 (folders) of zeg als 3 (definitie-formaat) eerst het contract moet zijn. Geen implementatie tot die keuze.

**Triage 2026-09-16** - **Prio:** P2 (belangrijke ops-UX, geen incident/blocker) - **Status:** nieuw - **Type:** feature - **Niet in één keer bouwen** — kies een slice voordat we starten **Buiten scope van dit ticket** Het 24u-tijdvenster (#181) zit al op main (default “last 1 day”, presets 30m/1h/3h/1d + custom). Dat is niet dit werk. **Huidige staat** - Operations-tree groepeert op workflow-`group` (slash-pad in de catalogus), niet op configureerbare folders of DSAV. - Run-tabel heeft vaste kolommen (workflow, run, status, correlation, track, recovery, step, …), niet uit berichtcontext. - Geen uploadbare dashboarddefinitie; de huidige layout is de enige. **Slices (voorgestelde volgorde)** 1. **Folders met workflownamen** — configureerbare mappen in de Operations-tree. Een “workflow” in ops-zin = alles wat aan een bepaald DSAV voldoet (niet per se één YAML-naam). Zonder definitie blijft de huidige group-tree de default. 2. **Kolommen uit berichtcontext** — extra kolommen uit run/message-context (DSAV-velden, payload-keys). Eerst een klein, vast contract van toegestane paden; daarna pas vrije expressies. 3. **Uploadbare dashboarddefinities** — YAML/JSON in de deployment; Operations rendert folders + kolommen daaruit. Huidige opzet blijft de default als er geen definities zijn. Slice 3 is de overkoepelende vorm. 1 en 2 kunnen eerst tegen één intern schema; upload/deploy-wiring volgt daarna. **Volgende stap:** kies slice 1 (folders) of zeg als 3 (definitie-formaat) eerst het contract moet zijn. Geen implementatie tot die keuze.
Owner

Slice 3 gestart (uploadbare dashboarddefinities + handmatig bewerken). Geen PR.

  • Branch: feat/issue-178-dashboard-definitions
  • Commit: 227c8a3519

Wat erin zit

Operations kan nu een dashboarddefinitie laden, toepassen, uploaden en in de UI bewerken.

  • Opslag: runtime-artifact dashboards/operations.yaml (zelfde storage-pad als andere artifacts; ook via Storage Browser).
  • API: GET/PUT/POST/DELETE /api/operations/dashboard-definition — lezen met operations:view, schrijven/resetten als platform admin.
  • Geen definitie (of leeg / useDefault: true) → huidige layout blijft de default (deployment-group-tree + vaste kolommen, 24u-venster ongemoeid).
  • Operations-pagina: hint welke layout actief is; admins krijgen Dashboard definition met form (folders/columns) én YAML, plus Upload / Download / Save / Reset.
  • Folders in de definitie groeperen de Operations-tree; klikken op een folder filtert runs via workflows=.
  • Extra columns (bron context.<key> of een run-veld) komen in de tabel; ontbrekende waarden tonen — (ledger heeft nog geen berichtcontext, dat is slice 2).

Voorbeeld:

apiVersion: meshflows.io/v1
kind: OperationsDashboard
name: default
folders:
  - id: orders
    label: Orders
    workflows:
      - order-intake
      - order-fulfill
columns:
  - id: dsav
    label: DSAV
    source: context.dsav

Expres buiten deze slice

  • Slice 1: geen DSAV-groepen / catalogus-folders als eerste-klas concept (alleen het folders-veld in het schema + tree-toepassing).
  • Slice 2: geen echte kolommen uit berichtcontext (geen extra ledger-velden; extra kolommen zijn een hook).
  • Geen PR, geen VERSION-bump (blijft 0.4.4).

Verifiëren op dev (na deploy van deze branch)

  1. Operations openen als operator: layout gelijk aan nu (default 1 dag, bestaande tree).
  2. Als admin: Dashboard definition → Edit, folder + workflow-namen toevoegen, Save. Tree moet die folders tonen; folderklik filtert instances.
  3. YAML uploaden / Download YAML / Reset to default (terug naar huidige layout).
  4. Ongeldige YAML: Operations blijft op default; editor toont de ruwe tekst om te herstellen.
**Slice 3 gestart** (uploadbare dashboarddefinities + handmatig bewerken). Geen PR. - Branch: `feat/issue-178-dashboard-definitions` - Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/227c8a351981b5c053106b7c579f36ac3a838998 ### Wat erin zit Operations kan nu een dashboarddefinitie laden, toepassen, uploaden en in de UI bewerken. - Opslag: runtime-artifact `dashboards/operations.yaml` (zelfde storage-pad als andere artifacts; ook via Storage Browser). - API: `GET/PUT/POST/DELETE /api/operations/dashboard-definition` — lezen met `operations:view`, schrijven/resetten als platform admin. - Geen definitie (of leeg / `useDefault: true`) → huidige layout blijft de default (deployment-`group`-tree + vaste kolommen, 24u-venster ongemoeid). - Operations-pagina: hint welke layout actief is; admins krijgen **Dashboard definition** met form (folders/columns) én YAML, plus Upload / Download / Save / Reset. - Folders in de definitie groeperen de Operations-tree; klikken op een folder filtert runs via `workflows=`. - Extra `columns` (bron `context.<key>` of een run-veld) komen in de tabel; ontbrekende waarden tonen `—` (ledger heeft nog geen berichtcontext, dat is slice 2). Voorbeeld: ```yaml apiVersion: meshflows.io/v1 kind: OperationsDashboard name: default folders: - id: orders label: Orders workflows: - order-intake - order-fulfill columns: - id: dsav label: DSAV source: context.dsav ``` ### Expres buiten deze slice - Slice 1: geen DSAV-groepen / catalogus-folders als eerste-klas concept (alleen het folders-veld in het schema + tree-toepassing). - Slice 2: geen echte kolommen uit berichtcontext (geen extra ledger-velden; extra kolommen zijn een hook). - Geen PR, geen VERSION-bump (blijft 0.4.4). ### Verifiëren op dev (na deploy van deze branch) 1. Operations openen als operator: layout gelijk aan nu (default 1 dag, bestaande tree). 2. Als admin: **Dashboard definition → Edit**, folder + workflow-namen toevoegen, **Save**. Tree moet die folders tonen; folderklik filtert instances. 3. YAML uploaden / Download YAML / **Reset to default** (terug naar huidige layout). 4. Ongeldige YAML: Operations blijft op default; editor toont de ruwe tekst om te herstellen.
Owner

Main gemerged in deze branch (geen PR naar main, geen VERSION-bump).

  • Feature-commit: 227c8a3 (feat: add uploadable Operations dashboard definitions)
  • origin/main HEAD: 2180c1e (Merge pull request #188)
  • Merge-commit: 2aeda1a (Merge branch 'main' into feat/issue-178-dashboard-definitions)
  • Push: 227c8a3..2aeda1a op feat/issue-178-dashboard-definitions

Commits van main die erbij kwamen:

  • ccc35cb — fix: annotate per-env Gateway on TLS IncorrectIssuer (#187)
  • c76842b — docs: add Forgejo container package cleanup runbook (#138)
  • 2180c1e — Merge pull request #188

#186 zat al in de merge-base (e0aa576).

CI voor 2aeda1a (feat-push triggert build + deploy naar dev):

**Main gemerged in deze branch** (geen PR naar main, geen VERSION-bump). - Feature-commit: `227c8a3` (feat: add uploadable Operations dashboard definitions) - `origin/main` HEAD: `2180c1e` (Merge pull request #188) - Merge-commit: `2aeda1a` (`Merge branch 'main' into feat/issue-178-dashboard-definitions`) - Push: `227c8a3..2aeda1a` op `feat/issue-178-dashboard-definitions` Commits van main die erbij kwamen: - `ccc35cb` — fix: annotate per-env Gateway on TLS IncorrectIssuer (#187) - `c76842b` — docs: add Forgejo container package cleanup runbook (#138) - `2180c1e` — Merge pull request #188 #186 zat al in de merge-base (`e0aa576`). CI voor `2aeda1a` (feat-push triggert build + deploy naar **dev**): - test.yml: success — https://code.meshflows.org/MeshFlowsGPL/meshflows/actions/runs/2762 - build.yml: success — https://code.meshflows.org/MeshFlowsGPL/meshflows/actions/runs/2761 - deploy-dev.yml: gestart/blocked tot build klaar — https://code.meshflows.org/MeshFlowsGPL/meshflows/actions/runs/2763
Owner

Slice 3 op dev: Operations deed niets (JS SyntaxError)

Wat een admin zag

  • De Operations-tree in de sidebar bleef zichtbaar, maar klikken op All instances of een flow deed niets.
  • Console: Uncaught SyntaxError: Unexpected token '}' in app.operations.js (rond regel 638). Daarna TypeError: callback is not a function bij de nav-click (_confirmDiscardEdits(selectOperationsView)).
  • Geen KPI's, geen runs, geen definitie-editor. Dit treft admin én operator: het hele Operations-script laadde niet.

Oorzaak (geen lege ledger)
In 227c8a3 (#178 slice 3) stond het Open/Resume/Expand-listenerblok van _renderOperationsRuns per ongeluk twee keer: een keer in de functie, en een keer erna. Die tweede kopie sloot met een extra }, waardoor app.operations.js niet parseerde. selectOperationsView / loadOperationsView bestonden daardoor niet; /api/runs en /api/operations/dashboard-definition werden nooit aangeroepen.

Deploy run 2763 was succesvol; de bug zat in de gebouwde JS, niet in de pipeline.

Fix

Verifiëren na de nieuwe deploy

  1. Hard refresh op https://dev-dashboard.meshflows.org
  2. Als admin: Operations → All instances: KPI's, queue strip, runs-tabel, Dashboard definition-kaart
  3. Flow in de tree aanklikken filtert runs; tabs Active / Attention / All werken
  4. Edit / Save / Upload / Reset van de definitie (alleen platform-admin)
  5. Console zonder SyntaxError op app.operations.js
## Slice 3 op dev: Operations deed niets (JS SyntaxError) **Wat een admin zag** - De Operations-tree in de sidebar bleef zichtbaar, maar klikken op **All instances** of een flow deed niets. - Console: `Uncaught SyntaxError: Unexpected token '}'` in `app.operations.js` (rond regel 638). Daarna `TypeError: callback is not a function` bij de nav-click (`_confirmDiscardEdits(selectOperationsView)`). - Geen KPI's, geen runs, geen definitie-editor. Dit treft admin én operator: het hele Operations-script laadde niet. **Oorzaak (geen lege ledger)** In `227c8a3` (#178 slice 3) stond het Open/Resume/Expand-listenerblok van `_renderOperationsRuns` per ongeluk **twee keer**: een keer in de functie, en een keer erna. Die tweede kopie sloot met een extra `}`, waardoor `app.operations.js` niet parseerde. `selectOperationsView` / `loadOperationsView` bestonden daardoor niet; `/api/runs` en `/api/operations/dashboard-definition` werden nooit aangeroepen. Deploy [run 2763](https://code.meshflows.org/MeshFlowsGPL/meshflows/actions/runs/2763) was succesvol; de bug zat in de gebouwde JS, niet in de pipeline. **Fix** - Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/6bce8ffaed3fbf9a48ec91327603934d5d353359 - Branch: `feat/issue-178-dashboard-definitions` (geen PR) - Nieuwe deploy: https://code.meshflows.org/MeshFlowsGPL/meshflows/actions/runs/2764 **Verifiëren na de nieuwe deploy** 1. Hard refresh op https://dev-dashboard.meshflows.org 2. Als admin: Operations → All instances: KPI's, queue strip, runs-tabel, **Dashboard definition**-kaart 3. Flow in de tree aanklikken filtert runs; tabs Active / Attention / All werken 4. Edit / Save / Upload / Reset van de definitie (alleen platform-admin) 5. Console zonder SyntaxError op `app.operations.js`
Owner

Slice 2 — contextkolommen, meerdere dashboardconfigs, samples (weather + heartbeat)

Branch: feat/issue-178-dashboard-definitions
Commit: ce4d930 — feat: Operations context columns and multi-config sample dashboards (#178)
Geen PR, geen VERSION-bump.

Model (meerdere configs)

Niet meer één globale file die alle kolommen deelt. Runtime-artifacts:

  • dashboards/operations.yaml — All instances + boommap samples (legacy pad blijft)
  • dashboards/samples-weather.yaml — scope weather_current → kolom Plaats (context.plaats)
  • dashboards/samples-heartbeat.yaml — scope heartbeat_timestamp → kolom Timestamp (context.timestamp)

Resolutie:

  • All instances → alleen de default (geen extra kolommen)
  • Folder samples → unie van kolommen van de flows in die map (plaats + timestamp; ontbrekend = —)
  • Eén flow → alleen die flow zijn kolommen

API: GET/PUT/DELETE /api/operations/dashboard-definitions (+ /{name}). Oude /api/operations/dashboard-definition blijft het default-document.

Rechten

Gelijk aan Connections/Storage, geen nieuw IAM:

  • Bekijken (lijst + actieve kolommen): operations:view (of platform-admin)
  • Bewerken / verwijderen / upload in de UI: platform-admin
  • Deploy-seed: runtime-admin token in CI

Geen per-definitie ACL in deze slice.

Deploy-seed

flows/dashboards/*.yaml gaat mee in de standaard flow-upload naar artifacts/dashboards/ met overwrite=false (zelfde patroon als exclusive dummy-secret: 409 = al aanwezig, UI-edits blijven). Workflows/triggers overschrijven wél altijd.

Nieuwe cluster: drie docs worden aangemaakt. Bestaande operations.yaml in een env wordt niet geclobberd; de twee samples-docs komen er alsnog bij als ze ontbreken.

Samples

Flow Folder Contextpad Start
weather_current samples context.plaats uit Weatherstack /location/name POST /v1/api/samples/weather-current JSON {"query":"Amsterdam","units":"m"}
heartbeat_timestamp (bestaand, group → samples) samples context.timestamp via output_key HTTP POST /v1/api/samples/heartbeat-timestamp of schema-trigger

Weather hergebruikt connection weatherstack (-access-key). Zonder live key faalt de call; Plaats blijft — tot er een geslaagde response is.

Contextkolommen (engine)

Run-context (gefilterd, secrets/_-keys/blobs weggelaten) wordt op de run-rij gezet (workflow_runs.context_json, migratie 0005) en zit in GET /api/runs als context. Operations lookup: context.<key>.

Verifiëren op https://dev-dashboard.meshflows.org (na deploy van deze feat-branch)

  1. Operations → boom samples (weather_current, heartbeat_timestamp).
  2. Start weather (voorbeeldpayload Amsterdam). Na succes: kolom Plaats = Amsterdam.
  3. Start heartbeat. Kolom Timestamp = ISO-string.
  4. Folder samples geselecteerd: beide kolommen, ontbrekend = —.
  5. All instances: geen plaats/timestamp-kolommen.
  6. Admin: Dashboard definitions-selector (operations / samples-weather / samples-heartbeat). Operators met alleen operations:view zien de tabel, kunnen niet saven.
## Slice 2 — contextkolommen, meerdere dashboardconfigs, samples (weather + heartbeat) Branch: `feat/issue-178-dashboard-definitions` Commit: `ce4d930` — *feat: Operations context columns and multi-config sample dashboards (#178)* Geen PR, geen VERSION-bump. ### Model (meerdere configs) Niet meer één globale file die alle kolommen deelt. Runtime-artifacts: - `dashboards/operations.yaml` — **All instances** + boommap **samples** (legacy pad blijft) - `dashboards/samples-weather.yaml` — scope `weather_current` → kolom **Plaats** (`context.plaats`) - `dashboards/samples-heartbeat.yaml` — scope `heartbeat_timestamp` → kolom **Timestamp** (`context.timestamp`) Resolutie: - **All instances** → alleen de default (geen extra kolommen) - **Folder samples** → unie van kolommen van de flows in die map (plaats + timestamp; ontbrekend = —) - **Eén flow** → alleen die flow zijn kolommen API: `GET/PUT/DELETE /api/operations/dashboard-definitions` (+ `/{name}`). Oude `/api/operations/dashboard-definition` blijft het default-document. ### Rechten Gelijk aan Connections/Storage, geen nieuw IAM: - **Bekijken** (lijst + actieve kolommen): `operations:view` (of platform-admin) - **Bewerken / verwijderen / upload in de UI**: platform-admin - **Deploy-seed**: runtime-admin token in CI Geen per-definitie ACL in deze slice. ### Deploy-seed `flows/dashboards/*.yaml` gaat mee in de standaard flow-upload naar `artifacts/dashboards/` met **`overwrite=false`** (zelfde patroon als exclusive dummy-secret: 409 = al aanwezig, UI-edits blijven). Workflows/triggers overschrijven wél altijd. Nieuwe cluster: drie docs worden aangemaakt. Bestaande `operations.yaml` in een env wordt niet geclobberd; de twee samples-docs komen er alsnog bij als ze ontbreken. ### Samples | Flow | Folder | Contextpad | Start | |------|--------|------------|--------| | `weather_current` | `samples` | `context.plaats` uit Weatherstack `/location/name` | `POST /v1/api/samples/weather-current` JSON `{"query":"Amsterdam","units":"m"}` | | `heartbeat_timestamp` (bestaand, group → samples) | `samples` | `context.timestamp` via `output_key` | HTTP `POST /v1/api/samples/heartbeat-timestamp` of schema-trigger | Weather hergebruikt connection `weatherstack` (`-access-key`). Zonder live key faalt de call; Plaats blijft — tot er een geslaagde response is. ### Contextkolommen (engine) Run-context (gefilterd, secrets/`_`-keys/blobs weggelaten) wordt op de run-rij gezet (`workflow_runs.context_json`, migratie `0005`) en zit in `GET /api/runs` als `context`. Operations lookup: `context.<key>`. ### Verifiëren op https://dev-dashboard.meshflows.org (na deploy van deze feat-branch) 1. Operations → boom **samples** (`weather_current`, `heartbeat_timestamp`). 2. Start weather (voorbeeldpayload Amsterdam). Na succes: kolom **Plaats** = Amsterdam. 3. Start heartbeat. Kolom **Timestamp** = ISO-string. 4. Folder samples geselecteerd: beide kolommen, ontbrekend = —. 5. All instances: geen plaats/timestamp-kolommen. 6. Admin: Dashboard definitions-selector (operations / samples-weather / samples-heartbeat). Operators met alleen `operations:view` zien de tabel, kunnen niet saven.
Author
Contributor

Ik mis nog wel wat matches met mijn screenshot:
afbeelding
Ik had eigenlijk gehoopt dat bijvoorbeeld de plaats als kolom ziochtbaar was en eventueel zoekbaar was in het dashboard.

Ik mis nog wel wat matches met mijn screenshot: ![afbeelding](/attachments/5fd8a4bc-3469-4b6e-8d28-e1fe5930310d) Ik had eigenlijk gehoopt dat bijvoorbeeld de plaats als kolom ziochtbaar was en eventueel zoekbaar was in het dashboard.
Owner

Comment gelezen + start/follow-up (#178)

Wat ik las (Marc, 17-09): je miste matches met de screenshot; je had gehoopt dat plaats als kolom zichtbaar was en eventueel zoekbaar. Extra: voor ERPNext is er al een webhook + vervolg-workflow.

Waarom Plaats niet op die screenshot stond: de geselecteerde flow was weatherstack_current_demo (group Examples). Kolom context.plaats hoort bij weather_current in folder samples. Extra kolommen stonden bovendien ná Heartbeat/Updated (makkelijk uit beeld).

Wat er nu in zit

Commit: 18be891 — branch feat/issue-178-dashboard-definitions (geen PR, geen VERSION-bump).

Schema: folders / scope.workflows mogen namen blijven, of {name, role: start|followup}. Extra kolommen zijn searchable (default aan). Form: name:start, name:followup.

UI (Marc): extra contextkolommen staan direct na Status; zoeken includeert die kolommen + overige contextwaarden; placeholder noemt o.a. Plaats als die kolom actief is.

Eerste gerelateerde pair (bestaande YAML, niet opnieuw gebouwd):

Rol Workflow Start
start erpnext_products_publish webhook POST /v1/webhooks/erpnext/products
followup erpnext_products_notify AMQP MasterData/Products/Publish/1.0

Dashboard-entry: dashboards/erpnext-products.yaml (seed-if-absent). Folder ERPNext (niet samples). Weather/heartbeat 1:1-docs blijven.

Contextkolommen op die view

  • context.product_id — CDM Item/ID (kleine context_extract_xml op beide flows, zelfde waarde als de bestaande log/mail)
  • context.dsav.action / context.dsav.routing_key — al gezet door topic.send / AMQP-headers (ook dsav.domain|service|version)

Folderklik toont beide workflows; filter Related = All / Start / Follow-up; rijen met dezelfde correlation_id groeperen (start eerst). Expand blijft de keten via GET /api/runs/{id}/related.

Correlatie: wat al bestaat vs later

Ledger heeft al correlation_id, parent_run_id / meshflows.root_run_id (AMQP/HTTP-headers). Publisher→subscriber deelt die boom; Operations toont die keten bij expand + groepeert in deze folder.

Nog geen aparte business-correlation (eigen DSAV/conversation-id naast de engine-id) en geen convoy-set van N follow-ups zonder gedeelde correlation_id. Zonder gedeelde id blijven rijen per workflownaam in dezelfde folder staan.

Rechten ongewijzigd: view operations:view, write platform-admin.

Verifiëren op https://dev-dashboard.meshflows.org (na deploy van deze branch)

  1. Hard refresh.
  2. Plaats: Operations → folder samples of flow weather_current (niet weatherstack_current_demo). Kolom Plaats na Status. Zoek Amsterdam na een geslaagde weather-run.
  3. ERPNext: boom ERPNext → erpnext_products_publish (start) + erpnext_products_notify (follow-up). Folderklik: beide runs, kolommen Product / DSAV action / Routing key. Expand: subsequent flows op dezelfde correlation. Filter Related: Start vs Follow-up.
  4. All instances: geen extra kolommen. Admin: selector toont erpnext-products.
## Comment gelezen + start/follow-up (#178) **Wat ik las (Marc, 17-09):** je miste matches met de screenshot; je had gehoopt dat **plaats als kolom zichtbaar** was en **eventueel zoekbaar**. Extra: voor ERPNext is er al een **webhook + vervolg-workflow**. **Waarom Plaats niet op die screenshot stond:** de geselecteerde flow was `weatherstack_current_demo` (group Examples). Kolom `context.plaats` hoort bij `weather_current` in folder **samples**. Extra kolommen stonden bovendien ná Heartbeat/Updated (makkelijk uit beeld). ### Wat er nu in zit Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/18be891 — branch `feat/issue-178-dashboard-definitions` (geen PR, geen VERSION-bump). **Schema:** `folders` / `scope.workflows` mogen namen blijven, of `{name, role: start|followup}`. Extra kolommen zijn **searchable** (default aan). Form: `name:start, name:followup`. **UI (Marc):** extra contextkolommen staan **direct na Status**; zoeken includeert die kolommen + overige contextwaarden; placeholder noemt o.a. Plaats als die kolom actief is. **Eerste gerelateerde pair (bestaande YAML, niet opnieuw gebouwd):** | Rol | Workflow | Start | |-----|----------|--------| | **start** | `erpnext_products_publish` | webhook `POST /v1/webhooks/erpnext/products` | | **followup** | `erpnext_products_notify` | AMQP `MasterData/Products/Publish/1.0` | Dashboard-entry: `dashboards/erpnext-products.yaml` (seed-if-absent). Folder **ERPNext** (niet samples). Weather/heartbeat 1:1-docs blijven. **Contextkolommen op die view** - `context.product_id` — CDM `Item/ID` (kleine `context_extract_xml` op beide flows, zelfde waarde als de bestaande log/mail) - `context.dsav.action` / `context.dsav.routing_key` — al gezet door topic.send / AMQP-headers (ook `dsav.domain|service|version`) Folderklik toont **beide** workflows; filter Related = All / Start / Follow-up; rijen met dezelfde `correlation_id` groeperen (start eerst). Expand blijft de keten via `GET /api/runs/{id}/related`. ### Correlatie: wat al bestaat vs later Ledger heeft al `correlation_id`, `parent_run_id` / `meshflows.root_run_id` (AMQP/HTTP-headers). Publisher→subscriber deelt die boom; Operations toont die keten bij expand + groepeert in deze folder. Nog geen aparte business-correlation (eigen DSAV/conversation-id naast de engine-id) en geen convoy-set van N follow-ups zonder gedeelde `correlation_id`. Zonder gedeelde id blijven rijen per workflownaam in dezelfde folder staan. Rechten ongewijzigd: view `operations:view`, write platform-admin. ### Verifiëren op https://dev-dashboard.meshflows.org (na deploy van deze branch) 1. Hard refresh. 2. **Plaats:** Operations → folder **samples** of flow `weather_current` (niet `weatherstack_current_demo`). Kolom **Plaats** na Status. Zoek `Amsterdam` na een geslaagde weather-run. 3. **ERPNext:** boom **ERPNext** → `erpnext_products_publish` (start) + `erpnext_products_notify` (follow-up). Folderklik: beide runs, kolommen Product / DSAV action / Routing key. Expand: subsequent flows op dezelfde correlation. Filter Related: Start vs Follow-up. 4. All instances: geen extra kolommen. Admin: selector toont `erpnext-products`.
Owner

Run-keten 17 sep 17:33 — bevindingen (geen volledige ERPNext-redesign)

Voorbeeld: erpnext_products_notify ef499b98-bb43-4c71-a90a-55486e821777:erpnext_products_notify (succeeded), root 47b16a53-e35b-4b6a-a8b6-8d303544762e.

Wat faalde

1. erpnext_products_publish (root, failed) — niet de nieuwe extract-stap.

Stap Status Fout
json_to_xml ok —
to_cdm ok CDM <Item><ID>100002</ID>… (Type/Description/Company leeg)
capture_product_id ok liep, maar zette product_id op "1" i.p.v. "100002"
publish_dsav ok bericht stond al op meshflows.events
done (log) failed Internal error: 'data' — values.product_id: request:json:/data/item_code

Inbound webhook was geen volledige ERPNext Item (/data/item_code), maar een DSAV-envelope {Action, Domain, Service, Item/Version, id: "100002"}. XSLT-fallback /*/id vulde CDM ID correct. De log-ref /data bestaat op dit payload niet (KeyError 'data'). Die ref is pre-existing (juli), niet nieuw in #178.

2. dsav_message_archive (subscriber, failed) — pre-existing contract, niet #178.

auto-bind initial as 'request': Expecting value: line 1 column 1 (char 0)

Archive heeft payload_format: json; het gepubliceerde body is CDM XML. Geen redesign gedaan.

3. erpnext_products_notify (subscriber, succeeded) — verwacht.

Pub/sub is dezelfde keten: RabbitMQ-publish was al ok vóór de falende logstap. Notify kreeg XML en mailde. Dat is geen verkeerde correlatie.

Schema of extract?

  • Root-fail: workflow-bug in de log-ref, getriggerd door dit envelope-payload. Niet XML/CDM-schema van Item/ID zelf.
  • Verkeerde Operations-kolom product_id=1: wél onze #178-xpath string(/Item/ID). Orchestrator behandelde string() als node-set en nam nodes[0] = eerste letter.
  • Lege CDM Type/Description/Company: pre-existing, omdat dit webhook-body geen item_code/item_name/item_group heeft. Niet aangepakt.
  • DSAV archive JSON vs XML: pre-existing, niet aangepakt.

Fix (gepusht op feat/issue-178-dashboard-definitions)

Commit bbbff66:

  • done logt nu context:product_id (CDM ID na extract), niet request:json:/data/item_code.
  • _xml_xpath_first_text houdt het volledige string()-resultaat (niet het eerste karakter).
  • Tests voor xpath string(/Item/ID) → 100002.

Na deploy van deze branch: dezelfde run-vorm moet publish succeeded tonen, Operations-kolom 100002, notify ongewijzigd groen. dsav_message_archive blijft falen tot iemand payload_format/auto-bind voor XML vs JSON oppakt (apart ticket).

## Run-keten 17 sep 17:33 — bevindingen (geen volledige ERPNext-redesign) Voorbeeld: `erpnext_products_notify` `ef499b98-bb43-4c71-a90a-55486e821777:erpnext_products_notify` (succeeded), root `47b16a53-e35b-4b6a-a8b6-8d303544762e`. ### Wat faalde **1. `erpnext_products_publish` (root, failed)** — niet de nieuwe extract-stap. | Stap | Status | Fout | |---|---|---| | `json_to_xml` | ok | — | | `to_cdm` | ok | CDM `<Item><ID>100002</ID>…` (Type/Description/Company leeg) | | `capture_product_id` | ok | liep, maar zette `product_id` op `"1"` i.p.v. `"100002"` | | `publish_dsav` | ok | bericht stond al op `meshflows.events` | | `done` (log) | **failed** | `Internal error: 'data'` — `values.product_id: request:json:/data/item_code` | Inbound webhook was geen volledige ERPNext Item (`/data/item_code`), maar een DSAV-envelope `{Action, Domain, Service, Item/Version, id: "100002"}`. XSLT-fallback `/*/id` vulde CDM ID correct. De log-ref `/data` bestaat op dit payload niet (KeyError `'data'`). Die ref is pre-existing (juli), niet nieuw in #178. **2. `dsav_message_archive` (subscriber, failed)** — pre-existing contract, niet #178. `auto-bind initial as 'request': Expecting value: line 1 column 1 (char 0)` Archive heeft `payload_format: json`; het gepubliceerde body is CDM XML. Geen redesign gedaan. **3. `erpnext_products_notify` (subscriber, succeeded)** — verwacht. Pub/sub is dezelfde keten: RabbitMQ-publish was al ok vóór de falende logstap. Notify kreeg XML en mailde. Dat is geen verkeerde correlatie. ### Schema of extract? - **Root-fail:** workflow-bug in de log-ref, getriggerd door dit envelope-payload. Niet XML/CDM-schema van Item/ID zelf. - **Verkeerde Operations-kolom `product_id=1`:** wél onze #178-xpath `string(/Item/ID)`. Orchestrator behandelde `string()` als node-set en nam `nodes[0]` = eerste letter. - **Lege CDM Type/Description/Company:** pre-existing, omdat dit webhook-body geen `item_code`/`item_name`/`item_group` heeft. Niet aangepakt. - **DSAV archive JSON vs XML:** pre-existing, niet aangepakt. ### Fix (gepusht op `feat/issue-178-dashboard-definitions`) Commit `bbbff66`: - `done` logt nu `context:product_id` (CDM ID na extract), niet `request:json:/data/item_code`. - `_xml_xpath_first_text` houdt het volledige `string()`-resultaat (niet het eerste karakter). - Tests voor xpath `string(/Item/ID)` → `100002`. Na deploy van deze branch: dezelfde run-vorm moet publish **succeeded** tonen, Operations-kolom **100002**, notify ongewijzigd groen. `dsav_message_archive` blijft falen tot iemand payload_format/auto-bind voor XML vs JSON oppakt (apart ticket).
Owner

Operations-overzicht: nesten op runtime-keten (niet alleen correlation_id) — 10d52c1 op feat/issue-178-dashboard-definitions.

Waarom correlatie faalde

Het overzicht groepeerde op correlation_id (vaak gelijk aan de eigen run-id van de subscriber). Daardoor stonden erpnext_products_publish (47b16a53…), erpnext_products_notify en dsav_message_archive (ef499b98…) als losse rijen, elk met “No subsequent flows on this correlation yet.” Run-details koppelde ze wél via root_run_id / parent_run_id (pub/sub).

Hoe parent/child nu bepaald wordt

Zelfde keten als run-details:

  1. parent_run_id (directe opvolger; siblings delen dezelfde parent)
  2. anders root_run_id / related-root
  3. anders correlation alleen als fallback
  4. dashboard-rol start is een hint als de root ambigu is — de boom volgt de runtime-opvolging

Collapsed = eerste workflow in de reeks (start/root, bv. publish). Uitklappen toont directe children (siblings) genest; een workflow die op een child volgt hangt als grandchild onder die tussenliggende run. Extra subscribers zoals dsav_message_archive blijven in de boom (via include_related), ook als ze niet in de folder-definitie staan.

Geen ledger-stappen meer in dit overzicht; Open blijft voor de run-detail.

Status-rollup

Collapsed node toont failed als enige descendant failed is (child of grandchild), ook als de node zelf succeeded. Als alle descendants ok zijn, blijft de parent succeeded.

Verifiëren (ERPNext-folder)

  1. Operations → folder ERPNext → tab All, venster last 1 day.
  2. Eén collapsed rij per keten: erpnext_products_publish als parent; geen step-tables; geen “No subsequent flows…”.
  3. Parent-status failed zolang archive en/of publish failed is (ook als notify succeeded).
  4. Uitklappen: erpnext_products_notify + dsav_message_archive als children. Als notify pas ná een andere subscriber start, hangt die als grandchild onder die run.
**Operations-overzicht: nesten op runtime-keten (niet alleen correlation_id)** — `10d52c1` op `feat/issue-178-dashboard-definitions`. ### Waarom correlatie faalde Het overzicht groepeerde op `correlation_id` (vaak gelijk aan de eigen run-id van de subscriber). Daardoor stonden `erpnext_products_publish` (`47b16a53…`), `erpnext_products_notify` en `dsav_message_archive` (`ef499b98…`) als losse rijen, elk met “No subsequent flows on this correlation yet.” Run-details koppelde ze wél via `root_run_id` / `parent_run_id` (pub/sub). ### Hoe parent/child nu bepaald wordt Zelfde keten als run-details: 1. `parent_run_id` (directe opvolger; siblings delen dezelfde parent) 2. anders `root_run_id` / related-root 3. anders correlation alleen als fallback 4. dashboard-rol `start` is een hint als de root ambigu is — de boom volgt de runtime-opvolging Collapsed = eerste workflow in de reeks (start/root, bv. publish). Uitklappen toont directe children (siblings) genest; een workflow die op een child volgt hangt als **grandchild** onder die tussenliggende run. Extra subscribers zoals `dsav_message_archive` blijven in de boom (via `include_related`), ook als ze niet in de folder-definitie staan. Geen ledger-stappen meer in dit overzicht; Open blijft voor de run-detail. ### Status-rollup Collapsed node toont **failed** als **enige descendant** failed is (child of grandchild), ook als de node zelf succeeded. Als alle descendants ok zijn, blijft de parent succeeded. ### Verifiëren (ERPNext-folder) 1. Operations → folder ERPNext → tab All, venster last 1 day. 2. Eén collapsed rij per keten: `erpnext_products_publish` als parent; **geen** step-tables; geen “No subsequent flows…”. 3. Parent-status **failed** zolang archive en/of publish failed is (ook als notify succeeded). 4. Uitklappen: `erpnext_products_notify` + `dsav_message_archive` als children. Als notify pas ná een andere subscriber start, hangt die als grandchild onder die run.
Owner

Waarom dsav_message_archive ontbrak in het ERPNext-overzicht

De keten (root 5ecf3f93…) stond wél in traces (publish + archive + notify), maar het Operations-overzicht leest de run-ledger. Twee filters hakten archive eruit:

  1. Folder ERPNext scoped alleen erpnext_products_publish + erpnext_products_notify. Archive zat niet in die query.
  2. include_related zocht children via context.meshflows.parent/root_run_id. De failed archive-rij had lege context_json (geen parent/root op de ledger), dus de expander vond hem niet. Notify wél, omdat die context wél had.

Daardoor bleef alleen publish+notify over; archive was geen child, en de collapsed parent bleef groen.

Fix (4e3eeb5 op feat/issue-178-dashboard-definitions, geen PR):

  • Folder/scope filtert welke roots je ziet (ERPNext start-flow). Related children (ook archive, ook buiten de YAML) gaan mee.
  • Linkage schrijven bij run-start + traces als vangnet voor lege ledger-context, zodat deze failed archive ook onder de parent komt.
  • Failed child → collapsed parent failed.

Verifiëren na deploy (Operations → folder ERPNext → tab All instances): publish als parent, archive + notify als children; parent collapsed failed zolang archive failed is. Hard refresh tegen JS-cache. DSAV JSON-vs-XML auto-bind is niet in deze slice.

**Waarom dsav_message_archive ontbrak in het ERPNext-overzicht** De keten (root `5ecf3f93…`) stond wél in traces (publish + archive + notify), maar het Operations-overzicht leest de **run-ledger**. Twee filters hakten archive eruit: 1. Folder ERPNext scoped alleen `erpnext_products_publish` + `erpnext_products_notify`. Archive zat niet in die query. 2. `include_related` zocht children via `context.meshflows.parent/root_run_id`. De failed archive-rij had **lege** `context_json` (geen parent/root op de ledger), dus de expander vond hem niet. Notify wél, omdat die context wél had. Daardoor bleef alleen publish+notify over; archive was geen child, en de collapsed parent bleef groen. **Fix** (`4e3eeb5` op `feat/issue-178-dashboard-definitions`, geen PR): - Folder/scope filtert welke **roots** je ziet (ERPNext start-flow). Related children (ook archive, ook buiten de YAML) gaan mee. - Linkage schrijven bij run-start + traces als vangnet voor lege ledger-context, zodat deze failed archive ook onder de parent komt. - Failed child → collapsed parent **failed**. **Verifiëren na deploy** (Operations → folder ERPNext → tab All instances): publish als parent, archive + notify als children; parent collapsed **failed** zolang archive failed is. Hard refresh tegen JS-cache. DSAV JSON-vs-XML auto-bind is **niet** in deze slice.
Owner

Expand/collapse-affordance in Operations (geen extra ledger-stappen).

De mini-chevrons in de eerste kolom zijn nu een 32px .btn met dezelfde chevron (▶, roteert bij open) als de rest van het dashboard. Tooltip/aria: Show related runs / Hide related runs. Child-rows hebben een lichte achtergrond en accentstreep in de expand-kolom; de workflow-indent blijft.

Commit: 03fa4dd611
Branch: feat/issue-178-dashboard-definitions

Na deploy: hard refresh (Ctrl+F5) op Operations.

**Expand/collapse-affordance in Operations** (geen extra ledger-stappen). De mini-chevrons in de eerste kolom zijn nu een **32px** `.btn` met dezelfde chevron (▶, roteert bij open) als de rest van het dashboard. Tooltip/aria: *Show related runs* / *Hide related runs*. Child-rows hebben een lichte achtergrond en accentstreep in de expand-kolom; de workflow-indent blijft. Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/03fa4dd611cf5fd277f2bfd336cbdac529c63647 Branch: `feat/issue-178-dashboard-definitions` Na deploy: hard refresh (Ctrl+F5) op Operations.
Owner

Concept bestond niet. Context is per run (context_json / display_context); kolommen zoals context.plaats lezen alleen die run. Status van children rolt al op naar de parent in de UI, maar sub-flow properties niet. Business events (type: log → Loki) zijn een ander spoor, geen Operations-kolom.

Milestones (deze slice)

  • Stap type: milestone schrijft context.milestone + context.milestone_at (UTC).
  • De Operations list-API (GET /api/runs?include_related=true) kopieert de laatste geschreven waarde in de related-run-keten naar de runtime-root / parent-rij. "Laatste" = hoogste milestone_at, anders updated_at van de schrijvende run. Child-rijen houden hun eigen context.
  • context_set met key milestone telt ook mee bij rollup. Rechten ongewijzigd (operations:view / platform-admin write).

ERPNext dashboard

  • Verwijderd (repo + nu ook meshflows-dev storage): erpnext-products.yaml (product_id / DSAV-kolommen). Workflows erpnext_products_* blijven.
  • Nieuw seed: flows/dashboards/erpnext-onramp.yaml — folder ERPNext, scoped op erpnext_onramp (role start), kolom Milestone → context.milestone.
  • Writes: erpnext_onramp zet bij start received; erpnext_onramp_item_subscribe en *_delta zetten completed na succesvolle verwerking.

Hoe te zien (na deploy van deze branch)

  1. Operations → folder ERPNext.
  2. Parent-rij is de onramp-run.
  3. Alleen onramp → Milestone received.
  4. Subscribe (of delta) erna in dezelfde keten → dezelfde parent toont completed.

Commit: f0256191ef (feat/issue-178-dashboard-definitions). Geen PR, geen VERSION-bump.

Concept bestond **niet**. Context is per run (`context_json` / `display_context`); kolommen zoals `context.plaats` lezen alleen die run. Status van children rolt al op naar de parent in de UI, maar sub-flow **properties** niet. Business events (`type: log` → Loki) zijn een ander spoor, geen Operations-kolom. **Milestones (deze slice)** - Stap `type: milestone` schrijft `context.milestone` + `context.milestone_at` (UTC). - De Operations list-API (`GET /api/runs?include_related=true`) kopieert de **laatste geschreven** waarde in de related-run-keten naar de **runtime-root / parent-rij**. "Laatste" = hoogste `milestone_at`, anders `updated_at` van de schrijvende run. Child-rijen houden hun eigen context. - `context_set` met key `milestone` telt ook mee bij rollup. Rechten ongewijzigd (`operations:view` / platform-admin write). **ERPNext dashboard** - Verwijderd (repo + nu ook `meshflows-dev` storage): `erpnext-products.yaml` (product_id / DSAV-kolommen). Workflows `erpnext_products_*` blijven. - Nieuw seed: `flows/dashboards/erpnext-onramp.yaml` — folder **ERPNext**, scoped op `erpnext_onramp` (role start), kolom **Milestone** → `context.milestone`. - Writes: `erpnext_onramp` zet bij start `received`; `erpnext_onramp_item_subscribe` en `*_delta` zetten `completed` na succesvolle verwerking. **Hoe te zien** (na deploy van deze branch) 1. Operations → folder ERPNext. 2. Parent-rij is de onramp-run. 3. Alleen onramp → Milestone `received`. 4. Subscribe (of delta) erna in dezelfde keten → dezelfde parent toont `completed`. Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/f0256191ef05c89ed00ea5ee438aaf40a7f1d1bf (`feat/issue-178-dashboard-definitions`). Geen PR, geen VERSION-bump.
Owner

Delete naast Edit op Dashboard definitions (hamburger in de kaartkop; platform-admin only, zelfde als Edit).

De kop van de Operations-kaart Dashboard definitions heeft geen losse Edit meer. Rechts staat ⋯ (tnOperationsDefMenu) met Edit, Delete en Download YAML. New en Upload YAML blijven zichtbare primaire acties.

Delete vraagt confirm met de documentnaam, doet DELETE /api/operations/dashboard-definitions/{name}, en ververst daarna lijst/selector (valt terug op operations). Het oude Reset to default in de editor-footer is weg — dat was hetzelfde pad onder een andere naam.

Hard refresh van de dashboard-UI nodig voor JS/CSS.

Commit: 8c1aa6ff40

**Delete naast Edit op Dashboard definitions** (hamburger in de kaartkop; platform-admin only, zelfde als Edit). De kop van de Operations-kaart *Dashboard definitions* heeft geen losse Edit meer. Rechts staat **⋯** (tnOperationsDefMenu) met **Edit**, **Delete** en **Download YAML**. **New** en **Upload YAML** blijven zichtbare primaire acties. **Delete** vraagt confirm met de documentnaam, doet DELETE /api/operations/dashboard-definitions/{name}, en ververst daarna lijst/selector (valt terug op operations). Het oude **Reset to default** in de editor-footer is weg — dat was hetzelfde pad onder een andere naam. Hard refresh van de dashboard-UI nodig voor JS/CSS. Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/8c1aa6ff40e38927c829b22a26ae2dd70f0a4290
Owner

PR naar main: #189

Issue #178 blijft open voor verdere verfijning. Deze PR is bewust niet gekoppeld als closer, zodat we verder kunnen met andere ontwikkelingen terwijl de dashboard-verfijning op dit ticket kan doorlopen.

PR naar main: https://code.meshflows.org/MeshFlowsGPL/meshflows/pulls/189 Issue #178 blijft open voor verdere verfijning. Deze PR is bewust niet gekoppeld als closer, zodat we verder kunnen met andere ontwikkelingen terwijl de dashboard-verfijning op dit ticket kan doorlopen.
Owner

PR #189 is gemerged naar main (merge-commit d3f7b6b61b9d6da4132f782df5021a12a4bb804f).

Dit issue blijft open voor verfijning. Geen VERSION-bump (blijft 0.4.4).

PR https://code.meshflows.org/MeshFlowsGPL/meshflows/pulls/189 is gemerged naar `main` (merge-commit `d3f7b6b61b9d6da4132f782df5021a12a4bb804f`). Dit issue blijft open voor verfijning. Geen VERSION-bump (blijft 0.4.4).
Sign in to join this conversation.
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#178
No description provided.