Operations dashboard aanpassingen #178
Labels
No labels
prio/P1
prio/P2
prio/P3
status/leftover
status/new
status/parked
type/feature
type/ops
type/research
No milestone
No project
No assignees
2 participants
Notifications
Due date
No due date set.
Dependencies
No dependencies set
Reference
MeshFlowsGPL/meshflows#178
Loading…
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Ik zou graag in het dashboard de mogelijkheid hebben om folders te definieren met workflow namen. Een workflow is alles wat aan een bepaald DSAV voldoen. Ik wil kolommen kunnen bepalen op basis van context van de berichten.

Als we een dashboard definitie (die ik wil uploaden in een deployment) hebben dan wil ik de operations op basis van deze definities hebben. De huidige opzet is dan de default als we geen definities hebben.
Triage 2026-09-16
Buiten scope van dit ticket
Het 24u-tijdvenster (#181) zit al op main (default “last 1 day”, presets 30m/1h/3h/1d + custom). Dat is niet dit werk.
Huidige staat
group(slash-pad in de catalogus), niet op configureerbare folders of DSAV.Slices (voorgestelde volgorde)
Slice 3 is de overkoepelende vorm. 1 en 2 kunnen eerst tegen één intern schema; upload/deploy-wiring volgt daarna.
Volgende stap: kies slice 1 (folders) of zeg als 3 (definitie-formaat) eerst het contract moet zijn. Geen implementatie tot die keuze.
Slice 3 gestart (uploadbare dashboarddefinities + handmatig bewerken). Geen PR.
feat/issue-178-dashboard-definitions227c8a3519Wat erin zit
Operations kan nu een dashboarddefinitie laden, toepassen, uploaden en in de UI bewerken.
dashboards/operations.yaml(zelfde storage-pad als andere artifacts; ook via Storage Browser).GET/PUT/POST/DELETE /api/operations/dashboard-definition— lezen metoperations:view, schrijven/resetten als platform admin.useDefault: true) → huidige layout blijft de default (deployment-group-tree + vaste kolommen, 24u-venster ongemoeid).workflows=.columns(broncontext.<key>of een run-veld) komen in de tabel; ontbrekende waarden tonen—(ledger heeft nog geen berichtcontext, dat is slice 2).Voorbeeld:
Expres buiten deze slice
Verifiëren op dev (na deploy van deze branch)
Main gemerged in deze branch (geen PR naar main, geen VERSION-bump).
227c8a3(feat: add uploadable Operations dashboard definitions)origin/mainHEAD:2180c1e(Merge pull request #188)2aeda1a(Merge branch 'main' into feat/issue-178-dashboard-definitions)227c8a3..2aeda1aopfeat/issue-178-dashboard-definitionsCommits van main die erbij kwamen:
ccc35cb— fix: annotate per-env Gateway on TLS IncorrectIssuer (#187)c76842b— docs: add Forgejo container package cleanup runbook (#138)2180c1e— Merge pull request #188#186 zat al in de merge-base (
e0aa576).CI voor
2aeda1a(feat-push triggert build + deploy naar dev):Slice 3 op dev: Operations deed niets (JS SyntaxError)
Wat een admin zag
Uncaught SyntaxError: Unexpected token '}'inapp.operations.js(rond regel 638). DaarnaTypeError: callback is not a functionbij de nav-click (_confirmDiscardEdits(selectOperationsView)).Oorzaak (geen lege ledger)
In
227c8a3(#178 slice 3) stond het Open/Resume/Expand-listenerblok van_renderOperationsRunsper ongeluk twee keer: een keer in de functie, en een keer erna. Die tweede kopie sloot met een extra}, waardoorapp.operations.jsniet parseerde.selectOperationsView/loadOperationsViewbestonden daardoor niet;/api/runsen/api/operations/dashboard-definitionwerden nooit aangeroepen.Deploy run 2763 was succesvol; de bug zat in de gebouwde JS, niet in de pipeline.
Fix
6bce8ffaedfeat/issue-178-dashboard-definitions(geen PR)Verifiëren na de nieuwe deploy
app.operations.jsSlice 2 — contextkolommen, meerdere dashboardconfigs, samples (weather + heartbeat)
Branch:
feat/issue-178-dashboard-definitionsCommit:
ce4d930— feat: Operations context columns and multi-config sample dashboards (#178)Geen PR, geen VERSION-bump.
Model (meerdere configs)
Niet meer één globale file die alle kolommen deelt. Runtime-artifacts:
dashboards/operations.yaml— All instances + boommap samples (legacy pad blijft)dashboards/samples-weather.yaml— scopeweather_current→ kolom Plaats (context.plaats)dashboards/samples-heartbeat.yaml— scopeheartbeat_timestamp→ kolom Timestamp (context.timestamp)Resolutie:
API:
GET/PUT/DELETE /api/operations/dashboard-definitions(+/{name}). Oude/api/operations/dashboard-definitionblijft het default-document.Rechten
Gelijk aan Connections/Storage, geen nieuw IAM:
operations:view(of platform-admin)Geen per-definitie ACL in deze slice.
Deploy-seed
flows/dashboards/*.yamlgaat mee in de standaard flow-upload naarartifacts/dashboards/metoverwrite=false(zelfde patroon als exclusive dummy-secret: 409 = al aanwezig, UI-edits blijven). Workflows/triggers overschrijven wél altijd.Nieuwe cluster: drie docs worden aangemaakt. Bestaande
operations.yamlin een env wordt niet geclobberd; de twee samples-docs komen er alsnog bij als ze ontbreken.Samples
weather_currentsamplescontext.plaatsuit Weatherstack/location/namePOST /v1/api/samples/weather-currentJSON{"query":"Amsterdam","units":"m"}heartbeat_timestamp(bestaand, group → samples)samplescontext.timestampviaoutput_keyPOST /v1/api/samples/heartbeat-timestampof schema-triggerWeather hergebruikt connection
weatherstack(-access-key). Zonder live key faalt de call; Plaats blijft — tot er een geslaagde response is.Contextkolommen (engine)
Run-context (gefilterd, secrets/
_-keys/blobs weggelaten) wordt op de run-rij gezet (workflow_runs.context_json, migratie0005) en zit inGET /api/runsalscontext. Operations lookup:context.<key>.Verifiëren op https://dev-dashboard.meshflows.org (na deploy van deze feat-branch)
weather_current,heartbeat_timestamp).operations:viewzien de tabel, kunnen niet saven.Ik mis nog wel wat matches met mijn screenshot:

Ik had eigenlijk gehoopt dat bijvoorbeeld de plaats als kolom ziochtbaar was en eventueel zoekbaar was in het dashboard.
Comment gelezen + start/follow-up (#178)
Wat ik las (Marc, 17-09): je miste matches met de screenshot; je had gehoopt dat plaats als kolom zichtbaar was en eventueel zoekbaar. Extra: voor ERPNext is er al een webhook + vervolg-workflow.
Waarom Plaats niet op die screenshot stond: de geselecteerde flow was
weatherstack_current_demo(group Examples). Kolomcontext.plaatshoort bijweather_currentin folder samples. Extra kolommen stonden bovendien ná Heartbeat/Updated (makkelijk uit beeld).Wat er nu in zit
Commit:
18be891— branchfeat/issue-178-dashboard-definitions(geen PR, geen VERSION-bump).Schema:
folders/scope.workflowsmogen namen blijven, of{name, role: start|followup}. Extra kolommen zijn searchable (default aan). Form:name:start, name:followup.UI (Marc): extra contextkolommen staan direct na Status; zoeken includeert die kolommen + overige contextwaarden; placeholder noemt o.a. Plaats als die kolom actief is.
Eerste gerelateerde pair (bestaande YAML, niet opnieuw gebouwd):
erpnext_products_publishPOST /v1/webhooks/erpnext/productserpnext_products_notifyMasterData/Products/Publish/1.0Dashboard-entry:
dashboards/erpnext-products.yaml(seed-if-absent). Folder ERPNext (niet samples). Weather/heartbeat 1:1-docs blijven.Contextkolommen op die view
context.product_id— CDMItem/ID(kleinecontext_extract_xmlop beide flows, zelfde waarde als de bestaande log/mail)context.dsav.action/context.dsav.routing_key— al gezet door topic.send / AMQP-headers (ookdsav.domain|service|version)Folderklik toont beide workflows; filter Related = All / Start / Follow-up; rijen met dezelfde
correlation_idgroeperen (start eerst). Expand blijft de keten viaGET /api/runs/{id}/related.Correlatie: wat al bestaat vs later
Ledger heeft al
correlation_id,parent_run_id/meshflows.root_run_id(AMQP/HTTP-headers). Publisher→subscriber deelt die boom; Operations toont die keten bij expand + groepeert in deze folder.Nog geen aparte business-correlation (eigen DSAV/conversation-id naast de engine-id) en geen convoy-set van N follow-ups zonder gedeelde
correlation_id. Zonder gedeelde id blijven rijen per workflownaam in dezelfde folder staan.Rechten ongewijzigd: view
operations:view, write platform-admin.Verifiëren op https://dev-dashboard.meshflows.org (na deploy van deze branch)
weather_current(nietweatherstack_current_demo). Kolom Plaats na Status. ZoekAmsterdamna een geslaagde weather-run.erpnext_products_publish(start) +erpnext_products_notify(follow-up). Folderklik: beide runs, kolommen Product / DSAV action / Routing key. Expand: subsequent flows op dezelfde correlation. Filter Related: Start vs Follow-up.erpnext-products.Run-keten 17 sep 17:33 — bevindingen (geen volledige ERPNext-redesign)
Voorbeeld:
erpnext_products_notifyef499b98-bb43-4c71-a90a-55486e821777:erpnext_products_notify(succeeded), root47b16a53-e35b-4b6a-a8b6-8d303544762e.Wat faalde
1.
erpnext_products_publish(root, failed) — niet de nieuwe extract-stap.json_to_xmlto_cdm<Item><ID>100002</ID>…(Type/Description/Company leeg)capture_product_idproduct_idop"1"i.p.v."100002"publish_dsavmeshflows.eventsdone(log)Internal error: 'data'—values.product_id: request:json:/data/item_codeInbound webhook was geen volledige ERPNext Item (
/data/item_code), maar een DSAV-envelope{Action, Domain, Service, Item/Version, id: "100002"}. XSLT-fallback/*/idvulde CDM ID correct. De log-ref/databestaat op dit payload niet (KeyError'data'). Die ref is pre-existing (juli), niet nieuw in #178.2.
dsav_message_archive(subscriber, failed) — pre-existing contract, niet #178.auto-bind initial as 'request': Expecting value: line 1 column 1 (char 0)Archive heeft
payload_format: json; het gepubliceerde body is CDM XML. Geen redesign gedaan.3.
erpnext_products_notify(subscriber, succeeded) — verwacht.Pub/sub is dezelfde keten: RabbitMQ-publish was al ok vóór de falende logstap. Notify kreeg XML en mailde. Dat is geen verkeerde correlatie.
Schema of extract?
product_id=1: wél onze #178-xpathstring(/Item/ID). Orchestrator behandeldestring()als node-set en namnodes[0]= eerste letter.item_code/item_name/item_groupheeft. Niet aangepakt.Fix (gepusht op
feat/issue-178-dashboard-definitions)Commit
bbbff66:donelogt nucontext:product_id(CDM ID na extract), nietrequest:json:/data/item_code._xml_xpath_first_texthoudt het volledigestring()-resultaat (niet het eerste karakter).string(/Item/ID)→100002.Na deploy van deze branch: dezelfde run-vorm moet publish succeeded tonen, Operations-kolom 100002, notify ongewijzigd groen.
dsav_message_archiveblijft falen tot iemand payload_format/auto-bind voor XML vs JSON oppakt (apart ticket).Operations-overzicht: nesten op runtime-keten (niet alleen correlation_id) —
10d52c1opfeat/issue-178-dashboard-definitions.Waarom correlatie faalde
Het overzicht groepeerde op
correlation_id(vaak gelijk aan de eigen run-id van de subscriber). Daardoor stondenerpnext_products_publish(47b16a53…),erpnext_products_notifyendsav_message_archive(ef499b98…) als losse rijen, elk met “No subsequent flows on this correlation yet.” Run-details koppelde ze wél viaroot_run_id/parent_run_id(pub/sub).Hoe parent/child nu bepaald wordt
Zelfde keten als run-details:
parent_run_id(directe opvolger; siblings delen dezelfde parent)root_run_id/ related-rootstartis een hint als de root ambigu is — de boom volgt de runtime-opvolgingCollapsed = eerste workflow in de reeks (start/root, bv. publish). Uitklappen toont directe children (siblings) genest; een workflow die op een child volgt hangt als grandchild onder die tussenliggende run. Extra subscribers zoals
dsav_message_archiveblijven in de boom (viainclude_related), ook als ze niet in de folder-definitie staan.Geen ledger-stappen meer in dit overzicht; Open blijft voor de run-detail.
Status-rollup
Collapsed node toont failed als enige descendant failed is (child of grandchild), ook als de node zelf succeeded. Als alle descendants ok zijn, blijft de parent succeeded.
Verifiëren (ERPNext-folder)
erpnext_products_publishals parent; geen step-tables; geen “No subsequent flows…”.erpnext_products_notify+dsav_message_archiveals children. Als notify pas ná een andere subscriber start, hangt die als grandchild onder die run.Waarom dsav_message_archive ontbrak in het ERPNext-overzicht
De keten (root
5ecf3f93…) stond wél in traces (publish + archive + notify), maar het Operations-overzicht leest de run-ledger. Twee filters hakten archive eruit:erpnext_products_publish+erpnext_products_notify. Archive zat niet in die query.include_relatedzocht children viacontext.meshflows.parent/root_run_id. De failed archive-rij had legecontext_json(geen parent/root op de ledger), dus de expander vond hem niet. Notify wél, omdat die context wél had.Daardoor bleef alleen publish+notify over; archive was geen child, en de collapsed parent bleef groen.
Fix (
4e3eeb5opfeat/issue-178-dashboard-definitions, geen PR):Verifiëren na deploy (Operations → folder ERPNext → tab All instances): publish als parent, archive + notify als children; parent collapsed failed zolang archive failed is. Hard refresh tegen JS-cache. DSAV JSON-vs-XML auto-bind is niet in deze slice.
Expand/collapse-affordance in Operations (geen extra ledger-stappen).
De mini-chevrons in de eerste kolom zijn nu een 32px
.btnmet dezelfde chevron (▶, roteert bij open) als de rest van het dashboard. Tooltip/aria: Show related runs / Hide related runs. Child-rows hebben een lichte achtergrond en accentstreep in de expand-kolom; de workflow-indent blijft.Commit:
03fa4dd611Branch:
feat/issue-178-dashboard-definitionsNa deploy: hard refresh (Ctrl+F5) op Operations.
Concept bestond niet. Context is per run (
context_json/display_context); kolommen zoalscontext.plaatslezen alleen die run. Status van children rolt al op naar de parent in de UI, maar sub-flow properties niet. Business events (type: log→ Loki) zijn een ander spoor, geen Operations-kolom.Milestones (deze slice)
type: milestoneschrijftcontext.milestone+context.milestone_at(UTC).GET /api/runs?include_related=true) kopieert de laatste geschreven waarde in de related-run-keten naar de runtime-root / parent-rij. "Laatste" = hoogstemilestone_at, andersupdated_atvan de schrijvende run. Child-rijen houden hun eigen context.context_setmet keymilestonetelt ook mee bij rollup. Rechten ongewijzigd (operations:view/ platform-admin write).ERPNext dashboard
meshflows-devstorage):erpnext-products.yaml(product_id / DSAV-kolommen). Workflowserpnext_products_*blijven.flows/dashboards/erpnext-onramp.yaml— folder ERPNext, scoped operpnext_onramp(role start), kolom Milestone →context.milestone.erpnext_onrampzet bij startreceived;erpnext_onramp_item_subscribeen*_deltazettencompletedna succesvolle verwerking.Hoe te zien (na deploy van deze branch)
received.completed.Commit:
f0256191ef(feat/issue-178-dashboard-definitions). Geen PR, geen VERSION-bump.Delete naast Edit op Dashboard definitions (hamburger in de kaartkop; platform-admin only, zelfde als Edit).
De kop van de Operations-kaart Dashboard definitions heeft geen losse Edit meer. Rechts staat ⋯ (tnOperationsDefMenu) met Edit, Delete en Download YAML. New en Upload YAML blijven zichtbare primaire acties.
Delete vraagt confirm met de documentnaam, doet DELETE /api/operations/dashboard-definitions/{name}, en ververst daarna lijst/selector (valt terug op operations). Het oude Reset to default in de editor-footer is weg — dat was hetzelfde pad onder een andere naam.
Hard refresh van de dashboard-UI nodig voor JS/CSS.
Commit:
8c1aa6ff40PR naar main: #189
Issue #178 blijft open voor verdere verfijning. Deze PR is bewust niet gekoppeld als closer, zodat we verder kunnen met andere ontwikkelingen terwijl de dashboard-verfijning op dit ticket kan doorlopen.
PR #189 is gemerged naar
main(merge-commitd3f7b6b61b9d6da4132f782df5021a12a4bb804f).Dit issue blijft open voor verfijning. Geen VERSION-bump (blijft 0.4.4).