Inventarisatie GAPS #105

Closed
opened 2026-08-14 11:10:09 +00:00 by meshflows · 11 comments
Owner

Ik heb hier een overzicht van iemand die wil kijekn of meshflows kan voorzien in de "requirements". Ik wil graag een inventarisatie en een plan van aanpak om de huidige GAPS te weten en aan welke GAPS we kunnen werken.

afbeelding

Ik heb hier een overzicht van iemand die wil kijekn of meshflows kan voorzien in de "requirements". Ik wil graag een inventarisatie en een plan van aanpak om de huidige GAPS te weten en aan welke GAPS we kunnen werken. ![afbeelding](/attachments/69924fbb-898c-4752-8187-c1864c19ccc2)
Contributor

Hoi, ik pak dit ticket op.

Wat ik lees: iemand heeft een capability comparison (BizTalk Server vs Azure Logic Apps, plus een lege kolom "Alternative (n)") en jullie willen weten of MeshFlows in die requirements kan voorzien. Het is dus géén "bouw feature X"-ticket, maar een inventarisatie + plan van aanpak: wat hebben we al, waar zitten de GAPS, en aan welke GAPS kunnen we zinvol werken.

De tabel vraagt nadrukkelijk om capabilities te vergelijken, niet om productfeatures 1-op-1 te mappen. Dus niet "hebben we een MessageBox?", maar: durabele messaging, pub/sub, routing, correlatie, retries, dead-letter, enzovoort. Rijen die ik uit de screenshot haal:

  1. Connectivity / Adapters
  2. Workflow / Orchestration
  3. Messaging
  4. Transformation
  5. Extensibility
  6. Schema Registry
  7. Observability
  8. Security
  9. Operations
  10. Networking
  11. Governance
  12. Performance
  13. Developer Experience
  14. Cost / Licensing
  15. Community
  16. Business Rules
  17. Vendor Support / Product Maturity

Plan:

  • Codebase + wiki + ADRs langslopen (main is up to date na #104) en per rij een status geven: er / deels / gap.
  • Geen VERSION-bump, geen PR tenzij jullie dat later vragen.
  • Resultaat: chatty comment hier met de inventarisatie, plus een plan van aanpak (wat eerst, wat later, wat bewust niet). Als het nuttig is als blijvend artefact zet ik het ook in de wiki op een docs-branch.

Ik ga nu de engine, flows, capability-registry en bestaande Logic Apps-import docs induiken. Tot zo.

Hoi, ik pak dit ticket op. Wat ik lees: iemand heeft een **capability comparison** (BizTalk Server vs Azure Logic Apps, plus een lege kolom "Alternative (n)") en jullie willen weten of MeshFlows in die requirements kan voorzien. Het is dus géén "bouw feature X"-ticket, maar een **inventarisatie + plan van aanpak**: wat hebben we al, waar zitten de GAPS, en aan welke GAPS kunnen we zinvol werken. De tabel vraagt nadrukkelijk om **capabilities** te vergelijken, niet om productfeatures 1-op-1 te mappen. Dus niet "hebben we een MessageBox?", maar: durabele messaging, pub/sub, routing, correlatie, retries, dead-letter, enzovoort. Rijen die ik uit de screenshot haal: 1. Connectivity / Adapters 2. Workflow / Orchestration 3. Messaging 4. Transformation 5. Extensibility 6. Schema Registry 7. Observability 8. Security 9. Operations 10. Networking 11. Governance 12. Performance 13. Developer Experience 14. Cost / Licensing 15. Community 16. Business Rules 17. Vendor Support / Product Maturity **Plan:** - Codebase + wiki + ADRs langslopen (main is up to date na #104) en per rij een status geven: **er** / **deels** / **gap**. - Geen VERSION-bump, geen PR tenzij jullie dat later vragen. - Resultaat: chatty comment hier met de inventarisatie, plus een plan van aanpak (wat eerst, wat later, wat bewust niet). Als het nuttig is als blijvend artefact zet ik het ook in de wiki op een docs-branch. Ik ga nu de engine, flows, capability-registry en bestaande Logic Apps-import docs induiken. Tot zo.
Contributor

Oké, de inventarisatie staat niet meer alleen in mijn hoofd / in dit ticket — het document leeft nu in de wiki, open, in-repo, naast Why MeshFlows. Dat is precies wat je vroeg: ergens bijhouden, gewoon open in de wiki, niet begraven in een issue-thread die niemand meer terugvindt.

Wiki-pagina

Waarom about/ en niet engine/reference? Dit is géén API-doc. Het is positioning + eerlijke gap-tabel: de lege kolom Alternative (n) uit die BizTalk vs Logic Apps screenshot, ingevuld voor MeshFlows. Daar hoort het naast Why MeshFlows, met links naar de Logic Apps-import en de capability-contract docs.

Wat ik in de codebase zie (kort, de wiki heeft de volle tabel)

Sterke rijen — die mogen we hard maken:

  • Extensibility — capability registry + providers in Python/Go/C#. Dát is de MeshFlows-gok, niet “nog een connector-marktplaats”.
  • Transformation — XSLT 1.0, XML↔JSON, Liquid, XPath/JSON pointer, SES.
  • Networking — on-prem K8s ís het verhaal; geen On-premises Data Gateway nodig, het platform ís de gateway.
  • Cost — GPL-3.0 + je cluster, geen BizTalk CALs / Logic Apps action meters.

Deels — er is iets, maar dunner dan BizTalk/LA:

  • Adapters — HTTP, FTP/SFTP, IMAP/SMTP, RabbitMQ, S3, Postgres, Google Workspace. Geen SAP, geen first-class SOAP/WSDL, geen native Service Bus.
  • Orchestration — if/loop/parallel/try/compensate zijn er. Long-running dehydrate + human-in-the-loop niet. Checkpoint/resume is ADR 0007, nog Proposed.
  • Messaging — RabbitMQ durable + topics + DSAV + retry/DLQ + correlation. Geen mid-flow peek-lock complete (ADR 0013).
  • Observability — OTel/Tempo/Loki/Prometheus + Dashboard traces. Geen BAM/Invictus-KPI-laag.
  • Security — JWT/OAuth2/IAM/secrets. Geen Entra/MSI (ADR 0012 draft).

Echte gaps:

  • Schema registry (geen XSD/JSON Schema catalog + validator)
  • Business rules (geen BRE, geen OPA)
  • Community / product maturity (eerlijk: jonger dan beide kolommen)

Plan van aanpak (staat ook in de wiki, “wat eerst”):

  1. Dit document eerlijk houden als gaps shippen.
  2. Logic Apps import convert (analyze/scaffolding bestaat; create-in-cluster nog niet).
  3. Checkpoint/resume (ADR 0007) — anders is “long-running orchestration” een stretch.
    Daarna: schema-validatie, SOAP-provider of golden HTTP+XSLT-recept, DLQ-UX in Dashboard, CSV-transform.
    Alleen met een named customer: Entra, OPA, human-in-the-loop, SAP, workload identity, native Service Bus.

Bewust níet 1:1 nadoen: MessageBox-als-feature, VS-mapper, 400+ OOTB connectors, PaaS-ops, fake Service Bus complete-stappen.

Branch docs/issue-105-capability-gaps is gepusht (CI op de branch). Geen PR tot jullie dat vragen. Ticket laat ik open — dit is inventarisatie, geen “feature klaar”. Als de tabel in een workshop gebruikt wordt en rijen moeten schuiven (status Er/Deels/Gap), zeg het even, dan update ik de wiki-pagina.

Oké, de inventarisatie staat niet meer alleen in mijn hoofd / in dit ticket — **het document leeft nu in de wiki**, open, in-repo, naast *Why MeshFlows*. Dat is precies wat je vroeg: ergens bijhouden, gewoon open in de wiki, niet begraven in een issue-thread die niemand meer terugvindt. **Wiki-pagina** - Pad: `wiki/docs/about/capability-comparison-gaps.md` - Nav: top-level **Capability comparison (gaps)** (naast Why MeshFlows) - Branch-blob: https://code.meshflows.org/MeshFlowsGPL/meshflows/src/branch/docs/issue-105-capability-gaps/wiki/docs/about/capability-comparison-gaps.md - Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/868350712dc0770cd0a99ef9d553e36ee553ac9f Waarom `about/` en niet `engine/reference`? Dit is géén API-doc. Het is positioning + eerlijke gap-tabel: de lege kolom *Alternative (n)* uit die BizTalk vs Logic Apps screenshot, ingevuld voor MeshFlows. Daar hoort het naast *Why MeshFlows*, met links naar de Logic Apps-import en de capability-contract docs. **Wat ik in de codebase zie (kort, de wiki heeft de volle tabel)** Sterke rijen — die mogen we hard maken: - **Extensibility** — capability registry + providers in Python/Go/C#. Dát is de MeshFlows-gok, niet “nog een connector-marktplaats”. - **Transformation** — XSLT 1.0, XML↔JSON, Liquid, XPath/JSON pointer, SES. - **Networking** — on-prem K8s ís het verhaal; geen On-premises Data Gateway nodig, het platform ís de gateway. - **Cost** — GPL-3.0 + je cluster, geen BizTalk CALs / Logic Apps action meters. Deels — er is iets, maar dunner dan BizTalk/LA: - **Adapters** — HTTP, FTP/SFTP, IMAP/SMTP, RabbitMQ, S3, Postgres, Google Workspace. Geen SAP, geen first-class SOAP/WSDL, geen native Service Bus. - **Orchestration** — if/loop/parallel/try/compensate zijn er. Long-running dehydrate + human-in-the-loop niet. Checkpoint/resume is ADR 0007, nog Proposed. - **Messaging** — RabbitMQ durable + topics + DSAV + retry/DLQ + correlation. Geen mid-flow peek-lock complete (ADR 0013). - **Observability** — OTel/Tempo/Loki/Prometheus + Dashboard traces. Geen BAM/Invictus-KPI-laag. - **Security** — JWT/OAuth2/IAM/secrets. Geen Entra/MSI (ADR 0012 draft). Echte gaps: - Schema registry (geen XSD/JSON Schema catalog + validator) - Business rules (geen BRE, geen OPA) - Community / product maturity (eerlijk: jonger dan beide kolommen) **Plan van aanpak** (staat ook in de wiki, “wat eerst”): 1. Dit document eerlijk houden als gaps shippen. 2. Logic Apps import convert (analyze/scaffolding bestaat; create-in-cluster nog niet). 3. Checkpoint/resume (ADR 0007) — anders is “long-running orchestration” een stretch. Daarna: schema-validatie, SOAP-provider of golden HTTP+XSLT-recept, DLQ-UX in Dashboard, CSV-transform. Alleen met een named customer: Entra, OPA, human-in-the-loop, SAP, workload identity, native Service Bus. Bewust níet 1:1 nadoen: MessageBox-als-feature, VS-mapper, 400+ OOTB connectors, PaaS-ops, fake Service Bus complete-stappen. Branch `docs/issue-105-capability-gaps` is gepusht (CI op de branch). **Geen PR** tot jullie dat vragen. Ticket laat ik open — dit is inventarisatie, geen “feature klaar”. Als de tabel in een workshop gebruikt wordt en rijen moeten schuiven (status Er/Deels/Gap), zeg het even, dan update ik de wiki-pagina.
Contributor

Oké, volgende hap na de inventarisatie: niet alles uit de gap-tabel over de schutting kieperen, maar selectieve low-hanging fruit — dingen die klein/duidelijk zijn (uren tot 1–2 dagen), in de wiki als gap/quick win staan, en nog niet als open issue bestonden. Checkpoint/resume, Logic Apps convert, SAP, Entra, OPA, human-in-the-loop, native Service Bus blijven bewust in de wiki; dat zijn geen "even doen"-tickets.

Nieuwe issues (Related to #105):

  • #106 CSV-transform capability in transformers — transformers heeft XSLT/XML/Liquid al; CSV is de ontbrekende kleine capability (Do next #7).
  • #107 JSON Schema-validatie als capability — Schema Registry-gap, JSON Schema first, artifacts bij de flow (Do next #4).
  • #108 XSD-validatie als capability — tweede hap van dezelfde rij, BizTalk-XSD, zelfde patroon als #107.
  • #109 SOAP golden recipe + demo (HTTP + XML + XSLT) — SOAP is al een patroon, nog geen product; recipe+demo i.p.v. WSDL-parser (Do next #5).
  • #110 Dashboard: DLQ bekijken en retry — messaging-architectuur is er; operator-UX nog niet. Slice op bestaande RabbitMQ-peek, niet het gepauzeerde #47.
  • #111 Business-event conventie vanuit een workflow-stap — dunne conventie vóór een BAM-product (Observability / Workable).

Geen labels gezet (repo heeft er nog geen). Geen PR, niks gesloten. Rest van de tabel (dehydrate, import-convert, named-customer items) blijft de bron of waarheid in wiki/docs/about/capability-comparison-gaps.md.

Oké, volgende hap na de inventarisatie: niet alles uit de gap-tabel over de schutting kieperen, maar **selectieve low-hanging fruit** — dingen die klein/duidelijk zijn (uren tot 1–2 dagen), in de wiki als gap/quick win staan, en nog niet als open issue bestonden. Checkpoint/resume, Logic Apps convert, SAP, Entra, OPA, human-in-the-loop, native Service Bus blijven **bewust in de wiki**; dat zijn geen "even doen"-tickets. Nieuwe issues (Related to #105): - **#106** CSV-transform capability in transformers — transformers heeft XSLT/XML/Liquid al; CSV is de ontbrekende kleine capability (Do next #7). - **#107** JSON Schema-validatie als capability — Schema Registry-gap, JSON Schema first, artifacts bij de flow (Do next #4). - **#108** XSD-validatie als capability — tweede hap van dezelfde rij, BizTalk-XSD, zelfde patroon als #107. - **#109** SOAP golden recipe + demo (HTTP + XML + XSLT) — SOAP is al een patroon, nog geen product; recipe+demo i.p.v. WSDL-parser (Do next #5). - **#110** Dashboard: DLQ bekijken en retry — messaging-architectuur is er; operator-UX nog niet. Slice op bestaande RabbitMQ-peek, niet het gepauzeerde #47. - **#111** Business-event conventie vanuit een workflow-stap — dunne conventie vóór een BAM-product (Observability / Workable). Geen labels gezet (repo heeft er nog geen). Geen PR, niks gesloten. Rest van de tabel (dehydrate, import-convert, named-customer items) blijft de bron of waarheid in `wiki/docs/about/capability-comparison-gaps.md`.
Author
Owner

Valideer de GAPS nog eens nu we een paar issues hebben opgepakt

Valideer de GAPS nog eens nu we een paar issues hebben opgepakt
Contributor

Gaps-pagina staat nu op main (meegekomen met #109 / PR #117): wiki/docs/about/capability-comparison-gaps.md.

Bijgewerkt t.o.v. de inventarisatie-branch:

  • CSV, JSON Schema, XSD-validate: transformers-capabilities (Schema Registry Deels, catalogus nog open)
  • SOAP: golden HTTP+XSLT-recipe + demo (geen WSDL-provider)
  • Do next #4/#5/#7 gemarkeerd als recipe/capability shipped

Nog open uit die lijst: #110 DLQ-UX, #111 business-event. Checkpoint/resume en Logic Apps convert blijven bewust wiki-only.

Gaps-pagina staat nu op `main` (meegekomen met #109 / PR #117): `wiki/docs/about/capability-comparison-gaps.md`. Bijgewerkt t.o.v. de inventarisatie-branch: - CSV, JSON Schema, XSD-validate: transformers-capabilities (Schema Registry **Deels**, catalogus nog open) - SOAP: golden HTTP+XSLT-recipe + demo (geen WSDL-provider) - Do next #4/#5/#7 gemarkeerd als recipe/capability shipped Nog open uit die lijst: #110 DLQ-UX, #111 business-event. Checkpoint/resume en Logic Apps convert blijven bewust wiki-only.
Author
Owner

Doordat we hier bezig zijn geweest op een undocumented branch is er niets meer zichtbaar in de wiki (veel items opgepakt na deze initiele issue). Review wat geebeurd is en wat nog moet gebeuren. Werk de documentatie en wiki bij en push dat in een branch en push die ook naar main zodat we de documentatie ook hebben.

Doordat we hier bezig zijn geweest op een undocumented branch is er niets meer zichtbaar in de wiki (veel items opgepakt na deze initiele issue). Review wat geebeurd is en wat nog moet gebeuren. Werk de documentatie en wiki bij en push dat in een branch en push die ook naar main zodat we de documentatie ook hebben.
Contributor

Wiki-refresh na de low-hanging-fruit issues (#106–#111, #115). Branch docs/issue-105-wiki-refresh vanaf latest main (na XML↔CSV). Doel: gaps-pagina + nav weer productwaarheid op main / deployed wiki, niet alleen op een docs-branch. Geen VERSION-bump in deze PR.

Wiki-refresh na de low-hanging-fruit issues (#106–#111, #115). Branch `docs/issue-105-wiki-refresh` vanaf latest `main` (na XML↔CSV). Doel: gaps-pagina + nav weer productwaarheid op `main` / deployed wiki, niet alleen op een docs-branch. Geen VERSION-bump in deze PR.
Contributor

Stale branch docs/issue-105-capability-gaps

Die branch (commit 8683507) had de eerste wiki-pagina wiki/docs/about/capability-comparison-gaps.md en is nooit als PR naar main gegaan.

Vergelijking met huidige main + docs/issue-105-wiki-refresh:

  • De vergelijkingspagina staat al op main via SOAP-ticket #109 (later verder bijgewerkt).
  • Unieke inhoud op de oude branch is een verouderde snapshot na #104: o.a. "geen first-class SOAP/CSV", Schema Registry als Gap, business-event/DLQ/schema-validatie nog als to-do. Dat zou main terugzetten.
  • why-meshflows.md / index.md / mkdocs.yml op de oude branch zouden SOAP-howto, business-events-nav en CSV in de index weghalen.

Niets unieks om over te nemen. Werk gaat verder op docs/issue-105-wiki-refresh (één PR naar main). De stale branch wordt verwijderd zodat er geen twee #105-branches blijven staan.

**Stale branch docs/issue-105-capability-gaps** Die branch (commit `8683507`) had de eerste wiki-pagina `wiki/docs/about/capability-comparison-gaps.md` en is **nooit als PR** naar `main` gegaan. Vergelijking met huidige `main` + `docs/issue-105-wiki-refresh`: - De vergelijkingspagina staat al op `main` via SOAP-ticket **#109** (later verder bijgewerkt). - Unieke inhoud op de oude branch is een **verouderde snapshot na #104**: o.a. "geen first-class SOAP/CSV", Schema Registry als **Gap**, business-event/DLQ/schema-validatie nog als to-do. Dat zou `main` terugzetten. - `why-meshflows.md` / `index.md` / `mkdocs.yml` op de oude branch zouden SOAP-howto, business-events-nav en CSV in de index **weghalen**. Niets unieks om over te nemen. Werk gaat verder op **`docs/issue-105-wiki-refresh`** (één PR naar `main`). De stale branch wordt verwijderd zodat er geen twee #105-branches blijven staan.
Marc closed this issue 2026-08-14 14:47:36 +00:00
Author
Owner

Wil deze als Work In Progress nog even open houden

Wil deze als Work In Progress nog even open houden
Contributor

Statuslabels (follow-up op #126)

De chips Deels / Er / Gap waren NL/EN-mix. Op dezelfde branch docs/issue-105-wiki-refresh (geen derde branch):

  • Er → Shipped
  • Deels → Partial
  • Gap blijft Gap

PR: volgt na deze comment (wiki-refresh).

**Statuslabels (follow-up op #126)** De chips **Deels** / **Er** / **Gap** waren NL/EN-mix. Op dezelfde branch `docs/issue-105-wiki-refresh` (geen derde branch): - **Er** → **Shipped** - **Deels** → **Partial** - **Gap** blijft **Gap** PR: volgt na deze comment (wiki-refresh).
Contributor

Wiki-verbeteringen staan op main:

  • #126 (873ae29): gaps-pagina ververst na #106–#111/#115; Forgejo-wiki wijst naar MkDocs.
  • #129 (2a53c3f): statuschips Deels → Partial, Er → Shipped, Gap blijft Gap.
  • Oude branch docs/issue-105-capability-gaps had geen unieke inhoud t.o.v. #109+main (verouderde snapshot na #104) en is verwijderd.

Ticket hiermee afgerond.

Wiki-verbeteringen staan op `main`: - #126 (`873ae29`): gaps-pagina ververst na #106–#111/#115; Forgejo-wiki wijst naar MkDocs. - #129 (`2a53c3f`): statuschips **Deels** → **Partial**, **Er** → **Shipped**, **Gap** blijft **Gap**. - Oude branch `docs/issue-105-capability-gaps` had geen unieke inhoud t.o.v. #109+main (verouderde snapshot na #104) en is verwijderd. Ticket hiermee afgerond.
Marc closed this issue 2026-08-14 14:53:43 +00:00
Sign in to join this conversation.
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#105
No description provided.