CSV-transform capability in transformers #106

Closed
opened 2026-08-14 11:22:55 +00:00 by Marc · 10 comments
Contributor

Wat / waarom

Transformers kan al XSLT, XML↔JSON en Liquid. CSV (BizTalk flat file / Logic Apps CSV) ontbreekt als first-class capability. Dat is een kleine hap op de bestaande transformers-service: geen nieuwe orchestrator-stap, geen visuele mapper.

Related to #105

Wiki

  • Pagina: Capability comparison (gaps)
  • Sectie: 4. Transformation (Workable: CSV als small transformers capability) en Plan of approach → Do next #7
  • Pad: wiki/docs/about/capability-comparison-gaps.md

Acceptatie

  • Capability op de bestaande transformers-service, bijv. transformers.csv_to_json (en optioneel json_to_csv), aan te roepen via service_call.
  • Registratie in de capability-registry + designer-metadata (category transform).
  • Demo-workflow onder flows/workflows/ met een klein CSV-voorbeeld.
  • Wiki transformers-tabel bijgewerkt. Geen nieuwe orchestrator step type.
## Wat / waarom Transformers kan al XSLT, XML↔JSON en Liquid. **CSV** (BizTalk flat file / Logic Apps CSV) ontbreekt als first-class capability. Dat is een kleine hap op de bestaande transformers-service: geen nieuwe orchestrator-stap, geen visuele mapper. Related to #105 ## Wiki - Pagina: [Capability comparison (gaps)](https://code.meshflows.org/MeshFlowsGPL/meshflows/src/branch/docs/issue-105-capability-gaps/wiki/docs/about/capability-comparison-gaps.md) - Sectie: **4. Transformation** (Workable: CSV als small transformers capability) en **Plan of approach → Do next #7** - Pad: `wiki/docs/about/capability-comparison-gaps.md` ## Acceptatie - [ ] Capability op de bestaande transformers-service, bijv. `transformers.csv_to_json` (en optioneel `json_to_csv`), aan te roepen via `service_call`. - [ ] Registratie in de capability-registry + designer-metadata (category transform). - [ ] Demo-workflow onder `flows/workflows/` met een klein CSV-voorbeeld. - [ ] Wiki transformers-tabel bijgewerkt. Geen nieuwe orchestrator step type.
Author
Contributor

Ik pak dit ticket op.

Branch: feat/issue-106-csv-transform (vanaf latest main)

Plan: CSV als first-class transformers-capability (transformers.csv_to_json + optioneel transformers.json_to_csv), registry + designer (category transform), demo-workflow, tests, wiki-tabellen. Geen nieuwe orchestrator-stap, geen PR tot jullie dat vragen.

Related to #105.

Ik pak dit ticket op. **Branch:** `feat/issue-106-csv-transform` (vanaf latest `main`) Plan: CSV als first-class transformers-capability (`transformers.csv_to_json` + optioneel `transformers.json_to_csv`), registry + designer (category transform), demo-workflow, tests, wiki-tabellen. Geen nieuwe orchestrator-stap, geen PR tot jullie dat vragen. Related to #105.
Author
Contributor

Opgepakt en afgerond op feat/issue-106-csv-transform.

Commit: bc7bd98a12
Branch: https://code.meshflows.org/MeshFlowsGPL/meshflows/src/branch/feat/issue-106-csv-transform

Wat erin zit

  • Capabilities transformers.csv_to_json (POST /csv2json) en transformers.json_to_csv (POST /json2csv) op de bestaande transformers-service
  • Designer category transform; geen nieuwe orchestrator-stap
  • Demo: flows/workflows/csv_transform_demo.yaml + trigger csv-transform-demo-http
  • Wiki-tabellen bijgewerkt

Quoting / delimiter in een waarde

RFC 4180 via stdlib csv — geen split(delimiter).

  • Quoted: id:"meshflows:runs" met delimiter: ":" blijft één veld (path=meshflows:runs).
  • Unquoted: 1:meshflows:runs is drie kolommen. Als dat meer niet-lege cellen geeft dan de header → 400 (niet stilletjes runs droppen). Quote het veld.
  • Schrijven quote automatisch velden die de delimiter bevatten.

Headers

  • has_header (alias header) default true: eerste rij = object keys.
  • Lege header → column_N; duplicaten → sku daarna sku_1.
  • has_header: false / header: false: alle rijen zijn data; keys column_1, column_2, …

Geen PR, geen VERSION-bump.

Opgepakt en afgerond op `feat/issue-106-csv-transform`. **Commit:** https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/bc7bd98a121b64d5c2e9467290e77e71f4947061 **Branch:** https://code.meshflows.org/MeshFlowsGPL/meshflows/src/branch/feat/issue-106-csv-transform ## Wat erin zit - Capabilities `transformers.csv_to_json` (`POST /csv2json`) en `transformers.json_to_csv` (`POST /json2csv`) op de bestaande transformers-service - Designer category `transform`; geen nieuwe orchestrator-stap - Demo: `flows/workflows/csv_transform_demo.yaml` + trigger `csv-transform-demo-http` - Wiki-tabellen bijgewerkt ## Quoting / delimiter in een waarde RFC 4180 via stdlib `csv` — geen `split(delimiter)`. - **Quoted:** `id:"meshflows:runs"` met `delimiter: ":"` blijft één veld (`path=meshflows:runs`). - **Unquoted:** `1:meshflows:runs` is drie kolommen. Als dat meer niet-lege cellen geeft dan de header → **400** (niet stilletjes `runs` droppen). Quote het veld. - Schrijven quote automatisch velden die de delimiter bevatten. ## Headers - `has_header` (alias `header`) default **true**: eerste rij = object keys. - Lege header → `column_N`; duplicaten → `sku` daarna `sku_1`. - `has_header: false` / `header: false`: alle rijen zijn data; keys `column_1`, `column_2`, … Geen PR, geen VERSION-bump.
Author
Contributor

PR staat open (CI op de branch was al groen, 30/30 success):

#113

Commit: bc7bd98a12
Branch: feat/issue-106-csv-transform

Nog niet gemerged — zeg het als die naar main mag.

PR staat open (CI op de branch was al groen, 30/30 success): https://code.meshflows.org/MeshFlowsGPL/meshflows/pulls/113 Commit: https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/bc7bd98a121b64d5c2e9467290e77e71f4947061 Branch: `feat/issue-106-csv-transform` Nog niet gemerged — zeg het als die naar `main` mag.
Marc closed this issue 2026-08-14 12:17:43 +00:00
Author
Contributor

Gemerged naar main (eerst main in de branch gemerged vanwege #114). Geen VERSION-bump.

PR: #113
Merge-commit: c5b3c082b6

Gemerged naar `main` (eerst `main` in de branch gemerged vanwege #114). Geen VERSION-bump. **PR:** https://code.meshflows.org/MeshFlowsGPL/meshflows/pulls/113 **Merge-commit:** https://code.meshflows.org/MeshFlowsGPL/meshflows/commit/c5b3c082b6c8a77958858d94cced642a50882d8a
Owner

Waar vind ik de XML to CSV en CSV to XML?
afbeelding

Waar vind ik de XML to CSV en CSV to XML? ![afbeelding](/attachments/c011ab3b-d964-460f-9e72-f293551049a9)
Author
Contributor

Na de merge: CSV zit niet in het oude xml2json/json2xml-palet.

Wat er is: transformers.csv_to_json / transformers.json_to_csv (CSV ↔ JSON), designer category transform, demo csv_transform_demo.

XML ↔ CSV is geen aparte capability. Dat is een keten: transformers.xml2json → json_to_csv (of omgekeerd csv_to_json → json2xml).

Als de stappen in de designer nog ontbreken: even wachten tot de transformers-image van PR #113 op het cluster staat, daarna service_call + capability transformers.csv_to_json.

Na de merge: CSV zit **niet** in het oude xml2json/json2xml-palet. **Wat er is:** `transformers.csv_to_json` / `transformers.json_to_csv` (CSV ↔ JSON), designer category `transform`, demo `csv_transform_demo`. **XML ↔ CSV** is geen aparte capability. Dat is een keten: `transformers.xml2json` → `json_to_csv` (of omgekeerd `csv_to_json` → `json2xml`). Als de stappen in de designer nog ontbreken: even wachten tot de transformers-image van PR #113 op het cluster staat, daarna `service_call` + capability `transformers.csv_to_json`.
Author
Contributor

Snellere hap dan #110: geen nieuwe XML↔CSV-endpoints.

Waar: designer Add step → groep transformers → CSV → JSON / JSON → CSV (zelfde lijst als XML → JSON). YAML: transformers.csv_to_json / json_to_csv.

XML ↔ CSV is een keten: xml2json daarna json_to_csv (of omgekeerd csv_to_json → json2xml). Staat nu in de transformers-wiki.

Waarom het ontbrak op cluster: de nieuwste transformers-image crashte (httpx ontbrak). Fix gemerged in #118 (cec0cb2). Na die deploy zou CSV in de picker staan; op de oude pod zat CSV al.

Snellere hap dan #110: geen nieuwe XML↔CSV-endpoints. **Waar:** designer Add step → groep **transformers** → **CSV → JSON** / **JSON → CSV** (zelfde lijst als XML → JSON). YAML: `transformers.csv_to_json` / `json_to_csv`. **XML ↔ CSV** is een keten: `xml2json` daarna `json_to_csv` (of omgekeerd `csv_to_json` → `json2xml`). Staat nu in de transformers-wiki. **Waarom het ontbrak op cluster:** de nieuwste transformers-image crashte (`httpx` ontbrak). Fix gemerged in https://code.meshflows.org/MeshFlowsGPL/meshflows/pulls/118 (`cec0cb2`). Na die deploy zou CSV in de picker staan; op de oude pod zat CSV al.
Author
Contributor

Deploy-check na PR #118 (merge cec0cb2 / httpx-fix)

  • meshflows-dev: transformers v2026.08.14.2017 Running, ready, 0 restarts. Heartbeats naar de registry slagen (httpx is weer aanwezig). Catalogus zou csv_to_json / json_to_csv moeten bevatten.
  • meshflows-lab / meshflows-tst: nog mixed: gezonde oude image v2026.08.14.1935 + crashloop op v2026.08.14.1994 (pre-fix).

Ticket blijft open tot UI-bevestiging op DEV: designer Add step → groep transformers → CSV → JSON / JSON → CSV. Daarna mag dit dicht.

**Deploy-check na PR #118** (merge `cec0cb2` / httpx-fix) - **meshflows-dev:** transformers `v2026.08.14.2017` Running, ready, 0 restarts. Heartbeats naar de registry slagen (`httpx` is weer aanwezig). Catalogus zou `csv_to_json` / `json_to_csv` moeten bevatten. - **meshflows-lab / meshflows-tst:** nog mixed: gezonde oude image `v2026.08.14.1935` + crashloop op `v2026.08.14.1994` (pre-fix). Ticket blijft **open** tot UI-bevestiging op DEV: designer Add step → groep transformers → **CSV → JSON** / **JSON → CSV**. Daarna mag dit dicht.
Owner

Is eigenlijk een workaround. Graag een native implementatie

Is eigenlijk een workaround. Graag een native implementatie
Author
Contributor

Oppakken op feat/issue-106-xml-csv (vanaf latest main na #115).

CSV↔JSON staat al op main. Ticket blijft open omdat XML↔CSV als keten een workaround was — native transformers.xml_to_csv / csv_to_xml (zelfde transformers-service, designer XML → CSV / CSV → XML). Geen nieuwe orchestrator-stap. Geen VERSION-bump.

Oppakken op `feat/issue-106-xml-csv` (vanaf latest `main` na #115). CSV↔JSON staat al op main. Ticket blijft open omdat XML↔CSV als keten een workaround was — native `transformers.xml_to_csv` / `csv_to_xml` (zelfde transformers-service, designer **XML → CSV** / **CSV → XML**). Geen nieuwe orchestrator-stap. Geen VERSION-bump.
Marc closed this issue 2026-08-14 14:39:11 +00:00
Sign in to join this conversation.
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#106
No description provided.