Flatfile conversie #124

Closed
opened 2026-08-14 14:33:50 +00:00 by meshflows · 8 comments
Owner

Ik weet dat er in BizTalk een krachtige flatfile->XML en XML->flatfile engine bestaat. Volgens mij xsd gebaseerd. Is het mogelijk om een dergelijke vertaling in te bouwen? Misschien zelfs in een policy? flatfile-XML en XML->flatfile? Dit gaat meer om een POC dan om iets waar al een concrete verzoek voor ligt.

Ik weet dat er in BizTalk een krachtige flatfile->XML en XML->flatfile engine bestaat. Volgens mij xsd gebaseerd. Is het mogelijk om een dergelijke vertaling in te bouwen? Misschien zelfs in een policy? flatfile-XML en XML->flatfile? Dit gaat meer om een POC dan om iets waar al een concrete verzoek voor ligt.
Author
Owner
Info is mogelijk hier ook te vinden:https://learn.microsoft.com/en-us/biztalk/core/flatfilesend-biztalk-server-sample
Author
Owner

Heb me trouwens noopit zo bezig gehouden met de XML JSON conversies in policies maar gebeuren die in de transformer provider of toch elders in de engine?

Heb me trouwens noopit zo bezig gehouden met de XML JSON conversies in policies maar gebeuren die in de transformer provider of toch elders in de engine?
Contributor

Gezien. Dit is een POC-vraag (BizTalk-achtige flatfile↔XML, mogelijk XSD-gestuurd), geen blocker voor de huidige queue.

Nog niet oppakken. Eerst: #105 wiki-refresh mergen, daarna patch 0.3.1 → 0.3.2. Daarna is dit de volgende kandidaat.

Korte context (geen implementatie): XML↔JSON zit in de transformers-provider (xml2json / json2xml), niet als gateway-policy. CSV↔XML is sinds #106 ook daar (xml_to_csv / csv_to_xml) — dat is tabulair, geen positional/FFD flatfile-engine. Een BizTalk-style flatfile-POC zou dezelfde transformers-kant op moeten, niet de policy-keten.

Gezien. Dit is een **POC-vraag** (BizTalk-achtige flatfile↔XML, mogelijk XSD-gestuurd), geen blocker voor de huidige queue. **Nog niet oppakken.** Eerst: #105 wiki-refresh mergen, daarna patch `0.3.1` → `0.3.2`. Daarna is dit de volgende kandidaat. Korte context (geen implementatie): XML↔JSON zit in de **transformers**-provider (`xml2json` / `json2xml`), niet als gateway-policy. CSV↔XML is sinds #106 ook daar (`xml_to_csv` / `csv_to_xml`) — dat is tabulair, geen positional/FFD flatfile-engine. Een BizTalk-style flatfile-POC zou dezelfde transformers-kant op moeten, niet de policy-keten.
Contributor

Oppakken op feat/issue-124-flatfile (na 0.3.2 op main).

POC, geen BizTalk-FFD/XSD-parser en geen gateway-policy. XML↔JSON en CSV↔XML zitten al in de transformers-provider; flatfile↔XML komt daar ook (positional + eenvoudig delimited, JSON-layout artifact i.p.v. BizTalk XSD-annotaties). CSV met quoting blijft csv_to_xml / xml_to_csv.

Oppakken op `feat/issue-124-flatfile` (na 0.3.2 op main). **POC, geen BizTalk-FFD/XSD-parser en geen gateway-policy.** XML↔JSON en CSV↔XML zitten al in de transformers-provider; flatfile↔XML komt daar ook (positional + eenvoudig delimited, JSON-layout artifact i.p.v. BizTalk XSD-annotaties). CSV met quoting blijft `csv_to_xml` / `xml_to_csv`.
Author
Owner

Weet dat de flatfile XSD van BizTalk best wel krachtig is waarbij er regeltypes herkend kunnen worden en er dus een complexe XML uit kan komen of een complexe XML naar een complexe flatfile kan.

Weet dat de flatfile XSD van BizTalk best wel krachtig is waarbij er regeltypes herkend kunnen worden en er dus een complexe XML uit kan komen of een complexe XML naar een complexe flatfile kan.
Author
Owner

Dit is een klassiek scenario in BizTalk dat wordt opgelost door gebruik te maken van Tag Identifiers (ook wel record-ID's of tags genoemd). Hierdoor weet de BizTalk Flat File Disassembler (FFDASM) bij het inlezen van een nieuwe regel precies welk XSD-record erbij hoort.

Hier is een compleet, uitgewerkt voorbeeld van hoe je dit opzet.

1. Het bronbestand (De Flat File)

Stel dat we een simpel orderbestand hebben waarbij we drie typen regels (records) hebben: een Header (HDR), één of meerdere detailregels (DTL), en een Footer (FTR).

HDR;ORD-9921;2026-08-14
DTL;Laptop;2;850.00
DTL;Muismat;5;12.50
FTR;2;1762.50

2. De gewenste XML-uitvoer

Na de conversie via de receive pipeline wil je dat BizTalk dit vertaalt naar de volgende XML-structuur:

<Order xmlns="http://Voorbeeld.BizTalk.FlatFile.Order">
  <Header>
    <OrderID>ORD-9921</OrderID>
    <OrderDate>2026-08-14</OrderDate>
  </Header>
  <Detail>
    <Item>Laptop</Item>
    <Aantal>2</Aantal>
    <Prijs>850.00</Prijs>
  </Detail>
  <Detail>
    <Item>Muismat</Item>
    <Aantal>5</Aantal>
    <Prijs>12.50</Prijs>
  </Detail>
  <Footer>
    <AantalRegels>2</AantalRegels>
    <TotaalBedrag>1762.50</TotaalBedrag>
  </Footer>
</Order>


3. Hoe je de XSD opbouwt in de BizTalk Schema Editor

Om dit werkend te krijgen, moet je in de BizTalk Editor de Flat File Extension inschakelen en de eigenschappen op de juiste knooppunten instellen.

Stap A: Activeer de Flat File extensie

  1. Selecteer de <Schema> node helemaal bovenaan.
  2. Zet in het Properties venster de eigenschap Schema Editor Extensions op Flat File Extension.

Stap B: De Root Node instellen (Regelscheiding)

  1. Hernoem je root node naar Order.
  2. Selecteer de Order node en stel de volgende eigenschappen in:
  • Structure: Delimited
  • Child Delimiter Type: Hexadecimal
  • Child Delimiter: 0x0D 0x0A (Dit staat voor een Carriage Return / Line Feed, oftewel een nieuwe regel).
  • Child Order: Sequence (Header, gevolgd door Details, gevolgd door Footer).

Maak onder de Order node drie Child Records aan (Header, Detail, Footer). Het geheim zit hem in de Tag Identifier. Dit is de waarde aan het begin van de regel waaraan BizTalk het record herkent.

Configuratie voor het Header record:

  • Min Occurs / Max Occurs: 1 / 1
  • Structure: Delimited
  • Child Delimiter Type: Character
  • Child Delimiter: ;
  • Tag Identifier: HDR; (Let op de puntkomma! Dit voorkomt dat een record dat toevallig met 'HDR' begint maar een ander scheidingsteken heeft, onterecht als header wordt gezien).

Maak onder de Header node de child elements aan (als normale elementen, NIET als records):

  • OrderID
  • OrderDate

Configuratie voor het Detail record:

  • Min Occurs / Max Occurs: 1 / * (of unbounded, omdat er meerdere detailregels kunnen zijn).
  • Structure: Delimited
  • Child Delimiter Type: Character
  • Child Delimiter: ;
  • Tag Identifier: DTL;

Maak onder de Detail node de child elements aan:

  • Item
  • Aantal
  • Prijs

Configuratie voor het Footer record:

  • Min Occurs / Max Occurs: 0 / 1 (optioneel) of 1 / 1.
  • Structure: Delimited
  • Child Delimiter Type: Character
  • Child Delimiter: ;
  • Tag Identifier: FTR;

Maak onder de Footer node de child elements aan:

  • AantalRegels
  • TotaalBedrag

Belangrijke valkuilen om te vermijden

  1. Tag Identifier correct instellen: Zet in de Tag Identifier bij voorkeur óók de delimiter (dus HDR; in plaats van alleen HDR). Als je alleen HDR gebruikt, verwacht BizTalk dat het eerste dataveld in de XML óók de waarde 'HDR' bevat, of je raakt in de war met offsets.
  2. Positional vs Delimited: Als je regels niet gescheiden zijn door een puntkomma of komma, maar vaste lengtes hebben, zet je op recordniveau de Structure op Positional. De Tag Identifier blijft echter gewoon werken om te bepalen welk record het is. De child elements geef je dan in de properties een Positional Length en Positional Offset.
  3. Parse volgorde (Child Order): Standaard staat een root node op Sequence. Als de records in willekeurige volgorde mogen binnenkomen (bijvoorbeeld eerst een DTL, dan een HDR), moet je de Child Order van de Order root node op Choice of Conditional zetten, al komt dat in de praktijk bij dit soort bestanden zelden voor.
Dit is een klassiek scenario in BizTalk dat wordt opgelost door gebruik te maken van **Tag Identifiers** (ook wel record-ID's of tags genoemd). Hierdoor weet de BizTalk Flat File Disassembler (FFDASM) bij het inlezen van een nieuwe regel precies welk XSD-record erbij hoort. Hier is een compleet, uitgewerkt voorbeeld van hoe je dit opzet. ### 1. Het bronbestand (De Flat File) Stel dat we een simpel orderbestand hebben waarbij we drie typen regels (records) hebben: een Header (`HDR`), één of meerdere detailregels (`DTL`), en een Footer (`FTR`). ```text HDR;ORD-9921;2026-08-14 DTL;Laptop;2;850.00 DTL;Muismat;5;12.50 FTR;2;1762.50 ``` ### 2. De gewenste XML-uitvoer Na de conversie via de receive pipeline wil je dat BizTalk dit vertaalt naar de volgende XML-structuur: ```xml <Order xmlns="http://Voorbeeld.BizTalk.FlatFile.Order"> <Header> <OrderID>ORD-9921</OrderID> <OrderDate>2026-08-14</OrderDate> </Header> <Detail> <Item>Laptop</Item> <Aantal>2</Aantal> <Prijs>850.00</Prijs> </Detail> <Detail> <Item>Muismat</Item> <Aantal>5</Aantal> <Prijs>12.50</Prijs> </Detail> <Footer> <AantalRegels>2</AantalRegels> <TotaalBedrag>1762.50</TotaalBedrag> </Footer> </Order> ``` --- ### 3. Hoe je de XSD opbouwt in de BizTalk Schema Editor Om dit werkend te krijgen, moet je in de BizTalk Editor de Flat File Extension inschakelen en de eigenschappen op de juiste knooppunten instellen. #### Stap A: Activeer de Flat File extensie 1. Selecteer de `<Schema>` node helemaal bovenaan. 2. Zet in het Properties venster de eigenschap **Schema Editor Extensions** op `Flat File Extension`. #### Stap B: De Root Node instellen (Regelscheiding) 1. Hernoem je root node naar `Order`. 2. Selecteer de `Order` node en stel de volgende eigenschappen in: * **Structure:** `Delimited` * **Child Delimiter Type:** `Hexadecimal` * **Child Delimiter:** `0x0D 0x0A` *(Dit staat voor een Carriage Return / Line Feed, oftewel een nieuwe regel).* * **Child Order:** `Sequence` *(Header, gevolgd door Details, gevolgd door Footer).* #### Stap C: De verschillende records aanmaken (Header, Detail, Footer) Maak onder de `Order` node drie Child Records aan (`Header`, `Detail`, `Footer`). Het geheim zit hem in de **Tag Identifier**. Dit is de waarde aan het begin van de regel waaraan BizTalk het record herkent. **Configuratie voor het `Header` record:** * **Min Occurs / Max Occurs:** `1` / `1` * **Structure:** `Delimited` * **Child Delimiter Type:** `Character` * **Child Delimiter:** `;` * **Tag Identifier:** `HDR;` *(Let op de puntkomma! Dit voorkomt dat een record dat toevallig met 'HDR' begint maar een ander scheidingsteken heeft, onterecht als header wordt gezien).* Maak onder de `Header` node de child elements aan (als normale elementen, NIET als records): * `OrderID` * `OrderDate` **Configuratie voor het `Detail` record:** * **Min Occurs / Max Occurs:** `1` / `*` *(of unbounded, omdat er meerdere detailregels kunnen zijn).* * **Structure:** `Delimited` * **Child Delimiter Type:** `Character` * **Child Delimiter:** `;` * **Tag Identifier:** `DTL;` Maak onder de `Detail` node de child elements aan: * `Item` * `Aantal` * `Prijs` **Configuratie voor het `Footer` record:** * **Min Occurs / Max Occurs:** `0` / `1` *(optioneel)* of `1` / `1`. * **Structure:** `Delimited` * **Child Delimiter Type:** `Character` * **Child Delimiter:** `;` * **Tag Identifier:** `FTR;` Maak onder de `Footer` node de child elements aan: * `AantalRegels` * `TotaalBedrag` --- ### Belangrijke valkuilen om te vermijden 1. **Tag Identifier correct instellen:** Zet in de Tag Identifier bij voorkeur óók de delimiter (dus `HDR;` in plaats van alleen `HDR`). Als je alleen `HDR` gebruikt, verwacht BizTalk dat het eerste dataveld in de XML óók de waarde 'HDR' bevat, of je raakt in de war met offsets. 2. **Positional vs Delimited:** Als je regels niet gescheiden zijn door een puntkomma of komma, maar vaste lengtes hebben, zet je op recordniveau de `Structure` op `Positional`. De `Tag Identifier` blijft echter gewoon werken om te bepalen *welk* record het is. De child elements geef je dan in de properties een `Positional Length` en `Positional Offset`. 3. **Parse volgorde (Child Order):** Standaard staat een root node op `Sequence`. Als de records in willekeurige volgorde mogen binnenkomen (bijvoorbeeld eerst een DTL, dan een HDR), moet je de **Child Order** van de `Order` root node op `Choice` of `Conditional` zetten, al komt dat in de praktijk bij dit soort bestanden zelden voor.
Author
Owner

Voorbeeld XSD:

<xs:schema xmlns="http://Voorbeeld.BizTalk.FlatFile.Order"
xmlns:b="http://schemas.microsoft.com/BizTalk/2003"
targetNamespace="http://Voorbeeld.BizTalk.FlatFile.Order"
xmlns:xs="http://www.w3.org/2001/XMLSchema">
xs:annotation
xs:appinfo
<schemaEditorExtension:schemaInfo namespaceAlias="b" extensionClass="Microsoft.BizTalk.FlatFileExtension.FlatFileExtension" standardName="Flat File" xmlns:schemaEditorExtension="http://schemas.microsoft.com/BizTalk/2003/SchemaEditorExtensions" />
<b:schemaInfo standard="Flat File" codepage="65001" default_pad_char=" " pad_char_type="char" count_positions_by_byte="false" parser_optimization="complexity" lookahead_depth="3" suppress_empty_nodes="false" generate_empty_nodes="true" allow_early_termination="false" early_terminate_optional_fields="false" allow_message_breakup_of_empty_root_elements="false" compile_parse_tables="false" />
</xs:appinfo>
</xs:annotation>
<xs:element name="Order">
xs:annotation
xs:appinfo
<b:recordInfo structure="delimited" child_delimiter_type="hex" child_delimiter="0x0D 0x0A" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="1" />
</xs:appinfo>
</xs:annotation>
xs:complexType
xs:sequence

    <!-- Header Record -->
    <xs:element name="Header">
      <xs:annotation>
        <xs:appinfo>
          <b:recordInfo structure="delimited" child_delimiter_type="char" child_delimiter=";" tag_name="HDR;" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="1" />
        </xs:appinfo>
      </xs:annotation>
      <xs:complexType>
        <xs:sequence>
          <xs:element name="OrderID" type="xs:string">
            <xs:annotation>
              <xs:appinfo>
                <b:fieldInfo justification="left" sequence_number="1" />
              </xs:appinfo>
            </xs:annotation>
          </xs:element>
          <xs:element name="OrderDate" type="xs:string">
            <xs:annotation>
              <xs:appinfo>
                <b:fieldInfo justification="left" sequence_number="2" />
              </xs:appinfo>
            </xs:annotation>
          </xs:element>
        </xs:sequence>
      </xs:complexType>
    </xs:element>
    
    <!-- Detail Record (maxOccurs="unbounded" voor meerdere regels) -->
    <xs:element maxOccurs="unbounded" name="Detail">
      <xs:annotation>
        <xs:appinfo>
          <b:recordInfo structure="delimited" child_delimiter_type="char" child_delimiter=";" tag_name="DTL;" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="2" />
        </xs:appinfo>
      </xs:annotation>
      <xs:complexType>
        <xs:sequence>
          <xs:element name="Item" type="xs:string">
            <xs:annotation>
              <xs:appinfo>
                <b:fieldInfo justification="left" sequence_number="1" />
              </xs:appinfo>
            </xs:annotation>
          </xs:element>
          <xs:element name="Aantal" type="xs:string">
            <xs:annotation>
              <xs:appinfo>
                <b:fieldInfo justification="left" sequence_number="2" />
              </xs:appinfo>
            </xs:annotation>
          </xs:element>
          <xs:element name="Prijs" type="xs:string">
            <xs:annotation>
              <xs:appinfo>
                <b:fieldInfo justification="left" sequence_number="3" />
              </xs:appinfo>
            </xs:annotation>
          </xs:element>
        </xs:sequence>
      </xs:complexType>
    </xs:element>
    
    <!-- Footer Record -->
    <xs:element name="Footer">
      <xs:annotation>
        <xs:appinfo>
          <b:recordInfo structure="delimited" child_delimiter_type="char" child_delimiter=";" tag_name="FTR;" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="3" />
        </xs:appinfo>
      </xs:annotation>
      <xs:complexType>
        <xs:sequence>
          <xs:element name="AantalRegels" type="xs:string">
            <xs:annotation>
              <xs:appinfo>
                <b:fieldInfo justification="left" sequence_number="1" />
              </xs:appinfo>
            </xs:annotation>
          </xs:element>
          <xs:element name="TotaalBedrag" type="xs:string">
            <xs:annotation>
              <xs:appinfo>
                <b:fieldInfo justification="left" sequence_number="2" />
              </xs:appinfo>
            </xs:annotation>
          </xs:element>
        </xs:sequence>
      </xs:complexType>
    </xs:element>
    
  </xs:sequence>
</xs:complexType>

</xs:element>
</xs:schema>

Voorbeeld XSD: <?xml version="1.0" encoding="utf-16"?> <xs:schema xmlns="http://Voorbeeld.BizTalk.FlatFile.Order" xmlns:b="http://schemas.microsoft.com/BizTalk/2003" targetNamespace="http://Voorbeeld.BizTalk.FlatFile.Order" xmlns:xs="http://www.w3.org/2001/XMLSchema"> <xs:annotation> <xs:appinfo> <schemaEditorExtension:schemaInfo namespaceAlias="b" extensionClass="Microsoft.BizTalk.FlatFileExtension.FlatFileExtension" standardName="Flat File" xmlns:schemaEditorExtension="http://schemas.microsoft.com/BizTalk/2003/SchemaEditorExtensions" /> <b:schemaInfo standard="Flat File" codepage="65001" default_pad_char=" " pad_char_type="char" count_positions_by_byte="false" parser_optimization="complexity" lookahead_depth="3" suppress_empty_nodes="false" generate_empty_nodes="true" allow_early_termination="false" early_terminate_optional_fields="false" allow_message_breakup_of_empty_root_elements="false" compile_parse_tables="false" /> </xs:appinfo> </xs:annotation> <xs:element name="Order"> <xs:annotation> <xs:appinfo> <b:recordInfo structure="delimited" child_delimiter_type="hex" child_delimiter="0x0D 0x0A" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="1" /> </xs:appinfo> </xs:annotation> <xs:complexType> <xs:sequence> <!-- Header Record --> <xs:element name="Header"> <xs:annotation> <xs:appinfo> <b:recordInfo structure="delimited" child_delimiter_type="char" child_delimiter=";" tag_name="HDR;" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="1" /> </xs:appinfo> </xs:annotation> <xs:complexType> <xs:sequence> <xs:element name="OrderID" type="xs:string"> <xs:annotation> <xs:appinfo> <b:fieldInfo justification="left" sequence_number="1" /> </xs:appinfo> </xs:annotation> </xs:element> <xs:element name="OrderDate" type="xs:string"> <xs:annotation> <xs:appinfo> <b:fieldInfo justification="left" sequence_number="2" /> </xs:appinfo> </xs:annotation> </xs:element> </xs:sequence> </xs:complexType> </xs:element> <!-- Detail Record (maxOccurs="unbounded" voor meerdere regels) --> <xs:element maxOccurs="unbounded" name="Detail"> <xs:annotation> <xs:appinfo> <b:recordInfo structure="delimited" child_delimiter_type="char" child_delimiter=";" tag_name="DTL;" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="2" /> </xs:appinfo> </xs:annotation> <xs:complexType> <xs:sequence> <xs:element name="Item" type="xs:string"> <xs:annotation> <xs:appinfo> <b:fieldInfo justification="left" sequence_number="1" /> </xs:appinfo> </xs:annotation> </xs:element> <xs:element name="Aantal" type="xs:string"> <xs:annotation> <xs:appinfo> <b:fieldInfo justification="left" sequence_number="2" /> </xs:appinfo> </xs:annotation> </xs:element> <xs:element name="Prijs" type="xs:string"> <xs:annotation> <xs:appinfo> <b:fieldInfo justification="left" sequence_number="3" /> </xs:appinfo> </xs:annotation> </xs:element> </xs:sequence> </xs:complexType> </xs:element> <!-- Footer Record --> <xs:element name="Footer"> <xs:annotation> <xs:appinfo> <b:recordInfo structure="delimited" child_delimiter_type="char" child_delimiter=";" tag_name="FTR;" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="3" /> </xs:appinfo> </xs:annotation> <xs:complexType> <xs:sequence> <xs:element name="AantalRegels" type="xs:string"> <xs:annotation> <xs:appinfo> <b:fieldInfo justification="left" sequence_number="1" /> </xs:appinfo> </xs:annotation> </xs:element> <xs:element name="TotaalBedrag" type="xs:string"> <xs:annotation> <xs:appinfo> <b:fieldInfo justification="left" sequence_number="2" /> </xs:appinfo> </xs:annotation> </xs:element> </xs:sequence> </xs:complexType> </xs:element> </xs:sequence> </xs:complexType> </xs:element> </xs:schema>
Contributor

Wizard-XSD meegenomen (comment 701).

schema_file mag nu de BizTalk Flat File Schema Wizard-XSD zijn (xmlns:b, b:recordInfo / b:fieldInfo, tag_name, delimiters, pos_length). Transformers compileert die annotaties (lxml, dezelfde stack als validate_xsd) naar het interne layout-model. JSON-layout blijft de MeshFlows-equivalent.

Demo flatfile_demo gebruikt order-flatfile.xsd (HDR;/DTL;/FTR;). Geen volledige FFDASM (geen wrap-chars / nested repeating groups). Geen gateway-policy. Geen VERSION-bump.

**Wizard-XSD meegenomen** (comment 701). `schema_file` mag nu de BizTalk Flat File Schema Wizard-XSD zijn (`xmlns:b`, `b:recordInfo` / `b:fieldInfo`, `tag_name`, delimiters, `pos_length`). Transformers compileert die annotaties (lxml, dezelfde stack als `validate_xsd`) naar het interne layout-model. JSON-layout blijft de MeshFlows-equivalent. Demo `flatfile_demo` gebruikt `order-flatfile.xsd` (HDR;/DTL;/FTR;). Geen volledige FFDASM (geen wrap-chars / nested repeating groups). Geen gateway-policy. Geen VERSION-bump.
Marc closed this issue 2026-08-14 15:26:48 +00:00
Sign in to join this conversation.
No milestone
No project
No assignees
2 participants
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
MeshFlowsGPL/meshflows#124
No description provided.