Flatfile conversie #124
Labels
No labels
prio/P1
prio/P2
prio/P3
status/leftover
status/new
status/parked
type/feature
type/ops
type/research
No milestone
No project
No assignees
2 participants
Notifications
Due date
No due date set.
Dependencies
No dependencies set
Reference
MeshFlowsGPL/meshflows#124
Loading…
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Ik weet dat er in BizTalk een krachtige flatfile->XML en XML->flatfile engine bestaat. Volgens mij xsd gebaseerd. Is het mogelijk om een dergelijke vertaling in te bouwen? Misschien zelfs in een policy? flatfile-XML en XML->flatfile? Dit gaat meer om een POC dan om iets waar al een concrete verzoek voor ligt.
Info is mogelijk hier ook te vinden:https://learn.microsoft.com/en-us/biztalk/core/flatfilesend-biztalk-server-sample
Heb me trouwens noopit zo bezig gehouden met de XML JSON conversies in policies maar gebeuren die in de transformer provider of toch elders in de engine?
Gezien. Dit is een POC-vraag (BizTalk-achtige flatfile↔XML, mogelijk XSD-gestuurd), geen blocker voor de huidige queue.
Nog niet oppakken. Eerst: #105 wiki-refresh mergen, daarna patch
0.3.1→0.3.2. Daarna is dit de volgende kandidaat.Korte context (geen implementatie): XML↔JSON zit in de transformers-provider (
xml2json/json2xml), niet als gateway-policy. CSV↔XML is sinds #106 ook daar (xml_to_csv/csv_to_xml) — dat is tabulair, geen positional/FFD flatfile-engine. Een BizTalk-style flatfile-POC zou dezelfde transformers-kant op moeten, niet de policy-keten.Oppakken op
feat/issue-124-flatfile(na 0.3.2 op main).POC, geen BizTalk-FFD/XSD-parser en geen gateway-policy. XML↔JSON en CSV↔XML zitten al in de transformers-provider; flatfile↔XML komt daar ook (positional + eenvoudig delimited, JSON-layout artifact i.p.v. BizTalk XSD-annotaties). CSV met quoting blijft
csv_to_xml/xml_to_csv.Weet dat de flatfile XSD van BizTalk best wel krachtig is waarbij er regeltypes herkend kunnen worden en er dus een complexe XML uit kan komen of een complexe XML naar een complexe flatfile kan.
Dit is een klassiek scenario in BizTalk dat wordt opgelost door gebruik te maken van Tag Identifiers (ook wel record-ID's of tags genoemd). Hierdoor weet de BizTalk Flat File Disassembler (FFDASM) bij het inlezen van een nieuwe regel precies welk XSD-record erbij hoort.
Hier is een compleet, uitgewerkt voorbeeld van hoe je dit opzet.
1. Het bronbestand (De Flat File)
Stel dat we een simpel orderbestand hebben waarbij we drie typen regels (records) hebben: een Header (
HDR), één of meerdere detailregels (DTL), en een Footer (FTR).2. De gewenste XML-uitvoer
Na de conversie via de receive pipeline wil je dat BizTalk dit vertaalt naar de volgende XML-structuur:
3. Hoe je de XSD opbouwt in de BizTalk Schema Editor
Om dit werkend te krijgen, moet je in de BizTalk Editor de Flat File Extension inschakelen en de eigenschappen op de juiste knooppunten instellen.
Stap A: Activeer de Flat File extensie
<Schema>node helemaal bovenaan.Flat File Extension.Stap B: De Root Node instellen (Regelscheiding)
Order.Ordernode en stel de volgende eigenschappen in:DelimitedHexadecimal0x0D 0x0A(Dit staat voor een Carriage Return / Line Feed, oftewel een nieuwe regel).Sequence(Header, gevolgd door Details, gevolgd door Footer).Stap C: De verschillende records aanmaken (Header, Detail, Footer)
Maak onder de
Ordernode drie Child Records aan (Header,Detail,Footer). Het geheim zit hem in de Tag Identifier. Dit is de waarde aan het begin van de regel waaraan BizTalk het record herkent.Configuratie voor het
Headerrecord:1/1DelimitedCharacter;HDR;(Let op de puntkomma! Dit voorkomt dat een record dat toevallig met 'HDR' begint maar een ander scheidingsteken heeft, onterecht als header wordt gezien).Maak onder de
Headernode de child elements aan (als normale elementen, NIET als records):OrderIDOrderDateConfiguratie voor het
Detailrecord:1/*(of unbounded, omdat er meerdere detailregels kunnen zijn).DelimitedCharacter;DTL;Maak onder de
Detailnode de child elements aan:ItemAantalPrijsConfiguratie voor het
Footerrecord:0/1(optioneel) of1/1.DelimitedCharacter;FTR;Maak onder de
Footernode de child elements aan:AantalRegelsTotaalBedragBelangrijke valkuilen om te vermijden
HDR;in plaats van alleenHDR). Als je alleenHDRgebruikt, verwacht BizTalk dat het eerste dataveld in de XML óók de waarde 'HDR' bevat, of je raakt in de war met offsets.StructureopPositional. DeTag Identifierblijft echter gewoon werken om te bepalen welk record het is. De child elements geef je dan in de properties eenPositional LengthenPositional Offset.Sequence. Als de records in willekeurige volgorde mogen binnenkomen (bijvoorbeeld eerst een DTL, dan een HDR), moet je de Child Order van deOrderroot node opChoiceofConditionalzetten, al komt dat in de praktijk bij dit soort bestanden zelden voor.Voorbeeld XSD:
<xs:schema xmlns="http://Voorbeeld.BizTalk.FlatFile.Order"
xmlns:b="http://schemas.microsoft.com/BizTalk/2003"
targetNamespace="http://Voorbeeld.BizTalk.FlatFile.Order"
xmlns:xs="http://www.w3.org/2001/XMLSchema">
xs:annotation
xs:appinfo
<schemaEditorExtension:schemaInfo namespaceAlias="b" extensionClass="Microsoft.BizTalk.FlatFileExtension.FlatFileExtension" standardName="Flat File" xmlns:schemaEditorExtension="http://schemas.microsoft.com/BizTalk/2003/SchemaEditorExtensions" />
<b:schemaInfo standard="Flat File" codepage="65001" default_pad_char=" " pad_char_type="char" count_positions_by_byte="false" parser_optimization="complexity" lookahead_depth="3" suppress_empty_nodes="false" generate_empty_nodes="true" allow_early_termination="false" early_terminate_optional_fields="false" allow_message_breakup_of_empty_root_elements="false" compile_parse_tables="false" />
</xs:appinfo>
</xs:annotation>
<xs:element name="Order">
xs:annotation
xs:appinfo
<b:recordInfo structure="delimited" child_delimiter_type="hex" child_delimiter="0x0D 0x0A" preserve_delimiter_for_empty_data="true" suppress_trailing_delimiters="false" sequence_number="1" />
</xs:appinfo>
</xs:annotation>
xs:complexType
xs:sequence
</xs:element>
</xs:schema>
Wizard-XSD meegenomen (comment 701).
schema_filemag nu de BizTalk Flat File Schema Wizard-XSD zijn (xmlns:b,b:recordInfo/b:fieldInfo,tag_name, delimiters,pos_length). Transformers compileert die annotaties (lxml, dezelfde stack alsvalidate_xsd) naar het interne layout-model. JSON-layout blijft de MeshFlows-equivalent.Demo
flatfile_demogebruiktorder-flatfile.xsd(HDR;/DTL;/FTR;). Geen volledige FFDASM (geen wrap-chars / nested repeating groups). Geen gateway-policy. Geen VERSION-bump.