xmlstreamer-ng

Les flux XML volumineux provenant de systèmes distants sont souvent mal formés, mal codés ou interrompus en cours de transit. Un analyseur strict perd l'intégralité du document au profit d'un seul enregistrement brisé ; un analyseur de récupération agressif peut réécrire silencieusement le balisage endommagé dans des enregistrements qui n'ont jamais existé.

xmlstreamer-ng est conçu pour l'espace entre ces deux comportements : livrer chaque élément intact avant et après une corruption localisée, ne jamais inventer d'enregistrements et signaler ce qui a été supprimé au lieu de présenter un traitement incomplet comme un succès.

xmlstreamer-ng est basé sur carlosplanchon/xmlstreamer de Carlos A. Planchón (MIT) et conserve son approche de streaming par élément pour les flux XML volumineux ou endommagés. Le moteur d'analyse repose sur rypipe (rypipe-core), qui fournit le tokenizer d'octets, le splitter, l'analyse par élément et l'exécution Arrow.

La reprise doit être conservatrice sans devenir inutile. Les balises séparatrices doivent être reconnues à l'intérieur des commentaires, CDATA, des instructions de traitement et DOCTYPE sans jamais être inventées par eux. La détection de codage doit vaincre une déclaration XML mensongère sans corrompre un UTF-8 valide. La mémoire limitée doit être conservée tandis que les éléments, les sections de balisage et les descripteurs peuvent chacun être plus grands que le tampon de lecture.

Le chemin en colonnes ajoute un deuxième contrat : le même moteur Rust doit produire des lots Arrow sous projection, filtrage et exécution parallèle, avec une sémantique de suppression d'éléments mal formés identique au chemin de streaming.

Derniers benchmarks sur un Ryzen 7 5800X avec un flux de 128 Mio et 951 898 éléments : XmlSource en parallèle (8 threads) atteint 15,8M lignes/s et 2,12 Go/s ; le streaming parallèle borné atteint 10,2M lignes/s et 1,36 Go/s avec 202 Mo de RSS maximal.