Comment nous avons mis en place des catalogues électroniques de pièces détachées pour un équipementier automobile

Depuis des années, le client achetait des catalogues électroniques de pièces détachées et dépensait entre 5 000 $ et 50 000 $ par mois pour chacun d'eux.

Notre équipe a relevé le défi de développer une solution capable de générer et de mettre à jour les catalogues de cinq constructeurs à partir des données sources.

• Chaque fonctionnalité avait été mise en œuvre indépendamment de la solution dans son ensemble, faute d'une approche réfléchie de l'architecture ;
• Il était impossible de localiser une fonctionnalité précise, car le projet mêlait un ensemble disparate d'outils et de technologies : environnements cloud et sur site, et plusieurs langages (Python, Perl, SQL et Bash) ;
• La documentation était inexistante.

Chaque constructeur fournit ses données sources dans un format qui lui est propre (fichiers texte, XML, Excel, bases de données .MDF et même EBCDIC, un format utilisé depuis les années 1950 sur les mainframes IBM). L'objectif était de construire des pipelines ETL capables de transformer ces données hétérogènes et de permettre d'interroger tous les catalogues via un ensemble unique d'API.

Stage : les données brutes sont importées dans une base MS SQL, puis nettoyées et validées. Le stage ne contient qu'un ensemble de données traitées, vidé au début de chaque exécution de l'ETL. Le Data Warehouse est un espace de stockage permanent qui regroupe des jeux de données intégrés et normalisés (il ne s'agit pas d'un entrepôt de données canonique).

La Deliverable Database contient les données auxquelles ont été appliquées les règles métier et les transformations nécessaires pour y accéder via les API. Les API sont, quant à elles, implémentées sous forme de procédures SQL.

Détails techniques

1. Le processus ETL s'exécute une fois par mois pour chaque constructeur, avec un temps de traitement de 1 à 8 heures.
2. TeamCity est configuré pour exécuter les contrôles d'intégrité et les tests automatisés, et pour générer les catalogues à partir des jeux de données complets.
3. Le temps de réponse des API est de 300 ms, ce qui a nécessité un important travail d'optimisation.
4. Les tests automatisés couvrent le processus ETL et l'ensemble des API, et sont implémentés avec SpecFlow.
5. La plus grande Deliverable Database atteint 150 Go.