Hoe we elektronische onderdelencatalogi implementeerden voor een automotive-leverancier

De implementatie van het datawarehouse, het ELT-proces, het klantenportaal en de rapportages.

[ Klant ]

Over de klant

Een leverancier van technologische oplossingen voor de automotive-sector.

Automotive
Verenigde Staten
12 maanden
Data engineering
Backendontwikkeling

$100K
Bespaard per catalogusabonnement: 5
Catalogi van fabrikanten geautomatiseerd: 150GB
Grootste opleverdatabase

[ Uitdaging ]

Vijf fabrikanten, vijf verschillende dataformaten

De klant kocht al jarenlang elektronische onderdelencatalogi en gaf daar per catalogus $5.000 tot $50.000 per maand aan uit.

Ons team nam de uitdaging aan om een oplossing te ontwikkelen die de catalogi van vijf fabrikanten op basis van de brondata genereert en bijwerkt.

Elke functie was los van de oplossing als geheel gebouwd, omdat een doordachte aanpak van de architectuur ontbrak;
Een specifieke functie terugvinden was onmogelijk, omdat het project een allegaartje van tools en technologieën gebruikte: zowel cloud- als on-premise-omgevingen en meerdere talen (Python, Perl, SQL en Bash);
Er was geen documentatie.

[ Oplossing ]

De oplossing bouwen

Elke fabrikant levert zijn brondata in een eigen formaat aan (tekstbestanden, XML, Excel, databases (.MDF) en zelfs EBCDIC, een formaat dat sinds de jaren vijftig op IBM-mainframes wordt gebruikt). Het doel was ETL-pipelines te bouwen die deze uiteenlopende brondata transformeren, zodat alle catalogi via één set API's kunnen worden bevraagd.

Stage: ruwe data wordt in een MS SQL-database geïmporteerd en daarna opgeschoond en gevalideerd. De stage bevat alleen een set verwerkte data die aan het begin van elke ETL-run wordt geleegd. Het Data Warehouse is een permanente opslag met geïntegreerde en genormaliseerde datasets (geen canoniek datawarehouse).

De Deliverable Database bevat data waarop de bedrijfsregels en transformaties zijn toegepast die nodig zijn voor toegang via API's. De API's zijn op hun beurt geïmplementeerd als SQL-procedures.

Schema van de geïmplementeerde oplossing voor elektronische onderdelencatalogi van een automotive-leverancier

Technische details

Het ETL-proces draait eenmaal per maand per fabrikant, met een verwerkingstijd van 1 tot 8 uur.
TeamCity is ingesteld om integriteitscontroles en geautomatiseerde tests uit te voeren en catalogi te bouwen op basis van volledige datasets.
De responstijd van de API's is 300 ms, wat veel optimalisatiewerk vergde.
Geautomatiseerde tests, gebouwd met SpecFlow, dekken het ETL-proces en alle API's.
De grootste Deliverable Database is 150 GB.

[ Resultaten ]

Impact die ertoe doet

De klant genereert en onderhoudt nu alle vijf de catalogi zelf, waardoor terugkerende abonnementskosten bij externe leveranciers verdwijnen en de klant volledige controle over updates heeft.