Wie wir elektronische Ersatzteilkataloge für einen Automobilzulieferer implementiert haben

Der Kunde bezog seit Jahren elektronische Ersatzteilkataloge und gab dafür monatlich zwischen 5.000 $ und 50.000 $ pro Katalog aus.

Unser Team nahm die Herausforderung an, eine Lösung zu entwickeln, die die Kataloge von fünf Herstellern auf Basis der Quelldaten generiert und aktualisiert.

• Jede Funktion wurde unabhängig von der Gesamtlösung implementiert. Grund dafür war das Fehlen eines durchdachten Ansatzes für die Architektur der Lösung;
• Es war unmöglich, eine bestimmte Funktion ausfindig zu machen, da im Projekt ein bunter Mix aus Tools und Technologien eingesetzt wurde: eine Mischung aus Cloud- und On-Premise-Umgebungen sowie Sprachen (Python, Perl, SQL und Bash);
• Es gab keine Dokumentation.

Jeder Hersteller liefert seine Quelldaten in einem eigenen Format — Textdateien, XML, Excel, Datenbanken (.MDF) und sogar EBCDIC, ein Format, das seit den 1950er Jahren auf IBM-Mainframes verwendet wird. Ziel war es, ETL-Pipelines aufzubauen, die die unterschiedlichen Quelldaten transformieren und es ermöglichen, alle Kataloge über einen einzigen Satz von APIs abzufragen.

Stage — Rohdaten werden in eine MS-SQL-Datenbank importiert und anschließend bereinigt und validiert. Die Stage enthält nur einen Satz verarbeiteter Daten, der zu Beginn jedes ETL-Durchlaufs geleert wird. Das Data Warehouse ist ein permanenter Datenspeicher mit integrierten und normalisierten Datensätzen (kein kanonisches Data Warehouse).

Die Deliverable Database enthält Daten mit angewandten Geschäftsregeln und Transformationen, die für den Zugriff über APIs erforderlich sind. Die APIs wiederum sind als SQL-Prozeduren implementiert.

Technische Details

1. Der ETL-Prozess läuft einmal im Monat für jeden Hersteller, mit einer Verarbeitungszeit von 1 bis 8 Stunden.
2. TeamCity ist so konfiguriert, dass es Integritätsprüfungen und Autotests ausführt und Kataloge auf Basis vollständiger Datensätze erstellt.
3. Die Antwortzeit der APIs beträgt 300 ms, was einen erheblichen Optimierungsaufwand erforderte.
4. Autotests decken den ETL-Prozess und alle APIs ab und sind mit SpecFlow implementiert.
5. Die größte Deliverable Database umfasst 150 GB.