Der Kunde ist ein Anbieter von Technologielösungen für die Automobilindustrie. Über Jahre hinweg bezog das Unternehmen elektronische Ersatzteilkataloge direkt von den Herstellern und gab dafür monatlich zwischen 5.000 $ und 50.000 $ pro Katalog aus. Die Herausforderung bestand darin, eine Lösung zu entwickeln, die Kataloge von fünf verschiedenen Herstellern auf Basis der Quelldaten automatisch generiert und aktualisiert.
$100K
5
300ms
Der Kunde gab monatlich zwischen 5.000 $ und 50.000 $ für jeden elektronischen Ersatzteilkatalog aus, den er direkt von den Herstellern bezog. Das Ziel war der Aufbau einer Lösung, die diese Kataloge automatisch aus den Quelldaten generiert und aktualisiert.
Jeder Hersteller speicherte seine Quelldaten in einem anderen Format: Textdateien, XML, Excel, Datenbanken (.MDF) und sogar EBCDIC (ein Format, das auf IBM-Mainframes aus den 1950er Jahren zurückgeht). Die zentrale technische Herausforderung bestand darin, einheitliche ETL-Pipelines zu entwickeln, die all diese Formate verarbeiten können.
Strenge Leistungsanforderungen erforderten API-Antwortzeiten von 300 ms, was einen erheblichen Optimierungsaufwand für die gesamte Datenpipeline erforderte.
Wir haben ETL-Pipelines entwickelt, die unterschiedliche Quelldaten transformieren und es ermöglichen, alle Kataloge über einen einzigen Satz von APIs abzufragen.
Die Pipeline läuft in drei Phasen ab:
Der ETL-Prozess läuft monatlich pro Hersteller mit Verarbeitungszeiten von 1 bis 8 Stunden. TeamCity führt Integritätsprüfungen, automatische Tests und Katalog-Builds aus vollständigen Datensätzen durch. SpecFlow deckt alle ETL- und API-Autotests ab. Die größte Datenbank der Lieferergebnisse umfasst 150 GB.
Wir haben über 200 Unternehmen dabei unterstützt, ihren Geschäftswert zu steigern und ihre Arbeitsweise durch bessere Software zu optimieren.
.webp)
