Jak wdrożyliśmy elektroniczne katalogi części zamiennych dla dostawcy z branży motoryzacyjnej

Przez lata klient kupował elektroniczne katalogi części zamiennych i wydawał na każdy z nich od 5000 USD do 50 000 USD miesięcznie.

Nasz zespół podjął się stworzenia rozwiązania, które generowałoby i aktualizowało katalogi pięciu producentów na podstawie danych źródłowych.

• Każda funkcja była wdrażana niezależnie od całości rozwiązania, ponieważ brakowało przemyślanego podejścia do architektury;
• Odnalezienie konkretnej funkcji było niemożliwe, ponieważ projekt łączył przypadkowy zestaw narzędzi i technologii: środowiska chmurowe i lokalne oraz kilka języków (Python, Perl, SQL i Bash);
• Nie istniała żadna dokumentacja.

Każdy producent dostarcza dane źródłowe we własnym formacie (pliki tekstowe, XML, Excel, bazy danych .MDF, a nawet EBCDIC – format używany od lat 50. na komputerach mainframe IBM). Celem było zbudowanie pipeline'ów ETL, które przekształcą te niejednorodne dane i pozwolą odpytywać wszystkie katalogi za pomocą jednego zestawu API.

Stage: surowe dane są importowane do bazy MS SQL, a następnie czyszczone i walidowane. Stage zawiera tylko jeden przetworzony zbiór danych, który jest czyszczony na początku każdego uruchomienia ETL. Data Warehouse to trwały magazyn gromadzący zintegrowane i znormalizowane zbiory danych (nie jest to kanoniczna hurtownia danych).

Deliverable Database zawiera dane, do których zastosowano reguły biznesowe i transformacje potrzebne do udostępniania ich przez API. Same API są zaimplementowane jako procedury SQL.

Szczegóły techniczne

1. Proces ETL jest uruchamiany raz w miesiącu dla każdego producenta, a przetwarzanie trwa od 1 do 8 godzin.
2. TeamCity jest skonfigurowane do uruchamiania kontroli integralności i testów automatycznych oraz do generowania katalogów na podstawie kompletnych zbiorów danych.
3. Czas odpowiedzi API wynosi 300 ms, co wymagało znaczącej pracy optymalizacyjnej.
4. Testy automatyczne obejmują proces ETL i wszystkie API i są realizowane w SpecFlow.
5. Największa Deliverable Database ma rozmiar 150 GB.