Jak zrefaktoryzowaliśmy nieefektywny system raportowania

Wdrożenie hurtowni danych, procesu ELT, portalu klienta i raportów dla amerykańskiej platformy komunikacyjnej, ze skróceniem czasu prac o 58%.

[ Klient ]

O kliencie

Klientem jest amerykańska firma rozwijająca platformę komunikacyjną.

400GB
Obsługiwany wolumen hurtowni danych: 40%
Krótszy czas projektowania: 58%
Krótszy łączny czas prac

[ Wyzwanie ]

System raportowania bez technicznej dyscypliny

Klient dysponował systemem raportowania dla swojej platformy komunikacyjnej, ale poprzedni zespół deweloperski wdrożył go bez solidnego podejścia technicznego. Konsekwencje:

Z braku przemyślanego podejścia do architektury każdą funkcję tworzono niezależnie od całości rozwiązania;
Nie dało się zlokalizować konkretnej funkcji, ponieważ projekt łączył niejednorodny zestaw narzędzi i technologii: środowiska chmurowe i lokalne oraz kilka języków (Python, Perl, SQL i Bash);
Nie istniała żadna dokumentacja.

[ Rozwiązanie ]

Budowa rozwiązania

Nasz zespół rozpoczął od analizy rozwiązania i potrzeb optymalizacyjnych. Następnie zaprojektował architekturę nowego rozwiązania i zaproponował zestaw skalowalnych, opłacalnych narzędzi potrzebnych do wdrożenia wymaganych funkcji.

Nasz zespół od nowa stworzył hurtownię danych, proces ETL, portal klienta i raporty. Następnie umożliwiliśmy bezpośredni dostęp do danych w wielodostępnej hurtowni danych.

Szczegóły techniczne

Hurtownia danych zajmuje 400 GB
Proces ETL uruchamiany jest raz dziennie i przetwarza 1 GB
150 tenantów w jednej hurtowni danych
3000 raportów generowanych i wysyłanych e-mailem każdego dnia

Najważniejsze osiągnięcia

Efektem jest przejrzyste, dobrze udokumentowane rozwiązanie dostosowane do rzeczywistego obciążenia. Nowa wersja jest opłacalna dla właścicieli, ponieważ koszty powstają tylko podczas przetwarzania, a nie w okresach bezczynności. Nasz zespół:

Przeanalizował poprzednią wersję rozwiązania

Nasz zespół przeanalizował poprzednią wersję rozwiązania i udokumentował wymagania dotyczące ulepszeń.

Przygotował propozycję rozwiązania

Przygotowaliśmy nową propozycję rozwiązania z nową architekturą i opisem funkcji wysyłki e-maili. Zaproponowaliśmy też zestaw narzędzi programistycznych dla projektu.

Zapewnił płynne przejście

Zespół zrealizował projekt i zapewnił płynne przejście ze starego rozwiązania na nowe.

[ Rezultaty ]

Wpływ, który ma znaczenie

Zespół dostarczył proste, dobrze udokumentowane i skalowalne rozwiązanie. Nowa wersja generuje koszty tylko podczas aktywnego przetwarzania, a nie w okresach bezczynności, co czyni ją wyjątkowo opłacalną.

Realizacja o 58% szybsza

Łączny czas prac skrócił się o 58% w porównaniu z pierwotnym systemem dzięki spójnej architekturze i jasno określonym od początku narzędziom.

Projektowanie o 40% szybsze

Projektowanie aplikacji webowej przyspieszyło o 40% dzięki komponentom wielokrotnego użytku i dobrze ustrukturyzowanemu design systemowi, zastosowanemu w całym portalu klienta.

Opłacalne i skalowalne

Nowe rozwiązanie jest dobrze udokumentowane i skalowalne. Ponieważ koszty powstają tylko podczas aktywnego przetwarzania, klient znacząco oszczędza na infrastrukturze.

[ Stos technologiczny ]