Refactoring der Reporting-Lösung | Data Warehouse & ELT

Wie wir eine ineffiziente Reporting-Lösung refactored haben

Implementierung eines Data Warehouse, eines ELT-Prozesses, eines Kundenportals und von Berichten für eine US-amerikanische Messaging-Plattform, wodurch die Entwicklungszeit um 58 % reduziert wurde.

Automatisierung

USA

Datenverarbeitung

Backend-Entwicklung

[ Kunde ]

Über den Kunden

Der Kunde ist ein US-amerikanischer Entwickler einer Messaging-Plattform. Es war zwar ein Berichtssystem vorhanden, dieses wurde jedoch ohne fundierten technischen Ansatz implementiert: Funktionen wurden isoliert entwickelt, eine Mischung aus Cloud- und On-Premise-Umgebungen machte die Codebasis unüberschaubar und eine Dokumentation fehlte vollständig.

400GB

Verwaltete Data-Warehouse-Größe

40 %

Reduzierung der Design-Entwicklung

58 %

Reduzierung der gesamten Entwicklungszeit

[ Herausforderung ]

Ein Berichtssystem ohne technische Disziplin

Der Kunde verfügte über ein Berichtssystem für seine Messenger-Plattform, das jedoch vom vorherigen Team ohne fundierten technischen Ansatz implementiert wurde:

Jede Funktion wurde isoliert und ohne kohärente Architektur entwickelt.
Eine Mischung aus Cloud- und On-Premise-Umgebungen sowie mehrere Sprachen (Python, Perl, SQL, Bash) machten es unmöglich, spezifische Funktionen zu lokalisieren.
Eine Dokumentation fehlte vollständig.

Das Data Warehouse umfasste 400 GB an Daten. Der ETL-Prozess lief einmal täglich, verarbeitete 1 GB über 150 Mandanten hinweg und generierte 3.000 Berichte, die täglich per E-Mail versendet wurden.

[ Lösung ]

Entwicklung der Lösung

Unser Team analysierte die Lösung sowie die Optimierungswünsche, entwarf eine neue Architektur und wählte skalierbare, kosteneffiziente Tools aus. Wir entwickelten das Data Warehouse, den ETL-Prozess, das Kundenportal und die Berichte von Grund auf neu und ermöglichten anschließend den direkten Datenzugriff im Multi-Tenant-Data-Warehouse.

Analyse: Dokumentation der Version der ursprünglichen Lösung sowie aller Anforderungen für Verbesserungen.
Vorschlag: Erstellung eines neuen Lösungsvorschlags für Architektur, Mailing-Funktionen und Software-Tools.
Übergang: Umsetzung des Projekts und reibungslose Migration von der alten auf die neue Lösung.

[ Ergebnisse ]

Wirkung, die zählt

Das Team lieferte eine einfache, gut dokumentierte und skalierbare Lösung. Die neue Version verursacht nur während der aktiven Verarbeitung Kosten, nicht im Leerlauf, was sie besonders wirtschaftlich macht.

58 % schnellere Bereitstellung

Die gesamte Entwicklungszeit wurde dank einer kohärenten Architektur und von Anfang an klar definierten Tools um 58 % gegenüber dem ursprünglichen System reduziert.

40 % schnellere Design-Entwicklung

Die Entwicklung des Web-App-Designs wurde durch wiederverwendbare Komponenten und ein gut strukturiertes Design-System, das im gesamten Kundenportal angewendet wird, um 40 % beschleunigt.

Kosteneffizient und skalierbar

Die neue Lösung ist gut dokumentiert und skalierbar. Da Kosten nur bei aktiver Verarbeitung anfallen, profitiert der Kunde von erheblichen Einsparungen bei der Infrastruktur.

[ Tech Stack ]