Cómo implementamos catálogos electrónicos de piezas de recambio para un proveedor de automoción

Durante años, el cliente compraba catálogos electrónicos de piezas de recambio y gastaba entre 5000 $ y 50 000 $ al mes en cada uno de ellos.

Nuestro equipo asumió el reto de desarrollar una solución capaz de generar y actualizar los catálogos de cinco fabricantes a partir de los datos de origen.

• Cada funcionalidad se había implementado de forma independiente de la solución en su conjunto, por falta de un enfoque meditado de la arquitectura;
• Era imposible localizar una funcionalidad concreta, porque el proyecto mezclaba un conjunto dispar de herramientas y tecnologías: entornos en la nube y locales, y varios lenguajes (Python, Perl, SQL y Bash);
• No existía documentación.

Cada fabricante proporciona sus datos de origen en un formato propio (archivos de texto, XML, Excel, bases de datos .MDF e incluso EBCDIC, un formato utilizado desde los años cincuenta en los mainframes de IBM). El objetivo era construir pipelines ETL capaces de transformar estos datos heterogéneos y permitir consultar todos los catálogos mediante un único conjunto de API.

Stage: los datos en bruto se importan en una base de datos MS SQL y después se limpian y validan. El stage solo contiene un conjunto de datos procesados, que se vacía al inicio de cada ejecución del ETL. El Data Warehouse es un almacenamiento permanente que agrupa conjuntos de datos integrados y normalizados (no se trata de un almacén de datos canónico).

La Deliverable Database contiene los datos a los que se han aplicado las reglas de negocio y las transformaciones necesarias para acceder a ellos mediante las API. Las API, por su parte, se implementan como procedimientos SQL.

Detalles técnicos

1. El proceso ETL se ejecuta una vez al mes para cada fabricante, con un tiempo de procesamiento de 1 a 8 horas.
2. TeamCity está configurado para ejecutar las comprobaciones de integridad y las pruebas automatizadas, y para generar los catálogos a partir de los conjuntos de datos completos.
3. El tiempo de respuesta de las API es de 300 ms, lo que exigió un importante trabajo de optimización.
4. Las pruebas automatizadas cubren el proceso ETL y todas las API, y se implementan con SpecFlow.
5. La mayor Deliverable Database alcanza los 150 GB.