Nuevo modelo de datos e implementación de subflujos en proceso ETL para aumentar la eficiencia operativa en NeoSoft

Abstract

El proyecto desarrollado se enmarca en la empresa tecnológica chilena NeoSoft, especializada en la generación y validación de reportes regulatorios para instituciones financieras. Uno de los servicios ofrecidos por esta empresa es GenSIID, que se encarga de la generación del reporte SIID. Este corresponde a un repositorio de transacciones de derivados (como forward, cross, opciones, entre otros) que las entidades financieras deben informar. La exigencia de este reporte proviene del Banco Central, una entidad autónoma responsable de dirigir la política monetaria del país.

En este contexto, se han identificado deficiencias en el modelo de datos y en el proceso ETL (Extract, Transform, Load) utilizados para generar los reportes de los clientes. Específicamente, el modelo de datos presenta tablas repetidas y sin uso, mientras que el proceso ETL muestra un alto grado de redundancia. Estas deficiencias resultan en un tiempo elevado de implementación de nuevos clientes y en dificultades para mantener el proceso de generación. De esta forma, la oportunidad detectada corresponde a la falta de eficiencia operativa dentro de GenSIID. Así, el objetivo del proyecto es crear un nuevo modelo de datos que organice mejor la información e implementar subflujos en el proceso ETL para optimizar su rendimiento.

El enfoque metodológico incluye, en primer lugar, la recopilación de información sobre el proceso actual. A continuación, se formulan propuestas para solucionar los problemas identificados, tanto en el modelo de datos como en el proceso ETL. Finalmente, una vez aprobadas las propuestas por el equipo, se implementan en un ambiente controlado para asegurar la calidad antes de su implementación en un entorno productivo.

Respecto al modelo de datos, se logra eliminar la redundancia de información, se simplifica la estructura de la base de datos y se obtiene un modelo más generalizado. Incluso, el número total de tablas se reduce en un 42%, disminuyendo también el uso de la memoria en un 28%. Respecto al proceso ETL, se logra reducir el número de procesadores en un 60%.

Con esto se concluye que las soluciones implementadas en el ambiente de desarrollo mejoraron significativamente la eficiencia operativa de NeoSoft, dado que facilita el mantenimiento y la incorporación de nuevos clientes al sistema. A su vez, esto permite aumentar la escalabilidad de GenSIID. También, el tiempo dedicado a la generación de reportes disminuye, lo que permite que el equipo se enfoque en tareas más valiosas. Finalmente, el tiempo necesario para integrar a un cliente disminuye de 5 a 3 meses, lo que permite brindar un servicio más inmediato y oportuno, mejorando la experiencia del cliente y aumentando la presencia en el mercado de NeoSoft.