Diseño y ejecución de arquitectura de descarga, modelamiento y análisis de datos para ampliar servicios en una empresa de tecnología

Abstract

El propósito de este proyecto es diseñar e implementar una arquitectura de descarga, la cual contendrá dentro de sus capas un modelo de datos que optimice el trabajo con ellos, para el posterior análisis de los datos. La finalidad es hacer que una empresa de Tecnología, que se desenvuelve en el negocio de servicio de emisión de boletas electrónicas, posea un nuevo servicio hacia sus clientes, en conjunto con poseer una base de datos actualizada diariamente para lanzar nuevos productos hacia sus clientes en el futuro, mejorando así su propuesta de valor. Para ello se diseñó e implementó una arquitectura de descarga de cinco capas. La primera capa corresponde a la fuente de datos, siendo, es este caso, la plataforma de Servicios de Impuestos Internos (SII). Por medio de web scraping se cuantificó la cantidad de archivos disponibles para descargar dado un horizonte fijo de tiempo. La segunda corresponde a la extracción, transformación y carga de datos, en donde se utilizó web scraping por medio de Selenium para recaudar la información luego de diseñar un algoritmo de descarga; la información fue transformada en diccionarios y cargada a una base de datos en PostgreSQL. La tercera capa consistió en el modelo de datos para que el acceso a la información fuese posible por medio de consultas óptimas. Se eligió un modelo tipo estrella dado la naturaleza de los datos recolectados y se crearon tablas destinadas para el registro del proceso de descarga. La cuarta etapa consistió en el análisis de datos, en donde se procedió a realizar una plantilla de un dashboard por medio de Power BI, en donde, tras ingresar un datamart de un cliente de un año, entrega un análisis general y específico en base a su información. En este, el cliente puede filtrar por tipo y origen de documento tributario, razón social de sus clientes, ver los productos más vendidos según sus facturas electrónicas, sus clientes más importantes, entre otras cosas. La quinta capa corresponde a la propuesta de servicio, siendo, es este caso, decisiones que los clientes pueden tomar una vez tenga acceso al dashboard de la cuarta capa. Terminado el trabajo de título, se le entregó a la empresa un proceso automatizado capaz de extraer los documentos electrónicos de sus clientes, alimentar un modelo de datos estandarizado y optimizado y construir una serie de reportes que dan visibilidad a indicadores de gestión. Esto permite a la empresa ampliar sus servicios y mejorar su oferta de valor.