Diseño e implementación de un data lake en la vicerrectoría de tecnologías de la información de la Universidad de Chile que garantice la consistencia de datos en el proceso de calificación académica

Abstract

El presente informe detalla el diseño y la propuesta de implementación de un Data Lake en la Dirección de Datos de la Vicerrectoría de Tecnologías de la Información de la Universidad de Chile, con el objetivo de transformar la gestión de la información académica y garantizar la consistencia de los datos en el proceso de Calificación Académica, específicamente en el Formulario para la Calificación. El principal objetivo del proyecto es resolver las inconsistencias detectadas entre las bases de datos Oracle y MongoDB, utilizadas actualmente para almacenar y gestionar la información académica, y establecer una base sólida para futuras iniciativas de análisis y toma de decisiones. La solución propuesta no solo aborda estos problemas, sino que sienta las bases para un sistema de datos confiable, escalable y alineado con las mejores prácticas de la industria. La metodología aplicada se centró en el tratamiento de los archivos JSON almacenados en MongoDB, diseñando una arquitectura de Data Lake que puede ser fácilmente adaptable a otros tipos de datos y fuentes. Se logró completar el diseño de la arquitectura, que incluye la planificación detallada de las fases de ingesta, procesamiento y almacenamiento de datos. Aunque la fase de procesamiento no se completó debido a la falta de herramientas adecuadas, se estableció una estructura robusta y escalable que permite futuras integraciones y mejoras. Por otro lado, la arquitectura propuesta se destaca por su escalabilidad y flexibilidad, lo que permite adaptarse a futuros requerimientos. Esta capacidad de evolución asegura que el Data Lake seguirá siendo útil a lo largo del tiempo, proporcionando un soporte continuo a las necesidades de la universidad. Por último, aunque la implementación completa del Data Lake es un proyecto a largo plazo, esta solución no solo abordará los desafíos actuales, sino que también posicionará a la Universidad de Chile como una institución líder en la gestión de datos académicos. Al prepararse para afrontar con éxito futuros retos tecnológicos y académicos, el Data Lake potenciará la capacidad institucional para tomar decisiones basadas en datos, contribuyendo así a una mayor eficiencia y efectividad en las operaciones académicas y administrativas.