Desarrollo y evaluación de un chatbot educativo para mejorar la experiencia de aprendizaje en la plataforma EOL de la Universidad de Chile

Abstract

Este trabajo de tesis aborda el desarrollo e implementación de un chatbot educativo especializado para el curso de Economía en la plataforma de aprendizaje en línea EOL de la Universidad de Chile. El objetivo principal es optimizar la experiencia de aprendizaje de los estudiantes mediante la aplicación de tecnologías avanzadas de Procesamiento de Lenguaje Natural (NLP). El sistema, diseñado bajo un enfoque de Retrieval-Augmented Generation (RAG), integra la recuperación eficiente de información con la generación contextualizada de respuestas, lo que permite proporcionar explicaciones precisas, personalizadas y coherentes con los contenidos del curso. El desarrollo del chatbot incluyó diversas etapas clave: ingestión y preprocesamiento de documentos del curso, generación de embeddings mediante Google Generative AI, almacenamiento en una base de datos vectorial utilizando FAISS, y la implementación de una interfaz interactiva con Streamlit. La herramienta integra además una base de datos PostgreSQL, donde se registran las consultas de los estudiantes, las respuestas generadas y los metadatos asociados (módulo, sección, subsección), lo que facilita el análisis de su uso y rendimiento. A través de una encuesta comparativa pre y post-implementación, se evaluó la efectividad del chatbot en diversos ámbitos, incluyendo la utilidad percibida, la reducción del tiempo de estudio y la mejora en la comprensión de conceptos complejos. Los resultados muestran una recepción positiva por parte de los estudiantes, destacando atributos como la disponibilidad 24/7, la rapidez de respuesta y la capacidad del chatbot para proporcionar referencias precisas al material del curso. No obstante, se identificaron áreas de mejora, como la necesidad de incrementar la precisión de respuestas y la incorporación de funcionalidades adicionales, tales como la resolución paso a paso de ejercicios y la navegación directa hacia los recursos referenciados.

This thesis addresses the development and implementation of a specialized educational chatbot for the Economics course on the University of Chile’s online learning platform, EOL. The main goal is to optimize students’ learning experience by applying advanced Natural Language Processing (NLP) technologies. The system, designed under a Retrieval-Augmented Generation (RAG) approach, integrates efficient information retrieval with contextualized response generation, enabling precise, personalized, and coherent explanations in line with the course content. The development of the chatbot included several key stages: ingestion and preprocessing of course documents, generation of embeddings using Google Generative AI, storage in a vector database using FAISS, and the implementation of an interactive interface with Streamlit. The tool also integrates a PostgreSQL database, where students’ queries, generated responses, and associated metadata (module, section, subsection) are recorded, facilitating analysis of its usage and performance. Through a comparative pre- and post-implementation survey, the chatbot’s effectiveness was evaluated across various areas, including perceived usefulness, reduction in study time, and improvement in the understanding of complex concepts. The results show a positive reception from students, highlighting attributes such as 24/7 availability, response speed, and the chatbot’s ability to provide precise references to course materials. However, areas for improvement were identified, such as the need to increase response accuracy and incorporate additional features, such as stepby-step problem solving and direct navigation to referenced resources.