Agentes inteligentes basados en Large Language Models para la atención automatizada en canal conversacional online de servicio al cliente de una empresa financiera

Abstract

Los Modelos de Lenguaje Grandes (LLM, por sus siglas en inglés) han revolucionado el campo del procesamiento del lenguaje natural producto de sus capacidades de resolución de problemas y a las habilidades emergentes que presentan. Sumado a su excelente capacidad para comunicarse con los seres humanos, los LLMs han generado oportunidades al área de la Inteligencia Artificial para poder alcanzar la construcción de agentes inteligentes, los cuales pueden aplicarse en diversas áreas de la industria para la automatización de procesos que requieran la interacción de máquinas con humanos. En particular, estas capacidades sugieren que los LLMs pueden ser una herramienta poderosa para automatizar el servicio al cliente. No obstante, estos modelos han sido criticados por sus potenciales alucinaciones y la generación de contenido peligroso para los humanos. En el contexto de la atención de clientes, este es un riesgo mayor que puede afectar la calidad del servicio y la imagen de las firmas.

En este trabajo se estudia el desempeño de diferentes estrategias de prompting en la aplicación de agentes basados en LLMs para la atención de clientes bancarios que buscan soluciones en el contexto de transacciones desconocidas en sus productos de crédito. Para la evaluación de los agentes, se comparan las percepciones de los usuarios en métricas como Resolutividad, Confianza, Satisfacción y Eficacia de comunicación, contrastándolas con mediciones objetivas como porcentajes de errores en las acciones realizadas y tiempos de respuesta.

Para ello, se diseña e implementa una plataforma experimental donde se puede interactuar con un agente inteligente en escenarios ficticios de desconocimiento de transacciones. Luego, los datos obtenidos son sometidos a análisis de medias y regresión para estudiar el efecto de las estrategias de prompting en base a un modelo conceptual propuesto.

A partir de los resultados, se obtienen cuatro conclusiones. Primero, aumentar el control sobre el agente, tanto a nivel de detalle de las instrucciones que posee como las acciones que puede realizar, mejora su desempeño medido con métricas objetivas, pero la percepción de resolutividad que el cliente tiene sobre este empeora. Segundo, en el contexto estudiado los humanos no son capaces de percibir cuando el agente comete un error. Más aún, basan su percepción del desempeño de este principalmente en las capacidades de comunicación que demuestra y la confianza que transmite. Tercero, y en base a lo anterior, para maximizar la experiencia del cliente es necesario priorizar un agente con amplias capacidades de comunicación que actúe con seguridad. Finalmente, considerando estos aprendizajes se concluye que los agentes automáticos pueden ser una solución para las fuentes de ineficiencia temporales de los canales de servicio al cliente digitales, dado a que tienen tiempos de respuesta despreciables y pueden ser asignados directamente a una atención.