Evaluación de técnicas media mix modelling para una agencia de marketing digital en Chile

Abstract

El objetivo general del presente trabajo de título es evaluar la capacidad de un conjunto seleccionado de modelos de aprendizaje automático para predecir el valor que tendrá el costo por clic (CPC) de los anuncios publicados a nivel semanal por una agencia de marketing digital en Chile. El trabajo se desarrolla en el contexto del servicio entregado por la agencia de la publicación de anuncios en línea para sus clientes. En la entrega de este servicio, si se toma como referencia un CPC igual a 0.08 [USD] y de 0.21 [USD] correspondientes a estándares a nivel de industria para las plataformas de Facebook ADS y Google ADS respectivamente, un 38.49% de las publicaciones semanales históricas han tenido un CPC mayor a este valor para Facebook ADS. Este último valor corresponde a 51.71% para plataformas de Google ADS. Estos resultados se deben en parte por la alta incertidumbre en la cual se ven envueltos los tomadores de decisiones al momento de publicar anuncios digitales, de esta manera, existe una ventana de oportunidad para reducir la incertidumbre por medio del uso modelos predictivos que utilicen la información de desempeño histórica de la compañía. Se evalúan siete algoritmos predictivos diferentes, donde cuatro de estos corresponden a algoritmos de clasificación, y los tres restantes, a algoritmos de predicción de variable continua. Los resultados muestran que, a pesar de faltar variables relevantes relacionadas al contenido de los anuncios y del contexto de la competencia al momento de publicación, los modelos de clasificación alcanzan niveles de acuraccy que van desde el 64.64% hasta 93.4% dependiendo de la plataforma de publicación. Por otro lado, los modelos de predicción del CPC como variable continua alcanzan errores que van desde 29.96% hasta 62.25% dependiendo de la plataforma, donde este valor significa el porcentaje que representa el error promedio absoluto de la predicción sobre la media histórica de CPC para cada plataforma. La primera conclusión relevante de este trabajo se relaciona con que en general es el algoritmo XGBoost (Classifier y Regressor) el que mejor precisión entrega en las predicciones. Por otro lado, se concluye además que es mejor dividir el proceso de entrenamiento de modelos para cada una de las plataformas, esto debido a la heterogeneidad existente en el comportamiento de estas. Por último, se concluye que las variables más importantes a la hora de determinar el CPC alcanzado son el costo a nivel semanal, el cliente asociado, la cantidad de semanas que lleva publicado el anuncio y los días de la semana en los cuales el anuncio está en línea.