Colusión tácita de algoritmos Q-learning en el dilema del prisionero repetido con estados markovianos

Abstract

La creciente incorporación de nuevas tecnologías en nuestra vida cotidiana esta moldeando nuestro estilo de vida. Algoritmos nos ofrecen contenido, nos recomiendan productos, planifican nuestro viaje e incluso nos califican. Al igual que las personas, las firmas delegan cada día más sus decisiones a algoritmos. La incorporación de algoritmos de pricing puede traer efectos no deseados para el publico; precios astronómicos, discriminación arbitraria e incluso colusiones. Esta tesis estudia la capacidad de algoritmos de Q-learning de coludirse tácitamente, mediante el monitoreo directo e indirecto utilizando variables de mercado comunes. Se evalúan esquemas de estrategias compatibles con colusión tácita y equilibrios cooperativos. Además se estudia la convergencia a ellas por parte de estos algoritmos. Si bien no se aprecia convergencia a las estrategias presentadas, aun así se observan precios colusivos, la convergencia de los algoritmos ignora las nociones de racionalidad propuestas por el concepto de equilibrio, obteniendo precios colusivos expuestos a eventuales desvíos del competidor. Se concluye que las restricciones de información no siempre son suficientes para evitar precios supracompetitivos. Es más, las restricciones de información pueden facilitar colusiones tácitas en mercados de baja elasticidad o con estados de la demanda dependientes intertemporalmente. En estos escenarios se facilita un monitoreo indirecto, en el cual los algoritmos pueden identificar las acciones del rival sin necesidad de tener su historial de precios. Estos escenarios constituyen una excepción que debe ser considerada para garantizar una regulación exitosa. Esta tesis muestra mecanismos mediante los cuales los algoritmos son capaces de sostener colusiones tacitas sin monitoreo mutuo. La capacidad de estos algoritmos de monitorear indirectamente a sus rivales deja obsoleto el concepto de colusión que es planteado en la regulación vigente. Debido a esto, esta tesis propone que las nuevas regulaciones debieran apuntar a limitar el monitoreo indirecto entre estos algoritmos; traduciéndose esto en restringir la memoria de los algoritmos a variables de mercado y en transparentar las estrategias que estos algoritmos aplican al menos en términos de dar a conocer sus parámetros. Además, esta tesis señala variables de mercado que pueden ser utilizadas como medio de monitoreo indirecto. Queda para trabajos posteriores el estudio de entrada de competidores y el incremento en el espacio de acciones de los jugadores.