Towards fairer word embeddings: methodologies for comparing and optimizing bias mitigation algorithms

Abstract

Los modelos de word embeddings son conocidos por capturar y reflejar los sesgos presentes en los datos sobre los cuales son entrenados, lo que ha llevado a una extensa investigación sobre métricas de medición de sesgos y algoritmos de mitigación. Estos algoritmos tienen como objetivo reducir el sesgo en los modelos de word embeddings según diversas métricas de medición de sesgo. A pesar del interés en desarrollar modelos más justos, existe una comparación sistemática de estos algoritmos, lo que impide determinar cuál es el que mejor mitiga el sesgo.

El objetivo de esta tesis es realizar una comparación justa de los algoritmos de mitigación de sesgos. Se identifican tres factores de confusión clave que dificultan las comparaciones precisas: (1) uso de diferentes conjuntos de palabras al aplicar los algoritmos, (2) la interferencia entre las palabras de entrenamiento utilizadas por los métodos de mitigación y las palabras de evaluación utilizadas por las métricas, y (3) las inconsistencias en las transformaciones de normalización entre algoritmos. Además de estos factores, se destacan dos fuentes adicionales de variabilidad: (1) la selección de palabras utilizadas para entrenar y evaluar los modelos de mitigación de sesgo, y (2) los hiperparámetros de los modelos de mitigación de sesgo.

El objetivo de esta tesis es lograr una comparación equitativa de los algoritmos de mitigación de sesgos abordando estas cuestiones. Para ello, se proponen dos líneas de investigación que abordan conjuntamente este objetivo. En primer lugar, se introduce una metodología sencilla para comparar algoritmos de mitigación de sesgos que resuelve los tres factores de confusión. En segundo lugar, se presenta un esquema robusto que aborda las dos fuentes adicionales de variabilidad incorporando técnicas de algoritmos de aprendizaje automático supervisado, como la optimización de hiperparámetros y la validación cruzada.

Los resultados de los experimentos revelan que, al compararlos en un entorno controlado, las diferencias en el rendimiento de los algoritmos disminuyen, observándose resultados más similares entre ellos. Además, se observa que ninguno de los algoritmos supera significativamente al algoritmo original Hard Debias, lo que refuerza un problema común en la investigación científica: se afirma que los métodos son significativamente mejores que otros, pero en condiciones controladas, estas diferencias son menos pronunciadas.