Wefe: the word embeddings fairness evaluation framework

Abstract

En el último tiempo, diversos estudios han mostrado que los modelos de word embeddings exhiben sesgos estereotipados de género, raza y religión, entre otros criterios. Varias métricas de equidad se han propuesto para cuantificar automáticamente estos sesgos. Aunque todas las métricas tienen un objetivo similar, la relación entre ellas no es clara. Dos problemas impiden una comparación entre sus resultados: la primera es que operan con parámetros de entrada distintos, y la segunda es que sus salidas son incompatibles entre sí. Esto implica que un modelo de word embedding que muestra buenos resultados con respecto a una métrica de equidad, no necesariamente mostrará los mismos resultados con una métrica diferente. En esta tesis proponemos WEFE, the Word Embeddings Fairness Evaluation framework, un marco teórico para encapsular, evaluar y comparar métricas de equidad. Nuestro marco toma como entrada una lista de modelos de word embeddings pre-entrenados y un conjunto de pruebas de sesgo agrupadas en distintos criterios de equidad (género, raza, religión, etc ). Luego ranquea los modelos según estos criterios de sesgo y comprueba sus correlaciones entre los rankings. Junto al desarrollo del marco, efectuamos un estudio de caso que mostró que rankings producidos por las métricas de equidad existentes tienden a correlacionarse cuando se mide el sesgo de género. Sin embargo, esta correlación es considerablemente menor para otros criterios como la raza o la religión. También comparamos los rankings de equidad generados por nuestro estudio de caso con rankings de evaluación de desempeño de los modelos de word embeddings. Los resultados mostraron que no hay una correlación clara entre la equidad y el desempeño de los modelos. Finalmente presentamos la implementación de nuestro marco teórico como librería de Python, la cual fue publicada como software de código abierto.