Implementación de algoritmos de reducción de sesgo en WEFE

Abstract

Se ha demostrado en los últimos años que los modelos de word embeddings logran captar los sesgos presentes en los corpus de los que son entrenados, aprendiendo relaciones con estereotipos de género, raciales, entre otros. A modo de abordar el problema del sesgo en modelos word embeddings se han propuesto distintas métricas para cuantificarlo y algoritmos para mitigarlo. En el departamento de Ciencias de la Computación de la Universidad de Chile se desarrolló The Word Embedding Fairness Evaluation Framework (WEFE), una librería de código abierto para Python. WEFE tiene como objetivo unificar las métricas de cuantificación de sesgo y los algoritmos de mitigación de este. En esta memoria se tiene como objetivo la implementación de tres nuevos algoritmos de mitigación de sesgo en WEFE, como también la experimentación con ellos. Para lograr este propósito es necesario homogeneizar los algoritmos para que puedan ser usados de una manera estándar. La estandarización de los algoritmos en WEFE se logra adaptándolos a la interfaz fit-transform de Scikit-learn. Una vez integrados los métodos de mitigación de sesgo en la librería se realizan una serie de experimentos de manera de corroborar su correcta implementación y verificar empíricamente su efecto en los modelos de embeddings, tanto en el sesgo como en su funcionalidad. Los resultados de experimentales muestran que los algoritmos fueron implementados de manera correcta en WEFE, como también dan cuenta de las diferentes reducciones de sesgo derivadas de la aplicación de estos. Finalmente se comprobó que las operaciones de mitigación de sesgo no tienen un efecto negativo en el funcionamiento de los word embeddings, es más, hay casos en los que lo mejora. Con la implementación de los algoritmos, como también los experimentos realizados con ellos, se lograron los objetivos propuestos para esta memoria. Esto da como resultado una nueva versión de WEFE, que ahora incluye cinco algoritmos de reducción de sesgo.