Cuantificar la complejidad de las opiniones y debates

Abstract

En el presente trabajo de memoria se presenta el desarrollo e implementación de un método para cuantificar la complejidad de un texto en lenguaje natural especialmente enfocado a entender de mejor manera cómo representar las opiniones y debates. Cuantificar la complejidad es obtener la cantidad mínima de dimensiones en que se puede representar el texto. La motivación para este trabajo nace de lo insatisfactorio de las soluciones que simplifican los debates y opiniones a representaciones unidimensionales, potencialmente perdiendo mucha información. El método desarrollado consiste en modelar las dimensiones como diferenciales semánticos, que es el espectro que hay entre dos representaciones vectoriales de palabras que simbolizan dos extremos en términos de significado. Utilizando el framework POLAR y los diferenciales semánticos, se representan las palabras o documentos en forma de embeddings polares, para finalmente reducir sus dimensiones con el método de análisis de componentes principales para un nivel de varianza representada dado, que sirve como medida de sensibilidad. El cambio de eje de coordenadas que implica el análisis de componentes principales entrega pesos por cada dimensión original, que ya que están basadas en dimensiones de los embeddings polares, pueden entregar interpretabilidad sobre las dimensiones de las opiniones o debates. Al estudiar la solución en un dataset de noticias de la BBC se observó que es importante comparar textos en tamaños similares y que el método funciona como un comparador de complejidades entre documentos o conjuntos de documentos. Se mostró que niveles altos de varianza sirven para comparar entre documentos, y niveles más bajos de varianza pueden ser utilizados para comparar entre conjuntos de documentos. Además, se observó que la complejidad obtenida con word embeddings o embeddings polares está correlacionado y no se obtuvo mayor capacidad de interpretación de los pesos asociados a las dimensiones de los embeddings polares.