Comparación de algoritmos para resúmenes automáticos en Twitter

Abstract

Las redes sociales han producido un cambio en la forma como las personas se comunican, interactúan y obtienen información. Ya que, sin ser un medio que reemplace los medios tradicionales, las redes sociales logran situarse en el corto plazo en una posición privilegiada por las nuevas generaciones. Este posicionamiento se puede explicar, en parte, porque es un medio que permite la producción y consumo de información en forma fácil, descentralizada y a un bajo costo. Este cambio en la generación de contenido, junto con los grandes volúmenes de información que son producidos, tiene como consecuencia que la cantidad de información a la cual un usuario puede acceder es mucho mayor que la que es capaz de leer. Lo anterior produce que para un usuario común sea muy complejo mantenerse informado sobre un evento noticioso. Siguiendo esta motivación, los principales objetivos de este trabajo son: Reconocer cuáles son los principales métodos de generación de resúmenes automáticos para noticias en redes sociales. Realizar un análisis comparativo exploratorio de los métodos estudiados. Para realizar el análisis comparativo se estudiaron diferentes propiedades de los resúmenes, este análisis consideró un cotejo entre lo publicado en redes sociales y lo informado en medios establecidos. Adicionalmente, se estudió el grado de representación (cobertura) del resumen generado en relación con el evento completo. Las principales contribuciones de este trabajo son: dar a conocer los métodos existentes, agrupándolos en tres categorías; implementar y probar el comportamiento de distintos métodos utilizando casos reales; con los resúmenes generados, establecer cuales son los factores más influyentes en la calidad del resumen. La metodología propuesta para este trabajo consistió en utilizar un conjunto de mensajes de Twitter que hablen sobre un evento en particular. Luego, sobre cada eventos aplicar algoritmos para la generación de resúmenes en redes sociales. Finalmente, evaluar los resúmenes considerando diversidad y cobertura Con los datos obtenidos a partir del estudio realizado, se concluye que un factor que afecta la calidad del resumen obtenido es la representación vectorial del texto, ya que, al utilizar distintas representaciones, varia los resultados en la evaluación, siendo FastText la que obtiene mejores resultados. A su vez, se observa que no es posible utilizar los medios tradicionales de noticias como ground truth, para evaluar resúmenes de redes sociales, esto debido a que difieren en el enfoque que se le da al evento. En general, al comparar los valores obtenidos por las métricas utilizadas se observa que los algoritmos estudiados tuvieron desempeños similares, pero siendo phrase reinforcement el algoritmo con mejor desempeño, obteniendo un desempeño 10% superior en la evaluación de cobertura con respecto a los otros algoritmos.