Simple and efficient graph neural networks

Abstract

El éxito de los modelos de aprendizaje profundo en datos Euclideanos es innegable. Esto, en conjunto con la prevalencia de datos no Euclideanos ha resultado en una importante alza en popularidad de modelos de aprendizaje profundo para este tipo de datos. En particular, las redes neuronales de grafos (GNN) se han vuelto uno de los principales modelos de aprendizaje automático para grafos. Debido a su gran popularidad, se han utilizado en aplicaciones relacionadas a redes de citaciones, redes sociales y estructuras moleculares. La popularidad y rápido desarrollo de GNNs ha resultado en modelos cada vez más complejos, que utilizan una gran variedad de trucos para alcanzar el estado del arte. Debido al enfoque que se le ha dado a modelos complejos, los investigadores no han estudiado GNNs más simples en detalle. En el siguiente trabajo proponemos GNNs más simples que: {\romannumeral 1}) logran resultados comparables al estado del arte en varios conjuntos de datos y tareas; {\romannumeral 2}) requieren un menor número de cómputos que modelos comprables. Los resultados muestran que los componentes básicos de las GNNs se deberían estudiar en mayor detalle para entender qué componentes contribuyen a su rendimiento. Los resultados invitan a enfocar más investigación de GNNs en la simplicidad de los modelos, buscando entender sus componentes, en vez de agregar complejidad a éstos para obtener mejoras marginales de rendimiento.