Face completion of fractured and probably symmetric human face statues using deep generative models

Abstract

En el área de visión computacional se han alcanzado avances durante los últimos años, los cuales han permitido crear sistemas que a través de inteligencia artificial son capaces de generar imágenes o videos como son DALL-E, Midjourney y Stable Difussion. Por otro lado, se han empleado nuevas técnicas que facilitan tareas de digitalización, reconstrucción y restauración de objetos de herencia cultural o piezas arqueológicas a través de herramientas computacionales. En el presente trabajo de tesis, se desarrolla un mecanismo basado en aprendizaje profundo que permite crear una reconstrucción plausible de imágenes de estatuas con rostros humanos que han sufrido algún daño. Para alcanzar este objetivo, se emplean técnicas que se han aplicado en tareas como el análisis facial y reconstrucción de rostros de personas, debido a su similitud en estructura y simetría con el rostro de una estatua. Durante el desarrollo de esta solución se consiguió reunir un conjunto de imágenes de rostros de estatuas extraídos desde la Web, las cuales han sido procesadas y utilizadas posteriormente en el entrenamiento de un modelo que es capaz de predecir la estructura del rostro de una estatua con falta de información, y un segundo modelo que realiza la reconstrucción de una imagen con pérdida de información considerando la estructura del rostro. Finalmente, se evalúa el comportamiento del modelo encargado de la reconstrucción del rostro de estatuas al ser entrenado en distintas condiciones, variando la cantidad de pérdida de información en los datos utilizados durante su etapa de entrenamiento. En conclusión, se consiguió generar un dataset con rostros de estatuas con sus respectivas estructuras faciales, además del diseño de ambos modelos que en conjunto alcanzan resultados útiles para facilitar la restauración de piezas que han sido dañadas.