Show simple item record

Professor Advisordc.contributor.advisorSaavedra Rondo, José Manuel
Authordc.contributor.authorDonoso Cortés, Diego Antonio
Associate professordc.contributor.otherSarmiento Albornoz, Hernán
Associate professordc.contributor.otherSipirán Mendoza, Iván
Associate professordc.contributor.otherPonti, Moacir Antonelli
Admission datedc.date.accessioned2024-08-08T19:28:02Z
Available datedc.date.available2024-08-08T19:28:02Z
Publication datedc.date.issued2024
Identifierdc.identifier.other10.58011/vsvv-bs31
Identifierdc.identifier.urihttps://repositorio.uchile.cl/handle/2250/200062
Abstractdc.description.abstractSketch-based understanding is involved in human communication and cognitive development, making it essential in visual perception. A specific task in this domain is sketch-to-photo translation, where a model produces realistic images from simple drawings. To this end, large paired training datasets are commonly required, which is impractical in real applications. Thus, this work studies conditional generative models for sketch-to-photo translation, overcoming the lack of training datasets by a self-supervised approach that produces sketch-photo pairs from a target catalog. Our study shows the benefit of cycle-consistency loss and UNet architectures that, together with the proposed dataset generation, improve performance in real applications like eCommerce. Our results also reveal the weakness of conditional DDPMs for generating images resembling the input sketch, even though they achieve a low FID score. A significant challenge is allowing the user to control the output color of the generated image in the sketch-to-photo translation. We leveraged the previously built dataset and added color palettes to train a new model specialized in this task. We show that it is possible to implement a model trained for this task and propose a new problem of building an end-to-end model. Our work contributes to the Sketch-Based understanding community since we propose a framework to successfully build a conditional dataset for the Image to Image translation task. Furthermore, with the proposed model, users can design new objects based on sketches entirely. On the other hand, e-commerces can leverage the input as a new latent space for Image search.es_ES
Abstractdc.description.abstractLa comprensión basada en bocetos está involucrada en la comunicación humana y en el desarrollo cognitivo, haciéndolo esencial en la percepción visual. Una tarea especifica en este ´ámbito es la transformación de dibujo a foto, donde un modelo genera imágenes realistas desde simples dibujos. Para este fin, grandes datasets emparejados son comúnmente requeridos, lo que no es factible en aplicaciones reales. De este modo, este trabajo estudia modelos generativos condicionales para la transformación de dibujo a foto, superando la falta de datasets emparejados mediante un enfoque autosupervisado que produce pares de dibujo con foto desde un catálogo foco. Nuestro estudio muestra el beneficio del cycle-consistency loss y las arquitecturas UNet que, junto con la propuesta de generación de un dataset, se mejora el performance en aplicaciones reales como eCommerce. Nuestros resultados también muestran la debilidad de DDPMs condicionales para la generación de imágenes que tengan un parecido con el dibujo input, a pesar de lograr un bajo valor de FID. Un desafío importante es permitir al usuario controlar el color de salida de la imagen generada en la transformación de dibujo a foto. Nos aprovechamos del dataset previamente creado y agregamos paletas de colores para entrenar un nuevo modelo especializado en esta tarea. Mostramos que es posible implementar un modelo entrenado para este problema y proponemos un nuevo problema de construcción de un modelo end-to-end. Nuestro trabajo contribuye a la comunidad de comprensión basada en bocetos, ya que proponemos un marco para construir con éxito un conjunto de datos condicional para la tarea de traducción de imagen a imagen. Además, con el modelo propuesto, los usuarios pueden diseñar nuevos objetos basándose exclusivamente en bocetos. Por otro lado, los e-commerce pueden aprovechar el input como un nuevo espacio latente para la búsqueda de imágenes.es_ES
Patrocinadordc.description.sponsorshipParcialmente financiado por National Center for Artificial Intelligence CENIA FB210017, Basal ANIDes_ES
Lenguagedc.language.isoenes_ES
Publisherdc.publisherUniversidad de Chilees_ES
Type of licensedc.rightsAttribution-NonCommercial-NoDerivs 3.0 United States*
Link to Licensedc.rights.urihttp://creativecommons.org/licenses/by-nc-nd/3.0/us/*
Títulodc.titleGenerative models for translating colored sketches to photorealistic images in the e-commerce contextes_ES
Document typedc.typeTesises_ES
dc.description.versiondc.description.versionVersión original del autores_ES
dcterms.accessRightsdcterms.accessRightsAcceso abiertoes_ES
Catalogueruchile.catalogadorchbes_ES
Departmentuchile.departamentoDepartamento de Ciencias de la Computaciónes_ES
Facultyuchile.facultadFacultad de Ciencias Físicas y Matemáticases_ES
uchile.titulacionuchile.titulacionDoble Titulaciónes_ES
uchile.carrerauchile.carreraIngeniería Civil en Computaciónes_ES
uchile.gradoacademicouchile.gradoacademicoMagisteres_ES
uchile.notadetesisuchile.notadetesisTesis para optar al grado de Magíster en Ciencias, Mención Computaciónes_ES
uchile.notadetesisuchile.notadetesisMemoria para optar al título de Ingeniero Civil en Computación


Files in this item

Icon

This item appears in the following Collection(s)

Show simple item record

Attribution-NonCommercial-NoDerivs 3.0 United States
Except where otherwise noted, this item's license is described as Attribution-NonCommercial-NoDerivs 3.0 United States