Gan-based realistic face pose synthesis

Abstract

Em visão computacional, o processamento de imagens de faces vem acompanhado de uma série de complexidades. Exemplos incluem a variação de pose, luz, expressão facial, e maquiagem. Embora todos os aspectos sejam considerados importantes, o que apresenta o maior impacto em sistemas de visão computacional que trabalham com faces é a variação de pose. Em reconhecimento facial, por exemplo, há muito tempo em que se deseja um método capaz de transformar imagens de faces para a mesma pose, geralmente, uma visão frontal, de modo a facilitar o reconhecimento. A síntese de diferentes visões de um rosto é um grande desafio, principalmente porque em visões não-frontais há uma perda de informação quando um lado da face obstrui o outro. Vários métodos para resolver a síntese de pose de faces foram propostos, mas os resultados geralmente deixam a desejar detalhes realísticos. Neste trabalho, nós apresentamos novos métodos que aprimoram os resultados em relação aos anteriores, apresentando uma maior qualidade na síntese de poses de faces.

In computer vision, processing face images are accompanied by a series of complexities. Examples include variation of pose, light, face expression, and make up. Although all aspects are considered important, the one that impacts the most face-related computer vision systems is pose. In face recognition, for example, it has been long desired to have a method capable of bringing faces to the same pose, usually a frontal view, in order to ease recognition. Synthesizing different views of a face is a great challenge, mostly because in non-frontal face images there are loss of information when one side of the face occludes the other (also known as self-occlusion). Several methods to address face pose synthesis were proposed, but the results usually miss a realistic finish. In this work, we present novel methods that improve on the previous ones, showing higher synthesis quality.