Convertir fotos en una experiencia interactiva

Una nueva técnica computacional podría reflejar las emociones humanas sobre cualquier foto fija, de una manera altamente realista, como si las imágenes cobraran vida y capacidad de expresión.
Esta nueva técnica de animación está siendo explorada por científicos de la Universidad de Tel Aviv, en colaboración con investigadores de Facebook para convertir fotos en una experiencia interactiva.

Los perfiles reactivos son retratos que pueden reaccionar a diferentes estímulos, como los famosos retratos mágicos de Harry Potter, donde las personas de las fotografías se mueven y parecen interactuar.

Hasta ahora, las técnicas de animación facial han utilizado la superposición de imágenes que forman un video para mostrar variaciones en la postura y las expresiones.

Manipulando la cara mediante urdimbres 2D livianas, es posible crear movimientos moderados de la cabeza que se representan de manera muy realista sin tener que convertir o proyectar la imagen a 3D.
También incluye la transferencia continua de detalles, como las arrugas faciales, al mismo tiempo que evita las llamadas arrugas «atípicas», que están causadas por las sombras proyectadas o la desalineación entre los marcos de video deformados.

Hadar Averbuch-Elor, doctorado en informática en la Universidad de Tel-Aviv y autor principal del estudio, explica que las expresiones faciales de los humanos no transmiten solo emociones mayores, sino variaciones sutiles; una visión matizada de su estado emocional y lo que intentan es capturar esa expresividad. El trabajo previo se ha limitado a la animación de la región de la cara, pero, dentro de ciertos límites, este nuevo método puede animar toda la cabeza y la parte superior del cuerpo.

Daniel Cohen-Or, profesor de informática en la Universidad de Tel-Aviv, y los científicos investigadores de Facebook Michael F. Cohen y Johannes Kopf, son los coautores de la investigación, «Dando vida a los retratos».

Michael F. Cohen es el Director del Grupo de Fotografía Computacional en Facebook y Profesor Afiliado de la Universidad de Washington. Llegó a Facebook después de dos décadas en Microsoft Research.
El equipo de fotografía computacional de Facebook se formó en 2015 para crear nuevas formas de compartir fotos y videos en la plataforma de redes sociales, lo que incluye permitir a los usuario compartir videos 3D y videos de realidad virtual en sus perfiles.

Este trabajo tan innovador ha sido presentado en SIGGRAPH, Asia 2017 en Bangkok, del 27 de noviembre al 30 de noviembre, de 2017. Una exposición anual que presenta a los principales profesionales, académicos y mentes creativas del mundo a la vanguardia en técnicas gráficas e interactivas.

En un estudio de usuario, los participantes recibieron 24 videos seleccionados al azar, ocho de los cuales fueron reales. Se les pidió que los calificaran como reales o no reales en función de cómo aparecía la animación. Los videos animados de los investigadores se identificaron como reales el 46 por ciento de las veces. Las animaciones «felices» se percibieron como las más reales (identificadas como reales el 58% de las veces), y las «sorpresivas» se percibieron como menos reales (identificadas como reales el 37% de las veces).

Fuente: Universidad de Tel Aviv