La tecnología detrás del deepfake

La última obra de arte es un vídeo fusiona el cuerpo y voz de Jennifer Lawrence con la cara de Steve Buscemi. Un trabajo basado en el humor, pero que deja patente el potencial que tiene esta herramienta y puede ir un paso más allá en la expansión de la desinformación y las noticias falsas.

El creador del vídeo de Jennifer Lawrence y Steve Buscemi ha revelado en Reddit que lo ha hecho mediante una herramienta gratuita y guiándose con vídeos de YouTube. Pero, la creación de estos videos está al alcance de una aplicación de móvil.

El origen está en uno de los centros, donde dicen los expertos nacen la mayoría de noticias falsas, Rusia. FaceApp permite modificar automáticamente la cara de cualquier para agregar una sonrisa, agregar o restar años o intercambiar sexos. El famoso Photoshop de Adobe al alcance de la mano y, sobre todo, del móvil.

En junio de 2016, la Universidad de Stanford demostró a través de Face2Face, un programa de intercambio de caras, la facilidad para manipular secuencias de video para que las expresiones faciales de una persona coincidan con las de alguien que está siendo rastreado usando una cámara con sensor de profundidad.

Los investigadores en el estudio combinaron una cámara web, un software de seguimiento facial, secuencias de video y un software para deformar el video original. «Nuestro objetivo es animar las expresiones faciales del video de destino por un actor de origen y volver a reproducir el video de salida manipulado de una manera fotorrealista», explican los investigadores.

Para lograr esto, los investigadores hicieron uso de un sensor RGB-D a lo que añadieron un reajuste de cada pixel con un modelo que recopilaba datos de identidad, expresión y reflectancia de la piel al color de entrada.

Su sistema de inteligencia artificial también recopila los datos de profundidad y reconstruyen la iluminación de la escena. Nada queda al azar, por lo que el entramado también calcula la diferencia entre las expresiones de origen y destino en el espacio de parámetros y «modificamos los parámetros de destino para que coincidan con las expresiones de origen», apuntan. 

El cambio de cara se realiza mediante el seguimiento de las expresiones faciales tanto del sujeto como del objetivo, realizando una «transferencia de deformación» súper rápida entre los dos, deformando la boca para producir un ajuste preciso, y volviendo a representar la cara sintetizada y combinándola con la real.

La irrupción del Deepfake se produjo con la aparición de decenas de vídeos en sitios online para adultos y que tuvieron que ser vetados al usar las caras de famosos que no habían dado su permiso y que, además, no eran imágenes reales.

Ahora, el problema se traslada a otras plataformas como Reddit, Twitter o Youtube, que trabajan en su prohibición. Aunque los creadores de estos vídeos cuentan, de momento, con la ley de su parte, porque no existe mucha regulación.