Dentro del extraño mundo nuevo de ser un actor deepfake


Si bien los deepfakes existen desde hace varios años, el casting y la actuación de deepfakes son relativamente nuevos. Las primeras tecnologías deepfake no eran muy buenas, se usaban principalmente en rincones oscuros de Internet para intercambiar celebridades por videos porno sin su consentimiento. Pero a medida que los deepfakes se han vuelto cada vez más realistas, más y más artistas y cineastas han comenzado a usarlos en producciones de calidad de transmisión y anuncios de televisión. Esto significa contratar actores reales para un aspecto u otro de la actuación. Algunos trabajos requieren que un actor proporcione metraje “base”; otros necesitan una voz.

Para los actores, abre emocionantes posibilidades creativas y profesionales. Pero también plantea una serie de cuestiones éticas. “Esto es tan nuevo que no existe un proceso real ni nada de eso”, dice Burgund. “Quiero decir, simplemente estábamos inventando cosas y agitándonos”.

“¿Quieres convertirte en Nixon?”

Lo primero que hicieron Panetta y Burgund fue preguntar a ambas compañías qué tipo de actor necesitaban para hacer funcionar los deepfakes. “Fue interesante no solo cuáles eran los criterios importantes sino también qué no eran”, Dice Burgund.

Para las imágenes, Canny AI se especializa en el reemplazo de diálogos de video, que usa los movimientos de la boca de un actor para manipular la boca de otra persona en imágenes existentes. El actor, en otras palabras, actúa como titiritero y nunca se le ve en el producto final. La apariencia, el género, la edad y el origen étnico de la persona realmente no importan.

Pero para el audio, Respeecher, que transmuta una voz en otra, dijo que sería más fácil trabajar con un actor que tuviera un registro y acento similar al de Nixon. Armados con ese conocimiento, Panetta y Burgund comenzaron a publicar en varios foros de actuación y a enviar correos electrónicos a grupos de actuación locales. Su discurso: “¿Quieres convertirte en Nixon?”

Así es como Lewis D. Wheeler, un actor blanco con sede en Boston, se encontró encerrado en un estudio durante días escuchando y repitiendo fragmentos de audio de Nixon. Había cientos de fragmentos, cada uno de solo unos segundos de duración, “algunos de los cuales ni siquiera eran palabras completas”, dice.

Los fragmentos se habían extraído de varios discursos de Nixon, en gran parte de su renuncia. Dada la gravedad del discurso del desastre lunar, Respeecher necesitaba materiales de capacitación que capturaran el mismo tono sombrío.

El trabajo de Wheeler consistía en volver a grabar cada fragmento con su propia voz, haciendo coincidir el ritmo y la entonación exactos. Estos pequeños bits se introdujeron en el algoritmo de Respeecher para mapear su voz con la de Nixon. “Fue bastante agotador y muy laborioso”, dice, “pero también muy interesante, construirlo ladrillo a ladrillo”.

La parte visual del deepfake fue mucho más sencilla. En las imágenes de archivo que serían manipuladas, Nixon había entregado la dirección real del aterrizaje en la luna directamente frente a la cámara. Wheeler solo necesitaba entregar su alternativa, de principio a fin, de la misma manera, para que el equipo de producción capturara los movimientos de su boca en el ángulo correcto.

Aquí es donde, como actor, comenzó a encontrar cosas más familiares. En última instancia, su actuación sería la única parte de él que llegaría al deepfake final. “Eso fue lo más desafiante y gratificante”, dice. “Para eso, tuve que entrar realmente en la mentalidad de, está bien, ¿de qué se trata este discurso? ¿Cómo le dice al pueblo estadounidense que ha ocurrido esta tragedia? “

“¿Cómo nos sentimos?”

A primera vista, Zach Math, un productor y director de cine, estaba trabajando en un proyecto similar. Lo había contratado Mischief USA, una agencia creativa, para dirigir un par de anuncios para una campaña de derechos de voto. Los anuncios incluirían versiones falsas del líder norcoreano Kim Jong-un y del presidente ruso Vladimir Putin. Pero terminó en medio de algo muy diferente al experimento de Panetta y Burgund.

En consulta con un artista de deepfake, John Lee, el equipo había elegido seguir la ruta del intercambio de caras con el software de código abierto DeepFaceLab. Significaba que el anuncio final incluiría los cuerpos de los actores, por lo que necesitaban lanzar dobles corporales creíbles.

El anuncio también incluiría las voces reales de los actores, agregando una consideración adicional del casting. El equipo quería que los líderes de deepfake hablaran en inglés, aunque con auténtico acento norcoreano y ruso. Así que el director de casting fue a buscar actores masculinos que se parecieran a cada líder en cuanto a estructura y estructura facial, coincidieran con su origen étnico y pudieran hacer imitaciones de voz convincentes.

Para Putin, el proceso de casting fue relativamente fácil. Hay una gran cantidad de imágenes disponibles de Putin pronunciando varios discursos, lo que proporciona al algoritmo una gran cantidad de datos de entrenamiento para simular profundamente su rostro y hacer una variedad de expresiones. En consecuencia, había más flexibilidad en el aspecto del actor, porque el deepfake podía hacer la mayor parte del trabajo.

Pero para Kim, la mayoría de los videos disponibles lo mostraban usando anteojos, lo que oscurecía su rostro y hacía que el algoritmo fallara. Reducir el metraje de entrenamiento a solo los videos sin gafas dejó muchas menos muestras de entrenamiento para aprender. El deepfake resultante todavía se parecía a Kim, pero los movimientos de su rostro parecían menos naturales. Cambio de rostro a actor, silenció las expresiones del actor.

Para contrarrestar eso, el equipo comenzó a pasar todas las cintas de casting de los actores a través de DeepFaceLab para ver cuál resultaba más convincente. Para su sorpresa, el ganador se parecía menos físicamente a Kim, pero tuvo la actuación más expresiva.

Latest articles

Kelly Dodd y Andy Cohen se pelean por COVID en la reunión de ‘RHOC’: resumen – Hollywood Life

Kelly Dodd y Andy Cohen se enfrentaron en la primera parte de la reunión de 'RHOC', que se emitió el 20 de enero....

La bidenómica ha tenido un buen comienzo

Cuando se publique este artículo, Joe Biden habrá sido presidente de Estados Unidos durante 18 horas. ¿Podemos preguntar cómo va todavía? Creo...
31.5k Followers
Follow

Related articles

Leave a reply

Please enter your comment!
Please enter your name here

Translate »