H. Kim, P. Garrido , A. Tewari,  W. Xu, J. Thies, M. Nießner, P. Pérez,     C. Richardt, Michael Zollhöfer, C. Theobalt, Deep Video Portraits, ACM Transactions on Graphics (SIGGRAPH 2018)    

We present a novel approach that enables photo-realistic re-animation of portrait videos using only an input video. In contrast to existing approaches that are restricted to manipulations of facial expressions only, we are the first to transfer the full 3D head position, head rotation, face expression, eye gaze, and eye blinking from a source actor to a portrait video of a target actor. The core of our approach is a generative neural network with a novel space-time architecture. The network takes as input synthetic renderings of a parametric face model, based on which it predicts photo-realistic video frames for a given target actor. The realism in this rendering-to-video transfer is achieved by careful adversarial training, and as a result, we can create modified target videos that mimic the behavior of the synthetically…

Современные компьютерные технологии в купе с инструментарием профайлинга уже сегодня превращают еще недавно казалось бы фантастические сцены из фильмов «Ее звали Никита», «Миссия невыполнима» и «Джейс Бонд» в реальность. В них были сцены общения голограммы с живым человеком. И нередко эта голограмма оказывалась мошеннически подстроенное изображение, созданное для того, чтобы ввести в заблуждение каких-то негодяев

Многие еще помнят нашумевшее с год назад приложение MSQRD, технология которого сегодня уже выросла в возможность наложить собственную мимику на любое лицо в режиме реального времени.

В этом видео показывают, как на воспроизводящееся видео можно накладывать собственную мимику и экспериментируют с Путиным, Трампом, Бушем и Обамой.

https://youtu.be/ohmajJTcpNk (видео можно проматывать)

О том, как в Стенфорде это сделали написано здесь (http://www.graphics.stanford.edu/~niessner/thies2016face.html)

Но вся соль заключается в том, что уже пошли дальше. Сегодня уже легко сконструировать абсолютно реалистичное…