Алгоритмы нейронных сетей могут «оживлять» фотографии

16.12.2018 09:49  772   Ильяс Захаров  Статья

С каждым годом пользователи узнают про нейросети все больше, искусственный интеллект получает новые возможности, в том числе и при обработке снимков.

Нейросеть научилась оживлять фигуры людей на фото

Один из таких алгоритмов недавно был разработан американскими инженерами, новая программа отличается способностью приводить в движение людей на обычных фотографиях. Для этого генерируется 3D-модель человека, после чего запускается ролик с выбегающим из картинки изображением. Благодаря такому функционалу пользователи могут понять, как перемещались люди в кадре.

Как работают алгоритмы нейронных сетей

Чтобы заставить людей выбегать из фото, разработка выполняет нижеприведенные действия:

  • проводит анализ, идентифицируя сектор с человеком, обработка 2D-изображения производится посредством ИИ-алгоритма Mask R-CNN;
  • выявленный сектор отделяется от фона;
  • составляет двухмерную модель скелета, состоящую из прямых отрезков и их соединений;
  • генерируется соответствующий фон в участках, которые изначально были заслонены;
  • на основе 2D-модели создается ее 3D-аналог;
  • на ней основывается итоговая анимация.

Однако набор воспроизводимых таким способом движений пока ограничен. Зато есть возможность перед началом анимации задать расположение частей тела. Предусмотрено несколько режимов работы. Один позволяет воспроизвести на дисплее стандартный видеоролик, а другой – выводить изображение в дополненной реальности. Благодаря второму режиму можно трансформировать обычную картинку на стене в интерактивную.

Нейросеть оживила фигуры людей на фотографиях

Другие работы в этой области

Обучение нейронной сети по «оживлению» снимков ведется и другими специалистами. Например, коллектив Ирины Кемельмахер-Шлицерман создал другой способ воспроизведения реалистичной анимации. Эта разработка способна добавлять в речь видеоряд, что позволяет преобразовывать мимику так, чтобы она соответствовала произносимым фразам. А индийские специалисты в начале этого года создали нейросеть, которая способна трансформировать фотографии с артефактами в реалистичные ролики.

Видео: