Нейросеть Google способна генерировать самые реалистичные 3D-объекты

08.12.2018 09:26  165   Insomnia Nevermind  Статья

Используемые сейчас глубокие генеративные модели учатся строить двумерные предметы, пренебрегая трехмерной природой окружающего мира.

Нейросеть Google создает очень реалистичные 3D-объекты

Такой подход ввиду своей ограниченности не может использоваться в целом ряде областей: в индустрии видеоигр, при обучении роботов, создании виртуальной реальности. Данную проблему решает нейросеть Google VON.

Как работает новая генеративная система?

Новинка использует методику «свободное представление», благодаря ей она одновременно генерирует двумерные картинки и 3D-формы. Создание картинок включает 3 этапа: точки обзора, формы и текстуры. То есть искусственный интеллект сначала приобретает навыки построения 3D-форм, а затем генерирует эскиз в «2,5D» и дополняет его.

Три вышеприведенных фактора не связаны, что позволило избежать необходимости спаривания между собой данных в форматах 2D и 3D, наподобие того, как это происходит в ShapeNet, Pix3D и Google Image Search. Разработчикам удалось добиться автономного моделирования объектов, для этого пришлось отрегулировать генеративно-состязательную сеть.

Нейросеть Google VON

Возможности нейросети

Благодаря такому подходу VON позволяет:

  • редактировать формы и текстуры;
  • создавать максимально правдоподобные трехмерные объекты;
  • вносить различные изменения в 3D-объекты;
  • переносить точку обзора и многое другое.

Эти возможности были подтверждены в ходе испытаний нейросети. Тесты предполагали обучение системы в течение 2-3 дней, после чего происходила оценка в «боевых» условиях. Затем ИИ-алгоритм сгенерировал качественные 3Д-модели с разрешением 128×128×128 вокселов с высокой реалистичностью отражения, альбедо и освещения. Для проверки работы коллектив специалистов «Гугл» рассчитал расстояние Фреше. Использование этого параметра объясняется тем, что он напрямую связан с человеческим восприятием. Кроме того, 5 волонтерам были показаны 200 пар изображений (одно из них было построено «ВОН», а второе – другим алгоритмом). Первый способ оценки дал VON наиболее высокий результат. Добровольцы же предпочли 3D-модели от «ВОН» в 74-85% случаев.