Нейросеть научили создавать видео с «замедленным движением» из обычных роликов

Иногда хочется сделать «слоу-мо», но флагманский смартфон - это не про мой середнячок. Don’t worry about! Теперь это не проблема.

Nvidia придумала способ как превратить «замыленное» видео в шедевр кинематографа.

Искусственный интеллект делает так, чтобы ролик снятый с обычной скоростью 30 к/сек выглядел по-голливудски. Но это только верхушка айсберга.

Суть в том, что перспективная система машинного обучения конвертирует стандартное видео в замедленное. Но это не просто меньшая скорость воспроизведения.

30 кадров в секунду! Откуда взять остальные? Спокойно! Нейросеть добавляет нехватающие кадры, чтобы картинка получилась чёткой и плавной.

В результате получится ролик с частотой кадров на уровне 30-ти в секунду - стандартное качество для обычной съемки, при этом видео отображается как 240 кадров секунду.

Процесс и процессор

Познание нового требует времени. Чтобы нейросеть научилась прогнозировать экстра-кадры, использовали 11,000 видеороликов, снятых на высокоскоростную камеру.

Ученые говорят, что в теории обычные телефоны могут делать видео с «замедленным движением», но есть одна проблема.

Несмотря на то, что смартфон может снимать видео с частотой 240 кадров в секунду, такая функция нецелесообразна, потому что очень требовательна к аппаратным средствам, а также увеличивает и без того раздутое энергопотребление флагмана, что сокращает автономность мобильного устройства.

Стало быть, Nvidia нашла способ достичь компромисс между производительностью и энергоэффективностью. И всё это работает на отнюдь не топовом «железе».

Справочка

Nvidia сделала себе имя на производстве видеокарт, но не только. Например, в последнее время они хорошо продвинулись в деле искусственного интеллекта, в том числе выпускают высокопроизводительный недорогой чип, который, по их словам, сделает роботов частью нейронной сети.