Новости Первая в России нейросеть для генерации полноценного видео

[BOOX]

Сбер представил Kandinsky Video. Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона.​

Команда Сбербанка представила свою новую разработку в области нейросетей. Как отмечает пресс-служба, Kandinsky Video стала первой в России генеративной моделью для создания полноценных видеороликов по текстовому описанию.

Пример видеоролика от Kandinsky Video

Модель генерирует видеоряд продолжительностью до восьми секунд с частотой 30 кадров в секунду. Об этом в ходе международной конференции AI Journey рассказал первый заместитель председателя правления Сбербанка Александр Ведяхин.

Архитектура Kandinsky Video состоит из двух блоков: первый отвечает за создание ключевых кадров, из которых складывается структура сюжета видео, а второй — за генерацию интерполяционных кадров, которые позволяют достичь плавности движений в финальном видео. В основе двух блоков лежит

Для просмотра ссылки необходимо нажать Вход или Регистрация

.

Пример видеоролика от Kandinsky Video

Формат сгенерированного видео представляет собой непрерывную сцену с движением как объекта, так и фона. Именно это отличает видеоролики, синтезированные моделью Kandinsky Video, от анимационных видеороликов, в которых динамика достигается за счёт моделирования пролёта камеры относительно статичной сцены.

Нейросеть создаёт видеоролики с разрешением 512 х 512 пикселей и различным соотношением сторон. Модель обучена на наборе данных из более чем 300 тыс. пар «текст — видео». Генерация видео занимает до трёх минут.

Александр Ведяхин рассказал:

Недавно мы обучили Kandinsky создавать анимационные видео по текстовому описанию, а уже сегодня представляем модель совершенно другого уровня — первую в России модель по генерации полноценных видеороликов по тексту. Это важный вклад в развитие российских генеративных нейросетей. У пользователей появится ещё больше возможностей для креатива и реализации своих творческих задумок любой направленности. Люди смогут создавать уникальные видеоролики абсолютно бесплатно. Наша модель, как и большинство других в линейке Сбера, будет доступна в open source. Мы верим, что искусственный интеллект сможет открыть перед людьми новые супервозможности и создать инструменты, которыми они будут пользоваться для решения своих задач.

Оценить возможности нейросети Kandinsky Video можно на

Для просмотра ссылки необходимо нажать Вход или Регистрация

и в

Для просмотра ссылки необходимо нажать Вход или Регистрация

, где можно оставить заявку на доступ.

Для просмотра ссылки необходимо нажать Вход или Регистрация