Нейросеть Яндекса для генерации видео: обзор технологии Шедеврум

Что такое Шедеврум и как он появился

Шедеврум — это мобильное приложение от Яндекса, запущенное в апреле 2023 года. Изначально оно позволяло создавать изображения по текстовому описанию с помощью собственной нейросети. Уже в первые дни после релиза приложение заняло верхние строчки в российских топах App Store и Google Play. К моменту запуска функции генерации видео количество установок превысило 5,8 миллиона на iOS и Android.

Нейросеть, лежащая в основе Шедеврума, содержит 5 миллиардов параметров и обучалась на 330 миллионах пар «картинка — текстовое описание». Это позволило модели научиться понимать самые разные запросы и создавать визуальный контент, соответствующий описанию. В августе 2023 года Яндекс объявил о расширении возможностей приложения: нейросеть научилась генерировать короткие видео.

Как работает генерация видео в Шедевруме

Процесс создания видео в Шедевруме начинается с текстового описания того, что пользователь хочет увидеть. Приложение анализирует запрос и предлагает четыре варианта первого кадра — статичного изображения, которое станет основой будущего ролика. После выбора подходящего кадра пользователь может применить один из семи анимационных эффектов, которые и создают движение.

Нейросеть берёт выбранное изображение, генерирует серию его изменённых версий (промежуточные кадры) и объединяет их с помощью выбранного эффекта. Для создания каждого кадра используется метод каскадной диффузии: сначала генерируется картинка низкого разрешения, затем она поэтапно увеличивается и насыщается деталями. Такой подход позволяет получать плавные переходы и качественную картинку даже при ограниченной длине видео.

Доступные анимационные эффекты: от зума до морфинга

На момент запуска функции генерации видео в Шедевруме доступно семь анимационных эффектов:

• Зум — плавное приближение или отдаление камеры, создающее эффект движения вглубь сцены.
• Таймлапс — ускоренная перемотка, имитирующая съёмку с длительной выдержкой (например, движение облаков или смена дня и ночи).
• Полёт — эффект пролёта камеры над сценой, добавляющий динамику.
• Панорама — горизонтальное или вертикальное перемещение камеры, позволяющее показать широкий пейзаж.
• Вращение — поворот сцены вокруг оси, создающий объёмное восприятие.
• Подъём — движение камеры вверх, открывающее новые детали.
• Морфинг — постепенное изменение формы и цвета объектов, превращение одного изображения в другое.

Каждый эффект подходит для разных сценариев: зум и панорама хороши для пейзажей, морфинг — для креативных переходов, а таймлапс — для демонстрации процессов.

Технические характеристики генерируемого видео

Шедеврум создаёт видео длительностью 4 секунды с частотой 24 кадра в секунду. Такой формат близок к стандартной кинематографической частоте, что придаёт роликам естественное и плавное движение. Итоговый файл сохраняется в формате MP4 — одном из самых распространённых и совместимых с большинством устройств и платформ.

Ограничение в 4 секунды обусловлено текущими вычислительными возможностями и оптимизацией для мобильных устройств. Этого времени достаточно для создания короткого динамичного фрагмента, который можно использовать как аватарку, элемент сторис или часть более крупного проекта. После публикации видео можно поделиться с друзьями или скачать на устройство.

Кто может пользоваться функцией и как получить доступ

На момент запуска генерация видео была доступна в тестовом режиме. Активные пользователи Шедеврума, установившие обновлённую версию приложения, могли создавать ролики. При этом просматривать результаты в ленте могли все пользователи — даже те, у кого ещё не было доступа к генерации.

Такой поэтапный rollout (постепенное развёртывание) — стандартная практика для Яндекса: сначала функция тестируется на части аудитории, затем, после сбора обратной связи и доработок, становится доступна всем. Чтобы получить доступ, достаточно регулярно пользоваться приложением и следить за обновлениями в магазинах приложений.

Практическое применение: где использовать сгенерированные видео

Короткие ролики из Шедеврума могут найти применение в самых разных сферах:

• Социальные сети — динамические аватарки, сторис, посты в ленте. 4-секундное видео привлекает больше внимания, чем статичное изображение.
• Музыкальные клипы — ролики можно использовать как визуальный ряд для коротких треков или тизеров.
• Анимация и мемы — морфинг и другие эффекты позволяют создавать забавные превращения, которые легко вирусятся.
• Реклама и маркетинг — быстрая генерация визуалов для A/B-тестов или креативов в соцсетях.
• Образовательный контент — таймлапс можно использовать для демонстрации процессов (например, роста растения или сборки конструкции).

Важно помнить, что на коммерческое использование контента, созданного в Шедевруме, нужно получить разрешение через форму обратной связи. Ответ приходит в течение 5 рабочих дней.

Ограничения и особенности тестового режима

Функция генерации видео находится в стадии тестирования, поэтому у неё есть ряд ограничений:

• Длина видео — только 4 секунды, что подходит не для всех сценариев.
• Количество эффектов — на старте доступно 7 вариантов, выбор может расширяться.
• Качество — метод каскадной диффузии даёт хорошие результаты, но на сложных запросах возможны артефакты или несоответствие описанию.
• Доступность — не все пользователи могут сразу генерировать видео; функция разворачивается постепенно.
• Коммерческое использование — требуется отдельное разрешение, что может быть неудобно для бизнеса.

Яндекс, вероятно, будет улучшать алгоритмы, добавлять новые эффекты и увеличивать длительность роликов по мере развития технологии.

Сравнение с другими генераторами видео на базе ИИ

На мировом рынке существуют аналогичные инструменты, например, Runway ML, Pika Labs или Meta’s Make-A-Video. Однако Шедеврум выделяется несколькими особенностями:

• Ориентация на российский рынок — интерфейс на русском языке, адаптация под локальные запросы и культурные контексты.
• Интеграция с экосистемой Яндекса — возможность публикации и шеринга внутри приложения, а в перспективе — интеграция с другими сервисами.
• Простота использования — не требуется навыков промпт-инжиниринга; достаточно описать сцену обычными словами.
• Мобильность — всё работает на смартфоне, без необходимости в мощном ПК.

При этом зарубежные аналоги часто предлагают более длинные ролики, большее количество эффектов и возможность точной настройки параметров. Шедеврум пока уступает в гибкости, но выигрывает в доступности для массового пользователя.

Будущее технологии: что дальше

Яндекс активно развивает направление генеративного ИИ. Учитывая, что нейросеть Шедеврума уже содержит 5 миллиардов параметров и обучалась на огромном массиве данных, можно ожидать:

• Увеличения длины генерируемых видео (возможно, до 10–15 секунд).
• Появления новых анимационных эффектов и стилей.
• Улучшения качества изображения и плавности переходов.
• Интеграции с другими продуктами Яндекса (например, Алиса, Яндекс.Музыка, Яндекс.Директ).
• Возможности генерации видео по голосовому запросу.

Технология каскадной диффузии, используемая в Шедевруме, хорошо масштабируется, поэтому прогресс может быть быстрым. Кроме того, Яндекс может открыть API для разработчиков, что расширит экосистему.

Вопросы и ответы