Google продемонстрировала работу Lumiere – «модели пространственно-временной диффузии для реалистичной генерации видео», основанную на искусственном интеллекте.

Новый ИИ-инструмент может создавать удивительно реалистичные видеоролики продолжительностью до пяти секунд. Нейросеть анимирует неподвижные изображения или только их части в ответ на текстовые подсказки. Это, возможно, самый мощный на сегодняшний день ИИ-генератор видео.

Lumiere формирует структуру видео сразу на всем его протяжении. Это в корне отличается от классического подхода, когда ИИ генерирует начальный и конечный кадры, а потом пытается угадать, чем заполнить пространство между ними.

Разработка является исследовательским проектом, и пока неизвестно, будет ли она доступна для широкого использования.

Сама Google ранее демонстрировала модель Imagen Video, которая генерировала ролики разрешением 1280×768 точек с частотой 24 кадра в секунду, но её творения были намного более скромными. Меньшим реализмом отличались результаты таких проектов как Meta, Make-A-Video, Runway Gen2 и Stable Video Diffusion.