Abstract
VACE, an all-in-one framework for video creation and editing, integrates multiple tasks within a unified model using a Video Condition Unit and Context Adapter for flexible and consistent video synthesis.
Diffusion Transformer has demonstrated powerful capability and scalability in generating high-quality images and videos. Further pursuing the unification of generation and editing tasks has yielded significant progress in the domain of image content creation. However, due to the intrinsic demands for consistency across both temporal and spatial dynamics, achieving a unified approach for video synthesis remains challenging. We introduce VACE, which enables users to perform Video tasks within an All-in-one framework for Creation and Editing. These tasks include reference-to-video generation, video-to-video editing, and masked video-to-video editing. Specifically, we effectively integrate the requirements of various tasks by organizing video task inputs, such as editing, reference, and masking, into a unified interface referred to as the Video Condition Unit (VCU). Furthermore, by utilizing a Context Adapter structure, we inject different task concepts into the model using formalized representations of temporal and spatial dimensions, allowing it to handle arbitrary video synthesis tasks flexibly. Extensive experiments demonstrate that the unified model of VACE achieves performance on par with task-specific models across various subtasks. Simultaneously, it enables diverse applications through versatile task combinations. Project page: https://ali-vilab.github.io/VACE-Page/.
Community
We are delighted to announce that the VACE-Preview version has been officially released (for more details, please refer to Huggingface and Modelscope). You can now download and enjoy this preview version. If you have any questions or feedback, please feel free to let us know to help us further improve.
make the child moving
make the child and ball moving
Good
Создай мне пром из Dну текста: Напиши развёрнутый пост для соцсетей (ВКонтакте, Telegram) о запуске новой многофункциональной платформы для Дагестана. Сохраняй дружелюбный, вдохновляющий тон, добавь призыв к действию. Объём: 120–150 слов.
Создай короткий анонс (до 60 слов) для рассылки в мессенджерах о старте платформы. Сделай акцент на удобстве и единстве сервиса. Включи призыв подписаться на каналы.
Напиши текст для видео‑анонса на YouTube (1–1,5 минуты). Опиши ключевые преимущества платформы, перечисли торговые форматы, добавь эмоциональный призыв к участию.
Составь список из 7–10 вопросов для опроса аудитории в комментариях: что пользователи хотят видеть на платформе, какие функции для них важны. Формулируй кратко и понятно.
Напиши текст для баннера (до 20 слов) о запуске платформы. Должен зацепить внимание, передать суть и вызвать желание узнать больше.
Создай пост‑объяснение (100–120 слов) для новичков: что это за платформа, как она работает, зачем нужна. Используй простые аналогии (например, «современный рынок 2.0»).
Напиши мотивационное обращение к предпринимателям Дагестана (80–100 слов) с призывом присоединиться к платформе. Подчеркни выгоды для бизнеса: расширение аудитории, новые возможности продаж.
Составь текст для email‑рассылки подписчикам о запуске платформы. Включи: приветствие, краткое описание, ключевые фишки, ссылки на соцсети, призыв к действию. Объём: 150–180 слов.
Напиши короткий диалог (5–7 реплик) между пользователем и поддержкой платформы. Пользователь спрашивает, как начать пользоваться сервисом, какие форматы доступны. Ответь понятно и дружелюбно.
Создай текст для промо‑сторис в Telegram (3–4 карточки, до 40 слов на каждую). На первой — анонс запуска, на второй — ключевые преимущества, на третьей — призыв подписаться и участвовать.
