纯文本驱动视频编辑，清华&华为&中科大实现无需掩码/参考帧就能精准移除/添加对象
纯文本驱动视频编辑，清华&华为&中科大实现无需掩码/参考帧就能精准移除/添加对象近年来，基于扩散的视频生成模型的最新进展极大地提高了视频编辑的真实感和可控性。然而，文字驱动的视频对象移除添加依然面临巨大挑战：
来自主题: AI技术研报
7580 点击 2025-12-12 09:37
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
近年来，基于扩散的视频生成模型的最新进展极大地提高了视频编辑的真实感和可控性。然而，文字驱动的视频对象移除添加依然面临巨大挑战：
在 Text-to-Video / Image-to-Video 技术突飞猛进的今天，我们已经习惯了这样一个常识： 视频生成的第一帧（First Frame）只是时间轴的起点，是后续动画的起始画面。
DeepWisdom研究团队提出：视频生成模型不仅能画画，更能推理。 为了验证这一观点，团队推出了VR-Bench——这是首个通过迷宫任务评估视频模型空间推理（spatial reasoning）能力的基准测试
To C玩梗是Sora的热闹，用多模态大一统模型服务专业客户，才是AI视频生成的正经生意。
腾讯混元大模型团队正式发布并开源HunyuanVideo 1.5。
当前，视频生成模型性能正在快速提升，尤其是基于Transformer架构的DiT模型，在视频生成领域的表现已经逐渐接近真实拍摄效果。然而，这些扩散模型也面临一个共同的瓶颈：推理时间长、算力成本高、生成速度难以提升。随着视频生成长度持续增加、分辨率不断提高，这个瓶颈正在成为影响视频创作体验的主要障碍之一。
上个月 OpenAI 在发布 Sora 2 的同时将其作为独立应用发布，产品一经上线便登顶苹果应用商店榜首的现象级产品。本篇内容是对 Sora 2 的三位核心负责人的访谈：研发负责人 Bill Peebles、产品负责人 Rohan Sahai 以及工程与产品负责人 Thomas Dimson，Dimson 还参与过 Instagram 产品的搭建。
近年来，以 Veo、Sora 为代表的视频生成模型展现出惊人的合成能力，能够生成高度逼真且时序连贯的动态画面。这类模型在视觉内容生成上的进步，表明其内部可能隐含了对世界结构与规律的理解。更令人关注的是，Google 的最新研究指出，诸如 Veo 3 等模型正在逐步显现出超越单纯合成的 “涌现特性”，包括感知、建模和推理等更高层次能力。
近年来，Stable Diffusion、CogVideoX 等视频生成模型在自然场景中表现惊艳，但面对科学现象 —— 如流体模拟或气象过程 —— 却常常 “乱画”：如下视频所示，生成的流体很容易产生违背物理直觉的现象，比如气旋逆向旋转或整体平移等等。
视频生成模型如Veo-3能生成逼真视频，但有研究发现其推理能力存疑。香港中文大学、北京大学、东北大学的研究者们设计了12项测试，发现模型只能模仿表面模式，未真正理解因果。这项研究为视频模型推理能力评估提供基准，指明未来研究方向。