ECCV 2026 | 实时导演多镜头长视频! 港中文&快手可灵发布ShotStream

本文第一作者罗亚文，香港中文大学 MMLab 博士一年级在读，研究方向为视频生成，导师为薛天帆教授。

个人主页：https://luo0207.github.io/yawenluo/

作为 AI 视频创作者，你是否曾梦想拥有属于自己的监视器，真正体验一把实时导演的爽感？

现在，生成几秒的单镜头已经不是难事。但是，一旦涉及到生成多镜头长视频，往往就像是在开盲盒：用户写好几百字的剧本，把所有分镜的提示词一次性喂给大模型，然后苦等半小时。哪怕中间只崩了一个镜头，也只能硬着头皮全部推倒重来，缺乏交互性且延迟极高。

为了打破多镜头长视频面临的高延迟、零交互困境，香港中文大学与快手可灵团队联合提出了首个实时流式多镜头长视频生成框架 ——ShotStream。该研究打破了传统双向架构的限制，将多镜头合成定义为基于历史上下文的下一镜头生成任务，用户可以通过动态流式提示词在运行时动态指导叙事走向！更令人振奋的是，ShotStream 模型在单张 H200 GPU 上实现了 16 FPS 的推理速度，相较于双向模型，将生成效率提升了 25 倍以上，为实时的互动故事创作铺平了道路。该工作已被计算机视觉顶级会议 ECCV 2026 接收，其训练、测试代码和模型均已开源。

• 论文标题：ShotStream: Streaming Multi-Shot Video Generation for Interactive Storytelling
• 项目主页：https://luo0207.github.io/ShotStream/
• 论文：https://arxiv.org/pdf/2603.25746
• 代码：https://github.com/KlingAIResearch/ShotStream

ShotStream 能力展示

更多例子请参阅原论文与项目主页。

ShotStream 创新点

要在低延迟下实现流式生成，并且保证长视频的多镜头之间的连贯性，ShotStream 的主要创新点是:

• 提出了首个实时流式多镜头长视频生成架构：用户可以在生成过程中通过流式提示词动态调整正在发展的故事情节，突破了传统双向架构的限制，实现了真正的交互式叙事。
• 设计了一个高效的双缓存记忆框架：为了保证多镜头间的一致性，该工作提出了双缓存记忆机制。其中，全局缓存 (Global Cache) 保证跨镜头间一致性，局部缓存 (Local Cache) 维持单镜头流畅。然而，直接使用双缓存会导致自回归生成中的时序错乱歧义，模型在流式生成的时候会混淆信息，为了解决这个问题，该工作提出了 RoPE 旋转位置编码残差对双缓存进行区分，在无需引入额外复杂模块的情况下，消除了歧义，保证了蒸馏过程的稳定性。
• 提出了一种两阶段自强制（Self-Forcing）蒸馏策略： 为了解决模型在流式生成长视频中的误差累计问题，该工作提出了两阶段自强制（Self-Forcing）蒸馏策略，实现了训推一致，让模型学会在不完美中自我纠偏，有效克服了多镜头长视频生成的误差累积。

ShotStream 算法解读

阶段一：双向下一个镜头预测模型训练

如上图所示，首先将双向文生视频模型微调为一个双向的 “下一镜头” 教师模型，使其具有根据历史帧生成下一个镜头的能力。此外，为了避免数百帧的历史镜头导致显存爆炸，作者设计了动态采样策略，提取出稀疏的历史上下文帧。随后，通过 Token 拼接机制，将上下文特征与目标噪声送入 DiT 模型。

阶段二：因果模型蒸馏

紧接着，利用分布匹配蒸馏（DMD）技术，缓慢的双向教师模型被蒸馏为一个仅需 4 步去噪的流式因果学生模型，从而实现了 25 倍以上的推理加速和 16FPS 的实时生成。

双缓存机制与不连续 RoPE

在多镜头自回归生成中，模型很容易混淆历史画面和当前正在生成的画面。为此，作者巧妙设计了双缓存记忆机制：全局缓存负责存储稀疏条件帧以维持跨镜头一致性，局部缓存负责存储当前镜头刚生成的帧以维持单镜头内的一致。

考虑到同时查询两个缓存会带来时间维度上的歧义，作者对模型原有的旋转位置编码进行了改进，提出了不连续 RoPE。即在每次镜头切换的边界处，对时间维度的 RoPE 施加一个离散的相位偏移。这显式地解耦了全局与局部上下文，让模型能够无需引入任何额外的复杂网络模块，精准区别不同缓存，确保了蒸馏过程的稳定性。

两阶段自强制蒸馏（Self-Forcing)

自回归生成长视频最大的痛点在于误差累积。为了缓解该问题，作者设计了两阶段自强制蒸馏训练：第一阶段，在单镜头内利用真实的 Ground-Truth 历史画面进行训练，让模型具有基础的下一个镜头生成能力；第二阶段，跨镜头利用模型自己生成的历史画面作为条件进行训练。两阶段训练策略解决了训练与推理之间的差异，逼迫模型学会在自己的不完美中进行纠偏，大幅提升了多镜头长视频的画质稳定性和连贯性。

实验结果

ShotStream 在跨镜头一致性、镜头切换控制、文本对齐度等各项多镜头长视频核心指标上，均显著优于或比肩 Mask2DiT、CineTrans 等现有双向模型，以及 LongLive 等自回归模型。同时，实现了 16FPS 的实时生成。

总结

ShotStream 作为首个多镜头长视频生成模型，其创新的双缓存记忆机制及两阶段蒸馏方法，以及单卡 16FPS 的卓越性能表现，验证了实时流式多镜头长视频生成模型的巨大潜力。同时，其模型与训练、测试代码的开源也将为社区的相关研究提供强有力的支持，有望推动 AIGC 视频创作进入一个交互更实时、叙事更自由的新阶段！

文章来自于微信公众号 “机器之心”，作者 “机器之心”