摘要
本发明涉及一种视频生成方法，包括：S1、获取待生成视频的条件提示，并通过对齐模型对其内容提示进行重构，得到覆盖场景、动作与摄影机运动的条件内容提示，其中所述条件提示的内容包括文本、音频、图片或视频；S2、利用多模态编码器对所述内容提示进行编码，得到多模态向量嵌入；S3、调用经空间‑时间残差量化处理的视觉自动编码器，对训练集视频进行离线向量量化，获取视频token序列及其编码方式；S4、将视频token序列输入Mate模块，基于短程‑长程解耦空间‑时间注意力与滑动时间窗策略，输出与视频token的数量呈线性关系的表示；S5，将所述多模态向量嵌入与Mate模块输出进行交叉注意力融合，逐步采样得到目标视频token序列，并经解码器复原为完整视频。
