基于帧序列抽象与语言模型引导的视频理解方法、装置、设备及介质

本申请提供一种基于帧序列抽象与语言模型引导的视频理解方法，应用于人工智能和多模态信息处理技术领域，对视频帧序列中的图像特征进行预处理与镜头分割，生成代表帧编码数据；基于分镜段语义提取规则对代表帧图像特征进行语义解析，结合结构化文本指令对大语言模型的引导作用及模型输出特性，生成语义序列数据；基于多帧拼接输入方式对跨分镜代表帧特征进行处理，结合文本指令结构设计与模型输出规则动态优化语义理解逻辑，生成结构化场景理解数据；对结构化场景理解数据进行处理，生成包含视频语义摘要、脚本创作语义片段、视频标签与商品卖点的应用数据；基于预设应用场景规则对应用数据进行处理，生成视频结构化语义标注结果。