一种基于多模态大模型的视频审核方法

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于多模态大模型的视频审核方法
申请号:CN202411025607
申请日期:2024-07-29
公开号:CN118968380B
公开日期:2025-04-11
类型:发明专利
摘要
本发明公开了一种基于多模态大模型的视频审核方法,包括:获取待审核视频,进行视频格式转换、视频质量提升等预处理操作,得到待审核多模态数据作为输入数据;输入数据为待审核多模态数据,包括图像序列Images、音频序列Audios、文本序列Texts;预处理得到多模态分类大模型网络,将输入数据输入至多模态分类大模型网络后输出分类结果及其对应分数,当分类结果为违规标签且对应分数大于预设阈值时,判定待审核视频为违规视频。本发明将图像特征、音频特征、文本特征使用改进注意力多模态特征融合方法进行特征融合,该方法能够充分利用不同模态信息的互补性,提高审核的准确性和鲁棒性。
技术关键词
视频审核方法 多模态特征融合 嵌入特征 融合特征 音频特征 注意力 权重特征 网络 文本 序列 数据 图像 输出特征 标签 全局平均池化 模块
系统为您推荐了相关专利信息
视频动作检测方法 非线性 动作检测模型 坐标 立方体
点击概率预测 点击率预测 模型优化方法 分支 计算机存储介质
语音交互方法 音频特征 关键点检测算法 唇语特征 跨模态
三维人脸模型 视频生成方法 动画 序列 面部
视频剪辑方法 融合特征 分区 视频帧 轻量级神经网络