一种基于交叉注意力和序列注意力的视频切分方法及系统

AITNT-国内领先的一站式人工智能新闻资讯网站
# 热门搜索 #
一种基于交叉注意力和序列注意力的视频切分方法及系统
申请号:CN202411124069
申请日期:2024-08-16
公开号:CN118658104B
公开日期:2024-11-19
类型:发明专利
摘要
本发明提供的一种基于交叉注意力和序列注意力的视频切分方法及系统,涉及视频处理技术领域,本发明通过获取某一时间段的直播视频与商品信息;对商品信息与直播视频进行时间点检测,得到所有时间点;将商品信息与所有时间点进行多模态融合,以通过交叉注意力与序列注意力捕获两者之间的关系与关键信息,得到时间点商品特征向量;根据商品信息与所有时间点,遍历比较相邻时间点的时间点商品特征向量,对直播视频重新划分视频时间段,得到商品分类更加精准的第二切分视频。本发明能最大程度地召回商品关联视频的时间点,减少后续失误判断,充分捕获视频时间点与商品之间的关联关系,更加精确地识别直播视频的时间点,解决商品维度上的视频划分问题。
技术关键词
视频 时间段 交叉注意力机制 文本 商品特征 序列 音频 NLP技术 关系 多模态 图像编码 坐标点 图片 切分系统 精确地识别 语音 关键词 数据获取模块