结合关键帧提取的视频-文本跨模态实体分辨双重编码方法
作者:曾志贤; 曹建军; 翁年凤; 蒋国权; 范强
更新时间:
现有的视频文本跨模态实体解析方法在视频处理中都采用统一的方法,这必然会导致视频信息的丢失,增加问题的复杂性。为了解决这个问题,提出了一种结合关键帧提取的视频文本跨模态实体分辨率双重编码方法(DEIKFE)。在充分保留视频信息表示的前提下,设计了关键帧提取算法,提取视频中的关键帧,得到视频关键帧的集合表示。对于视频关键帧集和文本,采用多级编码方法分别提取视频和文本的全局、局部和时间特征,并将它们拼接成多级编码表示。将编码表示映射到公共嵌入空间,利用强负样本优化模型参数,使匹配的视频文本相似度越大,不匹配的视频文本相似度越小。通过对MSR VTT和VATEX数据集的实验验证,与现有方法相比,sumr@的总体性能分别提高了9.22%和2.86%,证明了该方法的优越性。