基于双预训练 Transformer 和交叉注意力的 多模态谣言检测
DOI:
CSTR:
作者:
作者单位:

作者简介:

通讯作者:

中图分类号:

TP183

基金项目:

NSFC-新疆联合基金(U1703261)项目资助


Multimodal rumor detection method based on dual pre-trained transformer and cross attention mechanism
Author:
Affiliation:

Fund Project:

  • 摘要
  • |
  • 图/表
  • |
  • 访问统计
  • |
  • 参考文献
  • |
  • 相似文献
  • |
  • 引证文献
  • |
  • 资源附件
  • |
  • 文章评论
    摘要:

    社交平台上文本和图像相结合的多模态谣言比纯文本谣言更易于误导用户,因此研究多模态的谣言检测方法具有重 要意义。现有方法大多只是对各个模态特征直接进行向量拼接,忽略了模态间联系,不能充分利用多模态信息。为了解决上 述问题,提出了一种基于双预训练Transformer 和交叉注意力机制的多模态谣言检测模型:首先使用预训练的Transformer (BERT 和ViT) 分别提取文本单词和图像的特征,克服了训练样本小的局限性;然后使用交叉注意力机制将文本和视觉特征 进行特征融合,充分地学习到两种模态间的潜在联系;最后将得到的多模态融合特征输入谣言检测模块进行分类。实验结果 表明,该模型在 Twitter 和微博数据集上的检测性能均高于多模态基准模型,有效性和泛化性进一步提升。

    Abstract:

    Rumors with text and images are more misleadingand harmful than text-only rumors.Therefore,multimodal rumor detection has become a new hot-spot issue.In addition,most of the existing methods simply concatenate unimodal features without considering inter-modality relationships.Therefore,this paper proposes a multimodal rumor detection method based on dual pre-trained transformers(BERT and ViT)to extract features of text words and images respectively,and then uses cross attention mechanism to fuse text and visual features,plus text semantic features extracted by text CNN.Finally,the obtained multimodal fusion features are input into the rumor detection module for multimodal rumor classification.The model uses the pre-trained model for feature extraction,which has been trained on large-scale datasets,and has better performance.This method considers the relationship between multimodes,which can more effectively fuse multimodal features and effectively improve theeffectiveness of rumor detection.As the core of the model,cross attention mechanism dynamically adjusts the weight of words by combining the information of text and image modes.Experiments conducted on two public benchmark datasets(Twitter and Weibo)validate the performance of the proposed method for rumor detection.

    参考文献
    相似文献
    引证文献
引用本文

蒋保洋,但志平,董方敏,张洪志,刘致远.基于双预训练 Transformer 和交叉注意力的 多模态谣言检测[J].国外电子测量技术,2023,42(4):149-157

复制
分享
文章指标
  • 点击次数:
  • 下载次数:
  • HTML阅读次数:
  • 引用次数:
历史
  • 收稿日期:
  • 最后修改日期:
  • 录用日期:
  • 在线发布日期: 2024-10-29
  • 出版日期:
文章二维码