基于两阶段缺失模态恢复的多模态情感分析方法
摘 要：在多模态情感分析任务中，模态缺失情况下存在整体多模态与单模态情感表达不一致、情感会因模态缺失而发生变化的情况。现有方法忽略缺失模态潜在的特异性语义内涵和情感表达，导致情感分析性能下降。为解决这个问题，本文提出基于两阶段缺失模态恢复的多模态情感分析模型。首先恢复缺失模态特征，通过不变模态翻译模块恢复缺失模态与文本模态的同构信息，接着通过相似模态翻译模块在视觉词典中恢复缺失模态的异构信息，然后将已知模态和恢复出的缺失模态进行融合，实现一致性的情感分析。在 CMU-MOSI和 IEMOCAP上的实验表明，该模型能够有效检测和恢复缺失模态语义特征，缓解多模态与单模态情感表达不一致的问题，并具有显著的性能优势。
论文下载：