近日，茅台学院与北航计算机学院在国际期刊《Knowledge-Based Systems》（中国科学院1区期刊，影响因子8.139）上联合发表了题为“Scanning, attention, and reasoning multimodal content for sentiment analysis”的科技论文。茅台学院酿酒工程自动化系刘赟博士为论文第一作者及通讯作者。

社交网络的兴起为人们提供了展示生活和情感的平台，通常以图像和描述性文本等多模式形式出现。捕捉嵌入在社交多模态内容中的情感具有重要的实用应用价值，同时也面临着巨大的研究挑战。现有方法通常采用基于多模态注意力网络的单轮推理模型来进行情感预测，难以应对需要深入理解和复杂推理的多模态分析任务。为了有效地理解多模态内容并预测出正确的情感倾向，论文提出了用于多模态情感分析的扫描、注意和推理（SAR）模型。具体而言，论文首先设计了一个感知扫描模块，用以粗略地感知图像和文本的内容，以及它们之间的内在联系。然后，论文提出了一种跨模态特征关联学习的注意力模块，以深入理解图像和文本之间的互补特征。最后，将扫描模块和注意力模块的多模态联合特征融合在一起，作为社交网络中多模态节点的表示，以此构建一种基于图神经网络的异构推理模型。通过多模态信息推理，捕捉社交网络中网络传播的影响，并进行情感预测。在三个基准数据集上进行的大量实验证实了模型的有效性和先进性。

鉴于人工智能的快速发展，多模态情感分析技术已在很多服务行业开花结果，如商品评论分析等。本论文针对多模态情感分析所取得的研究成果，对于分析用户对茅台销售和产品方面的情感倾向具有一定的借鉴和应用价值。

酿酒工程自动化系

2023年5月8日