中国农业大学信电学院陈瑛副教授在人工智能多模态讽刺检测研究领域取得新进展

近日，信息与电气工程学院陈瑛副教授在人工智能领域权威期刊Pattern Recognition上围绕多模态讽刺检测发表论文 Sarcasm detection enhanced by multi-modal topics using denoising diffusion probabilistic models。

讽刺是人类交流中一种普遍存在的表达方式，其实际含义往往与字面意义形成鲜明反差。多模态讽刺检测旨在综合利用文本、图像和语音等多种信号，识别语义与语用之间的不一致，从而增强机器对讽刺表达机制的理解，避免情感分析误判。该研究不仅有助于推动跨模态学习、常识推理与融合等关键技术的发展，其成果还在舆情分析、内容审核、人机交互等多个下游任务中具有重要应用，兼具学术深度与社会价值。

尽管主题信息在纯文本讽刺检测中的有效性已获验证，但其在多模态场景下的应用尚属空白。为此，该文提出基于主题增强的多模态讽刺检测方法，旨在更高效地利用主题信息。该方法包含三个核心模块：原始特征提取、主题特征提取与增强型多模态讽刺检测模型构建。在多个数据集上的实验结果表明，该方法性能显著优于现有基准模型，验证了其优越性。

基于主题增强的多模态讽刺检测方法总体架构

上述论文的第一完成单位为中国农业大学，信电学院陈瑛副教授为论文的通讯作者，2022级博士研究生张晓强为第一作者，其他作者来自中国农业大学和清华大学。