研究人员提出面向多模态推荐的解耦与蒸馏动态集成框架

近日，中国科学院软件研究所团队聚焦多模态推荐中模态信息差异化推荐价值被削弱的问题，针对联合学习与特征融合策略，引入梯度提升机制，提出了解耦与蒸馏动态集成框架，提升了模态共享信息和特有信息的样本级判别能力。

不同模态信息的差异化推荐价值是指各类型信息在用户之间表现出不同的贡献程度。联合优化的集成策略要求各模态同时拟合全部样本，导致模型倾向于学习整体平均表现，难以保持不同信息在特定样本上的优势。

针对上述问题，研究团队提出了由特征成分解耦模块和知识蒸馏增强的梯度提升模块组成的D3ER框架。特征成分解耦模块将多模态表示拆分为共享成分与特有成分，通过对比学习和分布对齐提取跨模态共享信息，并利用分离约束保留视觉、文本各自独有的任务相关语义。在此基础上，D3ER分别建立共享信息、视觉特有信息和文本特有信息对应的推荐模型，并通过梯度提升进行交替训练，使各模型重点学习此前尚未充分拟合的样本，发挥不同信息成分的优势，缓解联合训练造成的预测偏好弱化。

针对传统梯度提升需要持续保存历史模型的问题，D3ER进一步引入知识蒸馏，将累积知识压缩至固定规模模型中，并结合全局校正约束提升训练稳定性，在保持模型互补性的基础上，兼顾存储与计算效率。

研究团队将D3ER分别接入MGCN、DiffMM和PGL三种基座模型，在Amazon三个交互稀疏度均超过 99.8%的多模态推荐数据集进行对比实验，验证其对不同推荐架构的适配能力。结果显示，D3ER在三个数据集和多项评价指标上均稳定提升。消融实验表明，分别移除特征解耦、梯度提升与蒸馏机制后，模型性能均出现下降，其中移除全局校正约束的影响最为明显。

相关论文被多媒体领域国际学术会议ACM MM 2026接收。

D3ER整体框架