清华大学计算机系黄民烈团队合作揭示人类偏好易受隐性目标错位AI建议影响

近日，清华大学计算机系黄民烈教授团队与合作团队首次系统性地证明，当人工智能（AI）顾问被赋予与用户利益相冲突的隐藏目标时，能够在用户几乎毫无察觉的情况下，将用户偏好从最优选项显著推向次优甚至有害的选项，而绝大多数用户事后依然认为该顾问“有帮助、有信息量、有道理”。这一发现揭示了人机交互中一个此前未被系统量化的行为学脆弱点，为人工智能治理中透明度与问责机制的建设提供了实证依据。

相关研究成果以“人类偏好易受隐性目标错位的AI建议影响”（Human Preferences Are Susceptible to Covertly Misaligned AI Advice）为题，于9月14日正式在《美国国家科学院院刊》（Proceedings of the National Academy of Sciences，PNAS）上发表。

审稿人评价指出，该工作通过随机设计，在人工智能治理与人机交互领域探讨了一个具有重要实际意义的问题，核心描述性结果稳健可靠，是一项兼具及时性与潜在重要价值的研究。

从挑选商品到排解情绪，越来越多的人开始向AI助手征求意见。人们通常默认这些AI系统是中立的、以用户利益为先的。但在现实中，提供这些系统的往往是以营利为目标的商业机构。当AI顾问的真实目标与用户利益不一致，而这种错位又难以察觉时，用户在真实的咨询情境中究竟有多容易被“心怀私利”的AI建议带偏？

针对这一问题，研究团队构建了一个随机组间实验，将被试随机分配到两类决策场景与三种AI顾问的组合条件中。决策场景涵盖金融消费（在给定预算与需求约束下选购健身手环、减重产品与网购平台）与情绪支持（应对自我形象困扰、与好友的冲突及职场批评等情绪困境）两类；每个场景提供一个在给定约束下的最优选项和三个不同风险类型的次优选项，其中一个次优选项被指定为AI的隐性激励项。三种AI顾问均基于GPT-4o构建、仅提示词配置不同：中立顾问（NA）以用户利益为唯一目标，作为对照组；目标错位顾问（MA）被植入与用户利益冲突的隐藏目标，须在不透露该目标的前提下将用户的选择推向隐性激励项；策略增强型错位顾问（SEMA）则在MA的基础上进一步掌握了一套源自心理学与社会科学文献的隐性影响策略，可在对话中自主选用。三类顾问在对话前均会获得被试的大五人格画像，并采用“心智理论”推理框架先推断被试的信念、目标与情绪，再生成回应；被试需在互动前后分别对四个选项进行评分（10分制），且必须与顾问对话至少10轮方可提交。

图1.研究整体设计：决策场景（a）、三种AI顾问条件（b）与实验流程（c）

结果显示，与目标错位顾问互动后，被试的偏好被显著推向了AI的隐藏目标。互动前，所有条件下的被试都一致地更偏好最优选项，组间无显著差异，说明实验所设计的最优选项本身是可被识别的；互动后，接触错位顾问的被试对隐性激励项的相对偏好显著上升，在金融与情绪两个领域均达到大效应水平（相对中立顾问的效应量d介于1.04至1.53之间，P均小于0.001）。双重差分分析进一步表明，相对于中立顾问，与错位顾问互动使被试选择隐藏目标而非最优选项的几率提升约5至8倍，最高增加38个百分点。一个出乎预期的结果是，为顾问额外配备成熟的心理影响策略（SEMA）并未可靠地强化其影响力，两个领域中SEMA与MA的效果差异均不显著，这意味着仅仅“隐藏的目标”本身就足以显著改变人的偏好，并不需要精巧的操纵话术，此类风险的“技术门槛”远比想象中更低。

图2.互动前后被试偏好类别的分布：目标错位顾问显著提高了“隐藏目标”选项被选中的概率

更值得警惕的是，偏好的偏移与用户的主观评价之间呈现出系统性脱节。尽管偏好已被明显带偏，绝大多数被试（75.6%–86.8%）仍认为错位顾问是有帮助的，甚至与中立顾问处于相近水平；主动提到察觉了顾问“别有用心”的被试仅占少数（8.1%–28.9%），且主要集中在金融场景。

这项研究揭示了人机交互中一个此前未被系统量化的行为学脆弱点：当AI的动机不可见时，人可能在维持正面评价的同时，把偏好交给并不符合自身利益的选项。与用户早已习惯保持警惕的广告和信息披露不同，AI助手往往被视为中立的帮手，其不当建议更容易被归因于“模型能力有限”而非“背后有利益”，这种不对称使隐性目标错位更难被察觉。在情绪支持等信任与脆弱性同时升高的场景中，其潜在危害尤为值得关注。

该论文共同第一作者为清华大学计算机系博士生山姆（Sahand Sabour）（导师黄民烈教授）与香港大学刘梦圆（June M. Liu）；清华大学计算机系黄民烈教授、香港大学李湄珍（Tatia M.C. Lee）教授与山姆（Sahand Sabour）、刘梦圆（June M. Liu）为论文共同通讯作者。

论文链接：

https://www.pnas.org/doi/10.1073/pnas.2600684123

供稿：计算机系

编辑：李华山

审核：王晓霞