人工智能学院温颖团队联合计算机学院张伟楠课题组科研成果——ACL 26 SAC Highlight：让大模型智能体真正“记得进度、会做规划”

近日，上海交通大学人工智能学院温颖、计算机学院张伟楠课题组论文 PROGRA: Progress-Aware Reinforcement Learning for Multi-Turn Function Calling 获评 ACL 会议 SAC Highlight Award。该工作关注大语言模型智能体中的多轮函数调用问题，提出了一个名为 PROGRA 的进度感知强化学习框架，使模型在连续交互中能够更好地理解任务状态、规划后续步骤，并更稳定地完成复杂工具调用任务。

该研究由上海交通大学、上海创智学院与朗新 AI 研究院合作完成。论文作者包括上海交通大学的柴化灿、曹子杰、冉茂林、杨滢轩等，其中上海交通人工智能学院的温颖副教授、上海交通大学计算机学院的张伟楠教授以及朗新科技的黄飞博士为通讯作者。

从“调用一个工具”到“完成一个任务”

函数调用是大语言模型走向真实应用的重要能力。通过调用外部 API、数据库和业务系统，模型不再只是生成文本，而可以真正参与订票、改签、检索、填表、审批、查询订单等可执行流程。近年来，单轮函数调用的准确率已经有了明显提升，但真实场景中的任务往往不是一次问答就能完成的。

以旅行规划或机票改签为例，用户可能先提出一个总体需求，随后在多轮对话中补充身份信息、时间偏好、舱位要求、行李数量或乘客姓名等细节。模型需要在每一轮中判断哪些信息已经确认，哪些条件仍需验证，哪些工具应该先调用，哪些操作必须等到查询结果返回后才能继续执行。对这类任务而言，关键不只是“当前这一步函数调用是否正确”，还包括模型是否理解了整个任务已经推进到什么阶段。

现有方法在处理多轮函数调用时，常常将完整对话切分为独立的单轮训练样本。这种做法在训练上更简单，但也削弱了对话中的时间连续性。模型可能学会了根据当前输入生成一个看似正确的函数调用，却没有真正掌握历史信息与未来步骤之间的关系。另一类方法使用端到端强化学习优化多轮任务表现，但如果缺少对任务进度的显式建模，模型仍然容易在较长上下文中出现重复调用、遗漏参数、过早结束或目标偏移等问题。

论文将这一问题归纳为多轮函数调用中的 progress awareness 缺失，即模型缺少对任务进展的明确感知。所谓进度感知，并不是简单记住所有历史对话，而是能够提炼出与任务完成相关的关键信息：用户想完成什么，已经调用了哪些工具，当前环境返回了什么结果，后续还需要验证哪些条件，以及何时可以结束任务。

Figure 1：多轮对话被拆成单轮样本后导致时间连续性断裂、历史状态被忽略和后续规划失败

PROGRA：给大模型智能体加入“进度感知”

针对这一问题，论文提出了 PROGRA。PROGRA 的核心思想很直接：

在模型做下一步动作之前，先让它明确总结当前任务进度，并规划后续行动。

这里的“进度感知”（Progress Awareness）主要包括两部分：

1.历史摘要：已经发生了什么？用户提出过哪些需求？哪些函数已经调用？哪些参数已经确认？

2.未来计划：接下来还需要做什么？可能要调用哪些工具？哪些条件需要验证？什么时候应该结束任务？

这使模型不再只是根据冗长上下文直接生成函数调用，而是先形成一个紧凑、明确的任务状态表示，再据此执行下一步操作。

两阶段训练：先学会“看进度”，再学会“用进度做决策”

PROGRA 包含两个关键阶段，其中第一阶段 Progress Awareness Generation（PAG），用于自动构造高质量的进度感知训练数据；第二阶段为Progress Awareness-Guided Reinforcement Learning（PAG-RL），用于将进度感知显式融入多轮强化学习，让模型在交互中学会更稳健地调用工具。

第一阶段：PAG 自动生成“任务进度笔记”

在 PAG 阶段，研究团队首先将完整的多轮函数调用轨迹切分成多个训练样本。每个样本都包含：当前调用前的历史对话、工具描述、当前用户请求、真实函数调用，以及之后的对话片段。

随后，系统会为每个样本生成一份“进度感知笔记”，主要包含两类信息。第一类是对历史的总结，例如用户已经表达过哪些需求、哪些参数已经确定、此前工具调用是否成功以及环境返回了哪些关键结果。第二类是对未来的规划，例如接下来可能需要调用哪些函数、哪些信息还需要补齐、哪些步骤存在分支条件，以及在什么情况下任务可以终止。通过把这两类信息结合起来，模型能够将局部函数调用放到完整任务链条中理解，从而减少只关注当前轮次所带来的短视行为。

为了保证这些“进度笔记”不是空泛总结，PROGRA 还设计了一个验证机制：让目标模型只根据这份进度感知内容和工具信息，尝试还原真实函数调用。只有能够正确还原的样本才会被保留下来。

换句话说，PROGRA 不只是让模型“写总结”，而是要求这份总结必须真的包含完成任务所需的关键信息。

此外，研究团队还通过改写、函数模式扰动、关键词遮蔽等方式进行数据增强，提高模型面对不同表达方式和不完整输入时的鲁棒性。

Figure 2：PAG 流程图，展示轨迹切分、进度感知生成、模型感知验证、多样性增强和 SFT warm-up 的完整过程

第二阶段：PAG-RL 用“进度感知”指导强化学习

每个决策步中，模型会先生成当前任务的进度感知内容，再基于这份内容生成推理和函数调用。也就是说，模型的行动流程变成了：

理解当前任务进度 → 规划下一步 → 调用函数 → 接收环境反馈 → 更新进度。

这一设计使模型不必每次都在冗长、重复的原始上下文中“重新找线索”，而是可以依赖更紧凑的任务状态表示。此外，模型的局部动作也会更容易与全局任务目标保持一致，减少重复调用、遗漏参数和过早结束等问题。

在强化学习优化中，PROGRA 同时考虑输出格式、函数 schema 正确性、任务完成情况和调用步数惩罚，使模型不仅追求“调用对”，也追求“高效完成任务”。

Figure 3：PAG-RL 框架图，展示模型先生成 awareness，再生成 function call，并通过轨迹级奖励进行强化学习优化的过程

实验表现：在多个模型和基准上稳定提升

论文在两个公开多轮函数调用基准上验证了 PROGRA 的效果，包括 BFCL-V3 Multi-Turn 和 τ-Bench。其中，BFCL 关注可执行函数调用准确率，τ-Bench 则更接近真实交互环境，强调模型在较长任务链条中的规划、查询和决策能力。实验使用了 Qwen2.5-7B-Instruct、xLAM-2-3B 和 xLAM-2-8B 三类骨干模型，并与 Reasoning、SFT、单轮 GRPO、单轮 Dr.GRPO、多轮 GRPO、多轮 Dr.GRPO 等方法进行了比较。

结果显示，PROGRA 在不同模型和不同基准上均取得了稳定提升，尤其在更依赖长程规划的 τ-Bench 上优势更加明显。以 xLAM-2-3B 为例，PROGRA 将 τ-Bench Overall 从基础模型的 25.45 提升至 31.52；在 xLAM-2-8B 上，τ-Bench Overall 从 46.70 提升至 51.85，其中 Retail 场景达到 65.70。这些结果说明，当任务需要跨越多轮对话、整合历史反馈并持续规划后续动作时，显式建模任务进度能够带来更稳定的收益。

Table 1 ： PROGRA 在 BFCL 和 τ-Bench 上相较各类 baseline 的总体性能提升

跨域泛化：不只是在训练场景里有效

真实应用中的任务往往不断变化。模型不能只在见过的领域表现良好，还需要迁移到新场景。

为此，研究团队进行了跨域实验：在 τ-Bench 的 Airline 和 Retail 子域上训练，在 τ²-Bench 的 Telecom 子域上测试。

Table 2 ： PROGRA 在OOD场景上的性能表现

结果显示，PROGRA 在未见过的 Telecom 场景中仍取得更好表现。这说明进度感知训练有助于模型学习更通用的任务推进逻辑，而不是简单记住某个领域里的工具调用模式。也就是说，PROGRA 学到的不只是“航空怎么改签”“零售怎么退货”，而是更抽象更高层的能力，即：如何在多轮任务中维护状态、验证条件、规划动作，并最终完成目标。

这项工作意味着什么？

随着大语言模型智能体逐渐进入真实业务系统，工具调用能力的评价标准也在发生变化。一个模型能够正确生成某个 API 调用固然重要，但对于实际应用来说，更关键的是它能否在多轮交互中稳定推进任务，能否记住必要的历史状态，能否根据环境反馈调整计划，并在任务完成后及时停止。

PROGRA 的贡献正在于此。它将多轮函数调用从“预测下一次工具调用”推进到“围绕任务进度进行决策”，为训练更可靠的工具使用智能体提供了一种新的范式。对于企业流程自动化、个人助理、机器人控制和多智能体协作等场景而言，这种进度感知能力有望成为智能体从演示走向真实部署的重要基础。

论文代码已开源：

https://github.com/FatCatCHC/Progra

作者： 温颖团队 供稿单位： 人工智能学院