AReaL 2.0 发布 持续学习系统助 Agent 在真实场景中升级

7 月 2 日，开源强化学习基础设施项目 AReaL 发布 2.0 版本，旨在帮助智能体 Agent 在真实业务中持续学习并优化模型能力。

技术背景

AReaL 是一个专注于 Agent 应用场景的强化学习训练支持系统。Agent 是指能够在特定任务中自主决策并执行操作的智能体，广泛应用于企业数字化场景。

AReaL 2.0 提供了一套让 Agent 在使用中持续学习的系统基础设施。

功能特点

AReaL 2.0 的核心是通过记录 Agent 在完成任务时的交互过程，将其整理后接入后续训练流程。这样 Agent 在安全合规的前提下可以持续优化底层模型，提升任务处理能力。

应用场景

目前 Agent 已广泛应用于代码编写、资料查询、工具调用等企业生产环境中的复杂任务。但 Agent 长期存在一个问题：尽管每日处理大量业务，却无法从工作反馈中真正成长。

例如，Agent 任务完成情况、工具调用失败记录、用户不满意度、决策失误环节等信息大多仅以日志形式保存，难以转化为下一次模型的训练数据，导致成长受限。

升级方式

AReaL 2.0 的优势在于无需开发人员重新构建 Agent。它提供统一推理入口，开发者只需将 Agent 原本调配大模型的请求经过 AReaL 2.0 路由，即可接入在线强化学习系统。

行业影响

业内观点认为，AReaL 2.0 的推出将大幅提升企业 Agent 的迭代效率，加速其在真实业务场景中的能力成长，同时降低模型持续优化的技术门槛。

AReaL 2.0 开源：支持 Agent 在线强化学习的架构升级

蚂蚁集团、清华大学和香港科技大学等团队联合推出的 AReaL 项目发布了 2.0 版本，推出在线强化学习架构，旨在让智能体在真实任务中持续学习。开发者可以将任意 Agent 和任务环境接入该架构，实现针对真实交互数据的持续训练。相比传统的依赖离线数据方式，这种在线学习模式能更好地适应企业工作流中代码库更新、业务流程调整等动态变化。

在线强化学习机制

以 Hermes Agent 为例，它在接收任务、规划步骤和调用模型的同时，AReaL 2.0 在后台记录完成任务时的关键交互过程。系统会结合任务结束后的反馈或奖励信号，将真实轨迹用于后续训练，从而让模型能力在部署后持续提升。

这种在线强化学习（Online RL）是指智能体能够在与真实环境的交互中记录关键行为轨迹，并在完成一个任务后利用反馈信号进行迭代训练，以优化模型性能。

AReaL 团队在技术报告中指出，自演进 Agent 的关键瓶颈，不只是模型本身有多强，也不只是强化学习算法是否先进，而是缺少一套能够服务真实 Agent 的在线强化学习基础设施。

企业场景的重要性

企业工作流中的 Agent 面对的是真实、复杂、不断变化的任务。代码库和业务流程会更新，用户需求会变化，工具和系统也可能发生改变。如果 Agent 的能力一旦上线就基本固定，它就很难长期适应真实环境。AReaL 2.0 补充的正是从“会使用工具”到“能从使用中学习”的关键环节。

安全的数据治理机制

针对企业场景的数据隐私和合规要求，AReaL 2.0 引入了面向 Agent 轨迹的数据代理机制。当真实任务数据进入训练流程时，可以在权限控制、数据脱敏、隔离和审计等条件下被管理和使用，确保学习过程在安全边界内进行。

• 记录完成任务时的关键交互过程
• 结合任务结束后的反馈或奖励信号
• 将这些真实轨迹用于后续训练

生态建设方向

AReaL 项目于 2024 年发起，2026 年 5 月从蚂蚁 InclusionAI 孵化成为独立开源社区，并加入 PyTorch Foundation Ecosystem 项目。目前社区已获得华为云团队、MindLab 等产业和开源生态伙伴的参与和支持。未来将围绕在线强化学习、自动化评估和多模态智能体训练等方向迭代，推进自演进智能体生态发展。

目前，AReaL 2.0 技术报告和代码已开源。

GitHub 仓库：https://github.com/areal-project/AReaL

技术报告：https://arxiv.org/abs/2607.01120