对齐到什么？重新思考 MiniMax M2 中的智能体泛化

很高兴看到社区深入使用我们的新模型 MiniMax M2，许多人对其在复杂智能体任务中的出色能力给予了高度评价。这尤其令我激动，因为我的工作重点正是其后训练阶段中的智能体对齐部分。在这篇文章中，我想分享我们在这一过程中收获的一些关键见解与经验教训。

真正的智能体对齐问题：基准测试还是现实？

如果你曾使用过 LLM 智能体，你一定感受过这种痛苦：同一个模型在一个框架中表现卓越，在另一个框架中却毫无用处。一个智能体可能在工具使用排行榜上称王称霸，却在简单的现实任务中一败涂地。基准测试表现与实际可用性之间的鸿沟，正是该领域面临的最大挑战之一。

在设计 M2 时，我们知道必须直面这个问题。这引导我们确立了两个核心的、有时相互冲突的目标：

在开源基准测试上表现出色。基准测试对于衡量"纯粹"能力至关重要。例如 BrowseComp 这样的基准测试，考察的是复杂的搜索能力。虽然用户极少会问出像"找到那篇论文，其中第 n 位作者姓名的第三个字母是 'x'"这样刻意设计的问题，但一个能解决此类问题的模型，证明了它具备扎实的基础能力。
在现实世界中实现鲁棒泛化。这是更困难、也更重要的一点。一个优秀的智能体必须能够在不熟悉的工具、IDE/CLI、智能体框架以及用户环境中可靠运行。它不能只会一招鲜，而是需要具备泛化能力。

那么，我们应该对齐谁？答案是两者兼顾。我们通过对齐基准测试来构建技能，但最终必须通过对齐用户来确保这些技能在任何地方都能发挥作用。

虽然攻克基准测试的方法本身是一个值得另文深谈的话题，但我想聚焦于第二个、也更棘手的目标：我们如何训练一个能在真实环境中游刃有余的智能体？

项目早期，我们遇到了一个令人沮丧的瓶颈。智能体的表现很不稳定，而我们难以诊断出原因。经过多次讨论，特别是与何俊贤教授和陈文虎教授的交流之后，我们得出了第一个重要结论：智能体需要交错式思维。

这意味着，智能体的内心独白——即它的"思考"——可以在任务的任何阶段发生，而不像标准推理模型那样只在开始时进行一次。这种设计之所以关键，有两个原因：

在长周期任务中保持专注。复杂的智能体任务拥有极长的上下文。仅靠初始阶段的一次思维过程，不足以维持指令遵循能力和连贯性。
适应外部扰动。这是最关键的区别。智能体任务会持续引入来自外部世界的、不可预测的扰动（即工具输出）。模型必须具备足够的鲁棒性来处理这些扰动、诊断错误并提取有用信息。"思考"过程使模型能够持续重新评估并适应环境中涌现的新信息。

这一原则成为 M2 有效性的基石。

"M2 用户小贴士：由于 M2 依赖于交错式思维，其上下文就是它的记忆。为了获得最佳性能，你必须保留完整的会话历史，包括思考步骤。我们发现，许多关于性能差距的社区反馈，其根源正是在于意外丢弃了这一至关重要的上下文——而这在使用更简单的推理模型时是常见做法。"

我们最初的假设很简单：工具扩展就是智能体泛化。

我们从一组最小的工具（一个 Python 解释器、搜索引擎、浏览器）入手，构建了工具调用能力的基线。路线图很清晰：扩大工具的数量和种类，智能体泛化到未见工具的能力就会自然跟上。

起初，这确实奏效了。我们的基准测试分数攀升到了可观的水平。但随着研究的深入，我们意识到自己解决的是错误的问题。模型在测试中表现出色，但只要我们对环境稍作改变——比如切换到不同的框架——它的性能就会急剧下降。我们距离"实用模型"的目标仍然很远。

这引导我们得出了第二个、也更深刻的领悟：智能体泛化不仅仅是对新工具的适应，更是对模型整个运作空间中各种扰动的适应。

这听起来很抽象，让我们来分解一下。想想在一个智能体任务中，有哪些因素可能发生变化：

我们过去"工具扩展"的方法只解决了第一个问题，而忽略了流程中其他所有部分的扰动。有了这一新的认识，我们的团队构建了一个专门用于全轨迹泛化的综合数据管道。该管道生成的数据能够训练模型抵御每一步的扰动，保持稳定。

结果令人备受鼓舞。在内部测试中，我们将陌生的、"冷启动"的框架抛给 M2——那些我们几乎未曾考虑过的框架——它的表现超出了我们的预期。它的工具调用能力和指令遵循能力都实现了出色的泛化。

在 M2 的工作让我们对智能体、泛化和数据有了极其深刻的认识，但它提出的问题远比回答的要多。我们的许多想法仍然停留在白板上。在接下来的几个月里，我们将更深入地探索这些前沿领域，并迫不及待地想为大家带来下一代强大且真正有用的模型。

要查找本文档中的导航及其他页面，请获取以下地址的 llms.txt 文件：https://platform.minimax.io/docs/llms.txt