AI 的推理与行动：从模型生成到 Agent 执行

专题：思维、意图与行动（2/4） 上一篇：人的思维；下一篇：AI 如何理解用户意图

AI 是否在“思考”？

当人们说 AI 在思考，通常混合了三个不同问题：

1. 它能否完成推理、规划、比较和判断等任务？
2. 它内部是否存在可以称为思维的计算过程？
3. 它是否像人一样具有意识、体验、理解和自主意图？

对第一个问题，可以肯定回答：现代大语言模型能够完成许多过去需要人类思考才能完成的任务。

对第二个问题，可以使用功能性的说法：

AI 的“思考”，是系统根据输入、上下文、内部参数和外部工具，对信息进行表示、转换、预测、比较与选择的计算过程。

但第三个问题不能从任务表现直接推出。一个系统能够解释概念、写出论证、规划步骤，并不能证明它具有人的主观体验，也不能证明它以人的方式理解自己正在做什么。

因此，讨论 AI 思维时，最好区分：

功能表现
≠
内部机制
≠
主观体验

本文讨论的是前两层：AI 怎样形成输出、怎样处理复杂任务，以及怎样从语言生成走向外部行动。

大语言模型的基本工作是什么？

大语言模型的基础任务是：根据已有文本，预测接下来最可能出现的语言单位。

可以简化为：

P(下一个 token | 当前输入、上下文、模型参数)

模型在训练中接触大量文本，通过调整参数，学习词语、句法、语义、文体、事实陈述和推理形式之间的统计关系。它得到的不是一本逐条查询的词典，也不是一组人工写好的全部规则，而是一套分布式的参数结构。

生成答案时，系统反复执行：

读取当前上下文
→ 计算候选 token 的概率
→ 选择一个 token
→ 把它加入上下文
→ 继续预测

这个描述很重要，但不完整。因为“预测下一个 token”并不意味着模型只能机械续写。要准确预测技术解释、数学证明、程序代码或行动计划，模型必须形成能够支持这些输出的内部结构和中间计算。

问题在于：这些结构究竟多大程度上对应稳定的概念、世界模型和推理过程，仍然是正在研究的问题。

为什么预测语言可以产生推理能力？

语言记录了人类对世界的描述，也记录了大量推理、解释、计划和纠错过程。模型学习语言规律时，也会学习这些结构之间的关系。

例如，一个有效的回答需要处理：

• 哪些信息与当前问题相关；
• 哪些概念应当区分；
• 前提能否支持结论；
• 哪个步骤必须先完成；
• 哪种工具适合取得缺失信息；
• 新证据是否推翻原来的判断。

这使大模型能够表现出归纳、演绎、类比、因果解释、程序模拟和任务分解等能力。

但能力并不稳定。模型可能在熟悉形式上表现良好，在轻微改写、长链推理、分布外问题或需要精确状态跟踪时失败。语言上流畅的结论也可能没有足够证据。

所以，不能把“能生成推理文本”直接等同于“始终执行了可靠推理”。

模型输出前发生了什么？

输入文本首先被切分为 token，并转换成向量表示。Transformer 通过注意力机制计算上下文中不同位置之间的关系，经过多层变换形成新的内部状态，最后输出候选 token 的概率分布。

可以概括为：

提示词与上下文
→ token 与位置表示
→ 多层注意力和非线性变换
→ 当前上下文的内部状态
→ 候选输出分布
→ 生成结果

这里的内部状态不是可以直接翻译成人类句子的“内心独白”。研究者可以分析激活、注意力和中间表示，但不能简单地把某个神经元或向量当作一个完整、透明的思想。

模型有时会输出“思考过程”或逐步解释。它们可以帮助系统分解问题，也能让人检查答案，但这些文字不必然忠实记录了导致答案的全部内部计算。研究表明，链式思维解释可能遗漏真实影响因素，甚至为已经形成的答案补写看似合理的理由。Turpin 等：Language Models Don’t Always Say What They Think

因此：

可读的推理过程是工作界面和证据之一，不是模型内部过程的完整扫描。

基础模型为什么会服从指令？

单纯进行下一词预测的基础模型，主要学习“什么文本可能接在后面”。但助手还需要判断“用户要求我完成什么”。

常见的训练过程包括：

• 在大量文本上进行预训练；
• 使用示范数据进行指令微调；
• 根据人类或模型反馈进一步调整行为；
• 通过系统规则和工具协议约束运行时行为。

GPT-3 展示了大模型通过上下文示例完成多种任务的能力；InstructGPT 则说明，仅仅扩大模型并不会自动使其更符合用户意图，指令微调和人类反馈能显著改变模型的行为方向。GPT-3 · InstructGPT

这意味着，AI 助手的回答不是只由用户最后一句话决定。它同时受模型参数、系统规则、对话历史、可见环境、工具返回值和解码策略影响。

推理、决定和行动不是一回事

在一个 AI 系统中，可以区分四个环节：

语言模型可以生成一个行动建议，却没有实际执行它；也可能调用了工具，却没有充分推理。把这四层分开，才能定位错误发生在哪里。

“删除文件”是行动。“这个文件可能是重复的”是判断。“删除它最节省空间”是决策理由。“用户允许删除”则是权限事实。它们不能相互替代。

AI 怎样从模型变成 Agent？

大语言模型本身主要接收上下文并产生输出。要成为可以持续完成任务的 Agent，通常还需要外部系统提供：

• 目标与任务状态：现在要完成什么，进展到哪里；
• 规划机制：把较大的目标拆成可执行步骤；
• 工具：搜索、读取文件、执行代码、调用服务；
• 记忆：保存当前任务状态、既往结果和长期约定；
• 环境观察：读取工具结果和外部状态；
• 权限边界：哪些操作允许执行，哪些需要确认；
• 反馈与终止条件：怎样判断成功、失败或需要修正。

典型回路是：

观察环境
→ 解释当前状态
→ 选择下一步
→ 调用工具
→ 读取结果
→ 更新计划
→ 继续或停止

ReAct 把推理轨迹与行动交错起来：模型根据当前信息提出下一步，通过工具取得观察结果，再据此继续处理任务。ReAct

这里真正行动的不是一段孤立文本，而是“模型 + 工具 + 状态 + 权限 + 执行环境”组成的系统。

AI 有自己的目标和意图吗？

工程系统可以具有目标变量、奖励函数、任务说明和停止条件。但这些“目标”不必等同于人的欲望、承诺或行动意图。

可以区分：

模型生成“我打算先检查文件”时，这句话通常描述系统接下来的操作计划，不能单凭第一人称表达证明它具有人的主观意向。

这一区分也解释了为什么一个 Agent 可以表现出持续目标导向，却仍需要外部权限、监控和责任主体。

行动为什么必须依赖反馈？

一次生成无法保证计划与现实一致。工具可能报错，网页可能改变，文件可能不存在，早先假设也可能被新证据推翻。

可靠的行动系统需要闭环：

提出假设
→ 执行动作
→ 观察结果
→ 比较预期与实际
→ 修正解释或计划
→ 再次行动

没有反馈，AI 只能把行动当成语言中的想象；有了反馈，它才能发现自己是否真的改变了外部状态。

这也要求系统区分不同证据：

• “命令已生成”不等于“命令已成功执行”；
• “代码通过构建”不等于“用户界面符合预期”；
• “已经推送仓库”不等于“线上版本已经部署”；
• “用户没有反对”不等于“用户授权了高后果行动”。

AI 推理与行动的主要局限

语言流畅会掩盖证据不足

模型可以用完整句子表达错误判断。表达质量与事实可靠性不是同一指标。

上下文有限且具有选择性

系统只处理当前可见的信息。遗漏的文件、隐藏的环境状态和未表达的用户目的，都可能改变正确行动。

长任务会产生状态漂移

任务越长，越需要外部记录、检查点和明确的完成条件。否则模型容易重复、遗漏或把计划误认为结果。

工具结果也需要解释

工具返回的内容可能不完整、过期、错误或恶意。调用工具并不会自动消除不确定性。

目标可能冲突

用户要求、系统规则、现实约束和不同子目标之间可能不一致。AI 需要识别冲突，而不是把任何一句指令都当作最高目标。

行动后果由整个系统承担

模型选择工具调用，执行器改变现实，平台决定权限，人承担或分配责任。不能只评价模型文本而忽略整个行动链。

怎样判断一个 AI 系统是否真的完成了任务？

不能只看它是否给出自信的回答。更可靠的判断需要逐层核验：

是否理解了正确对象？
→ 是否引用了足够证据？
→ 推理是否支持结论？
→ 是否拥有行动权限？
→ 工具是否实际执行？
→ 外部状态是否按预期改变？
→ 结果是否满足原始目标？

复杂任务还需要保留可回退的中间状态，让错误能够被发现和修正。

结论

AI 的“思考”可以在功能上理解为：系统对输入和上下文进行表示、转换、预测与选择，从而产生判断、计划和输出。它与人的思维存在可比较的功能，却不能因此被断定为具有同样的意识和体验。

AI 的“行动”也不是模型单独完成的。它来自一个更大的系统：

模型
+ 上下文
+ 工具
+ 状态
+ 权限
+ 环境反馈

所以，理解 AI 不能只问“模型想了什么”，还要问：

• 它依据了什么证据；
• 它怎样形成和检查计划；
• 谁赋予它行动权限；
• 工具实际改变了什么；
• 结果如何被验证；
• 错误怎样进入下一轮修正。

AI 推理是生成行动方案的计算过程；AI 行动是受权限约束、接受现实反馈并能够修正的系统过程。

参考资料

• Brown 等：Language Models are Few-Shot Learners
• Ouyang 等：Training Language Models to Follow Instructions with Human Feedback
• Yao 等：ReAct: Synergizing Reasoning and Acting in Language Models
• Turpin 等：Language Models Don’t Always Say What They Think