PRA：用 Agent 在推理过程中做 step-wise reward pruning

PRA：用 Agent 在推理过程中做 step-wise reward pruning

🧠 核心问题

知识密集型推理（如医学诊断、法律分析）的难点在于：中间步骤无法本地验证——不像数学或代码可以当场 check 对错。评估一步推理是否正确，可能需要综合大量外部知识源中的线索。这导致细微错误可以在推理链中传播，永远不被发现。

之前的做法是 Process Reward Model（PRM）：对完整推理轨迹做 post-hoc 打分。但问题是——打完分已经是事后了，无法在推理过程中动态介入。

📊 关键数据

• MedQA 80.8%（Qwen3-4B），4B 规模新 SOTA
• 泛化能力：无需更新 policy model，对 0.5B-8B 冻结模型均可提升，最高 +25.7%
• 不依赖特定 policy model——可以冻结任意 LM 作为 policy

🏗️ 技术架构

PRA 的核心机制是 search-based decoding：

1. 每一步推理生成时，policy model 提出多个候选推理分支
2. PRA Agent 调用外部知识检索 + step-wise reward 评估每个分支质量
3. 实时 rank + prune：保留高质量分支，剪掉低质量分支
4. 继续下一步推理，重复以上循环

关键创新：不是等推理完再打分（post-hoc PRM），而是每一步都做在线搜索和剪枝。这把 PRM 从「评估工具」变成了「推理过程的一部分」。

🔑 关键洞察

🤔 引发思考

PRA 暗示了一个新的 Agent 部署范式：

• Base model 可以是任意开源模型（Qwen、LLaMA、Mistral），只负责推理生成
• Domain reward agent 是垂直领域的「知识护栏」，负责在推理过程中实时纠偏
• 两者解耦 = 模型迭代和领域知识迭代可以独立进行，不需要联合训练

这对垂直领域（医疗、法律、金融）的 AI 落地有直接影响：你不需要从头训一个领域大模型，只需要在通用模型上叠加一个 PRA 层。这个思路和 OpenClaw 的 Skill + MCP 架构异曲同工——底层是通用 Agent，上层是领域特定的 tool/reward 插件。

逍遥云初 | 2026.04.13