当推理算力反超训练算力：2026 测试时计算的三大技术路线、过度思考漏洞与 TTT 崛起

一句话结论

2026 年 8 月，大模型行业正在经历一场静水深流的范式迁移——推理算力已占全部 AI 算力的约 2/3，从 2023 年的 1/3 反超训练算力；这场迁移的底层逻辑是“测试时计算”作为独立于训练时 Scaling 的第三条扩展轴被正式确立——DeepSeek R1 用纯 RL 涌现出推理能力、字节 In-Place TTT（ICLR 2026 Oral）让现有 LLM 推理时原地更新 MLP 参数、NVIDIA TTT-E2E 把 2M token 推理加速 35 倍，但同时 ICML 2026 揭示了一个反直觉的工程边界：推理模型的“过度思考”已成为可被攻击者系统利用的 DoS 漏洞，DeepSeek-R1 在恶意提示下输出长度膨胀 26 倍——“想得越多越好”这个假设正在被证伪。

一、范式迁移：当推理算力第一次反超训练算力

过去三年，大模型行业的主导叙事是“训练时 Scaling”——参数越大、数据越多、算力越多，模型就越强。这条路径在 GPT-4、Llama 3、Gemini 2 上被反复验证。但 2025 年初，DeepSeek R1 的技术报告把一个截然不同的维度推到了台前：测试时计算（test-time compute）作为独立扩展轴。

这个范式迁移的工程含义是：不再单纯把模型做得更大，而是让模型在推理时想得更久。模型被训练成在输出最终答案前，先生成一段长长的内部推理链——探索解题策略、检查部分答案、发现错误时回溯——这条链完成后才产出最终响应。OpenAI o1 把它产品化并证明 Scaling 曲线成立，o3 延伸了它，R1 用开源权重复现了它。

这场迁移最直接的后果是 AI 公司成本结构的改写。2026 年的统计数据显示：推理算力已占全部 AI 算力的约 2/3，而 2023 年这个比例只有 1/3。近 44% 的企业团队把 76-100% 的 AI 预算分配给推理。这意味着“是否投资推理优化”不再是问题——“如何分配推理预算”才是。训练更大模型把算力成本摊薄到所有查询上；推理时多花算力则把成本集中到那些值得的查询上。对大多数企业部署，实际答案是组合：训练良好的基座模型 + 选择性推理时增强。

但“想得越多越好”这个假设，在 2026 年被一系列研究证伪。推理时计算的 Scaling 不是线性的——它有收益递减的拐点，有任务依赖的最优策略，甚至有可被攻击者利用的结构性漏洞。理解这些边界，是 2026 年推理模型工程化的核心命题。

二、推理时计算的三条技术路线

2026 年的推理时计算主要沿三条路径展开，它们押注的“思考机制”各不相同：

路线一：长思维链（Long CoT）——单路径深度推理

模型在内部生成数千甚至数万 token 的推理轨迹，再输出答案。代表是 DeepSeek R1、Kimi K2 的“慢思考”模式。核心参数是思维链长度——从简短答案的 2-3 步推理到复杂问题的 128 步深度推理。它的优势是单次推理可解释性强、工程实现相对简单；代价是延迟高，对 token 吞吐量敏感。

这条路线的关键工程问题是思维链深度的动态控制。o3-mini 开放了“推理努力程度”（Reasoning Effort）参数，允许在简单问题降低思考量换取速度、在困难任务提高思考量。R1 的思考行为是固定的，不支持外部干预。Claude 的 extended thinking 则允许开发者指定思考预算——模型能花多少 token 推理再响应。这三种实现代表了“思考深度控制”的三种工程哲学：固定深度、外部调节、预算协商。

路线二：搜索+验证（Search with Verifier）——多路径并行探索

模型生成多个候选解，用过程奖励模型（PRM）或结果验证器打分筛选。这是 o 系列在数学和代码任务上的核心打法。Noam Brown 在 Meta 领衔的团队持续推动这条路线，强调算力要花在“验证”上而不是“无脑采样”上。2026 年的新进展是验证器本身也变成了可扩展对象——用更多算力训练更好的 PRM，再用更好的 PRM 指导推理时搜索，形成正反馈循环。

一个被广泛引用的工程经验是：在数学竞赛（USAMO 级别）和博士级科学问答（GPQA Diamond）上，把推理 token 从 8K 扩展到 128K，配合 PRM 做 best-of-N 采样，准确率能继续爬升一个台阶。OpenAI o3 在内部测试中展示的“高算力模式”在 FrontierMath 上达到 75% 以上的成绩，正是这条曲线的高位样本。

路线三：自适应计算（Adaptive Compute）——任务感知的思考预算

模型学会“什么时候该想、什么时候该直接答”。Anthropic 的 Claude 系列一直强调这种“恰当时机的思考”，2026 年发布的 Claude 4.5 在内部评测中展现了更细腻的“思考预算”分配能力——简单问题几乎不消耗额外 token，难题则自动延长思考链路。

Snell 团队的后续工作区分了“易验证易优化”的任务（数学、代码）适合用搜索+验证器做并行探索；“难验证”的任务（开放式写作、复杂规划）则更适合顺序式的“长链思考”。这种区分让“推理时计算怎么花”变成了一门有方法论的工程学科。

这三条路线并非互斥。最先进的生产系统往往是混合的：先做难度估计，再决定走“快路径”还是“慢路径”，慢路径内部又调用搜索+验证。这种“推理时调度”本身正在变成一个新的研究子领域。

2026 年推理模型横评

把 2026 年的主流推理模型放一起，它们的能力剖面与定价策略才能看清楚：

模型	AIME 2024	GPQA Diamond	成本（每百万输出 token）	开源	推理可见性
OpenAI o3	88.9%	91.9%	$60	否	隐藏
o3-mini	83.6%	—	$4.40	否	隐藏
DeepSeek R1	79.8%	—	$2.19	是（MIT）	完全可见
Claude ext. thinking	~90%	—	$75	否	部分
Gemini 2.5 Thinking	92.0%	—	$10-15	否	部分
Grok 4 Heavy	~93%	—	免费（X）	否	—

这组数据的工程含义不在“谁更强”，而在“成本-透明度-能力”的三角取舍。R1 比 o3 便宜 20-30 倍，且推理链完全可见——这对调试和合规是巨大优势。但 R1 的上下文窗口只有约 64K-128K，而 o3-mini 是 200K，Gemini 2.5 Thinking 是 1M。Claude 在 SWE-bench 上领先（79%），是最强的 agentic coder，但也是最贵的（$75/百万输出 token）。

三、DeepSeek R1 的纯 RL 路径：从 R1-Zero 的“Aha Moment”到四阶段训练

DeepSeek R1 是 2026 年推理模型领域最具方法论意义的突破。它的核心贡献不是更大的参数或更长的上下文，而是一个方法论层面的突破：通过纯强化学习（RL），让模型在没有大量人类标注数据的情况下，自发涌现出推理链能力。

R1-Zero：跳过 SFT 的纯 RL 实验

DeepSeek 团队先做了一个更大胆的实验：在完全没有监督微调（SFT）数据的情况下，仅通过纯强化学习训练模型。这就是 DeepSeek-R1-Zero。它以 DeepSeek-V3-Base 为基座，采用 GRPO 作为 RL 算法，奖励信号仅基于最终预测与真实答案的一致性，不对推理过程本身施加约束。

训练设置的关键数字：学习率 3e-6，KL 系数 0.001，rollout 采样温度 1，每个问题采样 16 个输出，第 8.2k step 之前最大输出长度 32,768 token，之后提升到 65,536 token——性能与回答长度都会在 8.2k step 处出现明显跃迁。训练总计 10,400 step，对应约 1.6 个训练 epoch。

结果令人震惊：AIME 2024 的 pass@1 从初始的 15.6% 跃升至 77.9%，借助自一致性解码进一步提升到 86.7%，显著超过人类参赛者平均水平。更值得关注的是模型自发涌现的“元认知”行为——自我反思、自我验证、动态策略调整。DeepSeek 团队将此描述为强化学习的“Aha Moment”——模型在训练过程中突然学会了以结构化方式思考。

新版技术报告（从 22 页扩展到 86 页）对“Aha Moment”做了更细致的分析：团队挑选了“wait”“mistake”“however”等反思性词汇，统计它们在训练过程中的出现频率。结果显示，这些反思性词汇的出现次数相比训练初期涨了约 5-7 倍。以“wait”为例，在训练早期几乎从不出现，但到 8000 步之后突然出现一个明显的峰值曲线。这是推理能力“涌现”的最直接证据。

GRPO：去掉 Critic 的组内对比

R1 的核心算法是 GRPO（Group Relative Policy Optimization，组相对策略优化）。它要解决的是 PPO 在大模型 RLHF 中的两大痛点：

痛点一：价值网络（Critic）的计算开销巨大。 PPO 需要维护一个与策略模型规模相当的价值网络来估计优势函数。在 GPT-3.5 的 RLHF 阶段，价值网络的训练和更新占用了超过 40% 的计算资源。更致命的是，价值网络需要根据已生成的部分内容预测最终累积奖励——这对长链推理几乎不可行，因为模型可能在生成过程中反复修正、自我否定，早期内容和最终答案之间的关联性很弱。

痛点二：单样本评估导致梯度估计方差大。 PPO 的策略梯度更新基于单样本评估，梯度估计方差大，尤其在长序列生成任务中表现尤为显著。

GRPO 的核心思想极其简洁：对于同一个问题，采样一组输出，用组内奖励的相对值来替代 Critic 网络的绝对估值。具体流程是：对每个问题从旧策略采样 G 个候选输出（R1-Zero 中 G=16），用规则化奖励函数为每个输出打分，用组内奖励的均值和标准差做归一化得到相对优势，基于归一化后的优势值更新策略。

打个比方：PPO 像让一个学生做完题后交给陪练老师（Critic）打分，老师根据经验告诉你“这步做得好不好”——但这个老师本身也需要训练，而且规模和学生一样大，相当于养了两个博士生。GRPO 不再需要陪练老师，而是让一群学生做同一道题，看谁做得好——谁在小组里表现突出，谁就得到正面强化。

R1 的四阶段训练：兼顾推理与可读性

R1-Zero 虽然推理能力极强，但存在两个明显问题：可读性差（生成的推理链常常语言混用、逻辑跳跃，人类难以理解）和语言混用（同一推理过程中切换多种语言）。这正是“纯 RL 探索”的代价——模型学会了“怎么做”，但没学会“怎么好好地说”。

为解决这些问题，DeepSeek 设计了四阶段训练流程：

• 第一阶段，冷启动 SFT：用数千条能体现思考过程的 CoT 数据对模型做 SFT，规范输出格式，建立基础可读性；
• 第二阶段，推理导向 RL：在不破坏对话思考风格的前提下继续提升模型能力，同时引入语言一致性奖励解决语种混用问题；
• 第三阶段，拒绝采样和再微调：同时加入推理数据和通用数据，让模型既会推理、也会写作；
• 第四阶段，对齐导向 RL：打磨有用性和安全性，让整体行为更贴近人类偏好。

这个四阶段流程的工程价值在于：它把“推理能力”和“可读性/对齐”解耦——先用 RL 涌现推理能力，再用 SFT+RL 把行为对齐到人类偏好。R1-Zero 证明了推理能力可以“练”出来，R1 证明了“练出来”之后还能“穿好衣服”。

训练成本：29.4 万美元的工程奇迹

新版论文首次披露了详细训练成本：

项目	硬件	耗时	成本
R1-Zero 训练	648 块 H800 GPU	~198 小时	约 20.2 万美元
SFT 数据创建	—	—	约 1 万美元
R1 后续训练	—	—	约 8.2 万美元
R1 总计	—	—	约 29.4 万美元

这个成本远低于此前业界对训练千亿级推理模型的普遍估算。它证明了训练顶级推理模型不再是少数科技巨头的专利——这也是 R1 能在 2026 年引爆开源推理模型生态的根本原因。

四、测试时训练（TTT）的崛起：从 Titans 到 In-Place TTT

如果说 R1 代表的是“推理时多生成 token”的路线，那么测试时训练（Test-Time Training, TTT）代表的是一条更激进的路线：推理时直接更新模型参数。这是 2026 年最具架构创新潜力的方向。

NVIDIA TTT-E2E：2M token 35 倍加速

NVIDIA 在 2026 年 2 月发布的 TTT-E2E（Test-Time Training End-to-End）把输入上下文当作训练数据，在推理时压缩上下文而非存储每个 token。根据 NVIDIA 的基准测试，这个方法实现了与上下文长度无关的恒定延迟——对于 200 万 token 上下文，TTT-E2E 在 H100 GPU 上比全注意力模型快 35 倍，同时保持低损失指标。它本质上解决了之前迫使工程师在速度（如 RNN）和精度（如 Transformer）之间选择的权衡。

Google Titans：神经长期记忆 + 惊奇机制

Google Titans 采用了不同方法——不用固定大小向量做记忆，而是用 MLP 模块，提供更高的信息摘要表达能力。关键创新是“惊奇”（surprise）机制：系统计算梯度确定存储优先级。如果输入是可预测的（低惊奇），它获得最小存储；如果输入是意外的（高惊奇）——比如在财务报告里出现香蕉皮图像——它触发长期记忆的永久存储。这模仿了人类认知过滤，确保只有重要细节消耗宝贵资源。

Titans 的三记忆架构值得关注：短期记忆是注意力（处理当前局部上下文），长期记忆是神经记忆模块 M_t（TTT 在线学习历史），持久记忆是可学习参数（任务先验，不随输入变）。在 S-NIAH（针在草垛中）任务上，Titans 的各变体在 2K-16K 上下文上都达到了 97%+ 的召回率，显著优于 Mamba2 和 DeltaNet。

In-Place TTT（ICLR 2026 Oral）：MLP 复用为快速权重

2026 年 4 月，字节 Seed 与北京大学在 ICLR 2026 Oral 论文中提出了 In-Place TTT——这是 TTT 方向最具工程落地价值的突破。它的核心创新极其巧妙：不新增层、不改架构，直接把 Transformer 里本来就有的 MLP 模块的最后一个投影矩阵（W_down）当作可在推理时更新的“快速权重”。

这个设计解决了传统 TTT 的三大瓶颈：

• 架构不兼容：现有 TTT 需要引入全新网络层甚至替换注意力，导致必须从头预训练，无法复用数十亿参数的预训练模型；
• 计算效率低：逐 token 更新本质上是串行的，瓶颈 GPU 并行；
• 目标函数错位：TTT 常用的重建目标与自回归语言建模的下一词预测目标不一致。

In-Place TTT 的三个关键设计环环相扣：

• 原地快速权重：复用 MLP 的 W_down，冻结 W_gate 和 W_up（慢权重），只就地更新 W_down。更新它等价于让模型“记住”上下文中哪些 key 应该产生什么 value；
• 块级更新机制：按块更新而非逐 token 更新，配合上下文并行技术实现更高吞吐量和计算效率，支持更长上下文；
• NTP 对齐目标：用面向 next-token prediction 的目标替代传统 TTT 的重建目标，引入一维卷积让目标包含未来 token 信息。

实测数据非常有说服力：

上下文	Baseline	In-Place TTT	提升
32k	88.7	89.3	+0.6
64k	74.3	78.7	+4.4
128k	74.8	77.0	+2.2
256k（外推）	41.7	43.9	+2.2

256k 的外推增益值得单独关注——模型从未在 128k 以上训练过，但原地权重更新能非平凡地外推。这个技术跨模型族有效：LLaMA-3.1-8B 在 64k 上 +2.1，Qwen3-14B 在 64k 上 +2.7、128k 上 +1.2（配合 YaRN）。

更 striking 的是从零训练的数字：4B 参数从零训练，In-Place TTT vs 标准全注意力 transformer，在 RULER 上：RULER-16k 从 6.58 跳到 19.99（3 倍），RULER-8k（SWA backbone）从 9.91 跳到 26.80（2.7 倍）。这不是小幅 benchmark 提升，是架构在长上下文上能做什么的质变——即便对比的是全注意力。

TTT 的理论边界：与线性注意力的隐秘等价

但 TTT 路线在 2026 年也迎来了一个理论挑战。ICML 2026 的一篇论文《Test-Time Training with KV Binding Is Secretly Linear Attention》揭示了 TTT 与线性注意力的隐秘等价关系。

论文的发现令人警醒：更新内部 ϕ 参数使有效核变得历史依赖且更难训练；权重范数/每 token 学习率/动量/MLP 大多无用——理论上被吸收进有效 q,k,v，经验上它们大多只增加开销。唯一保留显著性的“TTT 独有设计”是梯度正交化，但其影响也很小。

这篇论文的价值在于：它提供了一个统一工具来评估任何新 TTT 变体是“真正新”还是“重新包装的线性注意力”。对于“测试时优化”或“元学习”层，应该先做扩展和等价分析，再添加复杂度，避免“改进内部指标但下游无收益”的陷阱。这是 TTT 路线在 2026 年必须正视的理论边界——不是所有 TTT 创新都是真正的创新。

五、过度思考：从现象到系统性 DoS 漏洞

“想得越多越好”是推理模型的核心假设。但 2026 年的研究揭示了一个反直觉的事实：想太多，反而会想错——而且这个缺陷可被攻击者系统利用。

过度思考作为推理模型的共性缺陷

早期 LLM 会直接响应请求，而当前最先进的模型会在给出答案前生成一段内部“独白”，将问题拆解成多个步骤进行推理。这一机制使 AI 在编程和数学等领域能胜任越来越复杂的任务，但也带来了副作用：当推理模型遇到逻辑上不一致或不完整的问题时，它们不会简单地说“这题没法做”，而是陷入“过度思考”状态——反复斟酌、自我质疑、推倒重来。

中科院自动化所的 AutoThink 研究揭示了更具体的机制：DeepSeek-R1 系列模型在遇到逻辑矛盾或信息不完整的提示时，会把推理链越拉越长——输出长度膨胀最多可达 26 倍，而准确率并没有相应提升，反而在部分任务上下降。研究者把这称为“思考的自我指涉陷阱”：模型把“再想一轮”当成了“更接近答案”，却无法跳出这个循环。

从缺陷到 DoS 漏洞

更严重的是，这个缺陷已经被证明是可以被攻击者系统性利用的 DoS 漏洞。通过精心构造的恶意提示——逻辑悖论、无解方程、自相矛盾的前提、无限递归的自我指涉问题——攻击者可以让推理模型消耗数十倍于正常的 token 和算力。对按 token 计费的 API 服务，这意味着攻击者能用极低成本让服务商承担巨额推理账单；对自托管部署，则意味着单次请求就能拖垮一个推理节点。

防御思路也在成型：输出长度预算（对单个请求的思考 token 设上限）、难度感知的提前终止（检测到无解问题直接返回）、以及“思考预算协商”式的自适应计算——模型在思考中途定期评估“是否接近答案”，发现死胡同就立即止损。2026 年，过度思考已经从学术现象变成了推理服务安全架构必须纳入考量的第一公民。

六、结语：从“想得越多越好”到“想得恰到好处”

从推理算力反超训练算力，到测试时计算的三大路线，再到 TTT 的崛起与过度思考的漏洞——2026 年推理模型工程化的主线已经清晰：测试时计算是新的扩展轴，但“想得越多越好”的假设必须被替换为“想得恰到好处”。

对工程团队而言，三件事将和模型能力本身一样决定推理服务的成败：推理预算的分配（把算力花在值得的任务上）、思考深度的动态控制（简单问题快答、难题深想、死胡同止损）、以及对过度思考攻击的防御（输出预算+提前终止）。测试时计算的下一站，不是更长的思维链，而是更聪明的思考调度。