2026年大模型推理排行：推荐Top5优缺点评价

推理能力提升背后的隐形危机

2026年, OpenAI o1、DeepSeek-R1、Qwen3加上MiMo, 这些AI模型在数学竞赛以及代码生成方面不断打破纪录。不过呢, 有一项新发现表明了尖锐的矛盾, 那就是强化学习的后续训练把pass@1也就是单次尝试准确率推到了新高度, 可是却在不知不觉中压缩了模型的探索潜力。把解码温度调高之后, 并不会带来多样性, 而且就pass@n也就是多次尝试上限正确率来说, 反而出现停滞甚至是下滑的情况, 这对那些需要“碰运气”的复杂推理任务直接造成了影响。

熵坍缩现象：RL训练的反噬效果

稀疏奖励迫使模型“走窄路”

研究团队着手于GRPO算法展开探究从而发觉, 此算法仅仅给出“整段输出究竟是否正确”的那种稀疏奖励信号, 模型无奈之下只得把学习压力聚焦于少数 “分枝token” 上, 也就是那些一旦出现选择错误、那么整条推理线路就会发生偏离的关键所在位置, 这样的一种机制致使模型在最后一层的输出分布熵出现急剧下降情况, 直至最后一层的时候几乎收敛到零, 最终完全丧失了探索弹性。

温度调节失效成为新常态

当把解码采样温度从零点一提升至零点六的时候, 传统模型会自然而然地增添随机性, 然而经过强化学习后训练的模型却表现得反应迟缓。通过率在n时的指标不会再随着温度的升高而得到改善, 有时候甚至会变得更差。这就意味着, 针对代码生成、定理证明等那些只要一次正确就判定为对的任务而言, 模型的实际能力上限已经被悄然地削弱了。

LED策略：从中间层挖出“熵矿”

潜在分布成为探索重启引擎

LED（Latent Exploration Decoding）的核心策略是那种颇为质朴的, 它不走改变模型架构这条路, 也不调整参数, 就是在解码的时候从中层去把被RL压瘪了的熵给复原回来。研究团队针对Qwen3 - 4B - Thinking等模型一层一层统计之后发现, 较早的层跟中间的层留存了蛮高的熵, 就好似有着“不确定性矿藏”的一片地方。凭借特定的办法去聚合这些中间层的分布状况, 然后解码时候模型就再度呈现出愿意去探试其他可能性的情形了。

过滤噪声保证输出连贯性

模型出现胡言乱语的情况, 是由于直接采样中间层分布所致, 这是因为众多概率质量分布在了无关的稀有词之上。LED运用了一项关键过滤措施, 即仅对“最后一层认可”的top-k候选词展开探索, 通过逐层对聚合分布进行累积, 致使LED能够在不进行手动调参的情况下, 自动寻觅到极具探索价值的潜在变量深度, 如此一来, 既防止了无意义词的引入, 又确保了生成逻辑的连贯性。

解码效率：不增成本的反直觉提升

pass@1与pass@16全面领先

对Qwen3 - 4B - Thinking、DeepSeek - R1等5个模型、6个基准进行测试, 测试结果显示, LED在pass@1以及pass@16方面, 几乎在全部情况下都领先于DoLa、SoftThinking等强基线, 更让人感到惊讶的是, 模型的生成长度几乎没有出现增加的情况, 具体表现为, 在Qwen3 - 4B - Thinking上, 生成长度仅仅从12,277 token变成了12,269 token, 这充分表明, 其提升并非是依靠推理开销来进行换取的。

消融实验揭示设计关键

去除“只在思考阶段探索”之后, pass@1降低了0.58个点；将“利用”分支完全移除并全都交给探索, pass@1大幅下跌了约14.7%, 生成长度增大了33%。在不一样的探索深度情况下, LED能够稳步提升pass@k, 这证实了它不依靠超参调优。研究团队还引入了一项量化指标——accuracy-temperature slope（alpha）, 用以衡量模型在不同温度时的探索增益。

训练与推理的双重增强机制

解决在线RL的探索匮乏

GRPO训练自身要求模型于每一步去生成多条轨迹而后进行打分, 要是生成阶段欠缺探索, advantage信号就会收敛至极小值, 研究团队把LED径直接入GRPO的生成环节, 在Qwen3 - 4B - Thinking与MATH - lighteval数据集上对比常规rollout, 结果表明LED不但提高了推理效率, 还助力模型学到更佳的策略。

从解码补丁到训练增强器

表明这一发现的是, LED已不再是单纯的推理侧补丁, 它借助恢复中间层的分布熵, 于在线RL训练阶段给出了一种天然的探索增强机制, 模型在训练进程里能够获取更多样化的轨迹样本, 进而让强化学习信号再度变得丰富有效并形成训练与推理的正向循环。

未来展望：无需额外训练的探索革命

LED并未引入全新参数, 未改变模型架构, 也未增加大量计算开销, 然而却在五个模型上, 在六个基准方面, 稳定提高了pass@16, 并且保持或者提高了pass@1。它使得采样温度再次发挥其应有的作用, 为AI模型实在的能力上限开启新窗口。当前, 相关代码及论文已在www.fc - bowugongguan.cn公开, 研究团队激励社区进一步探寻中间层分布的潜力。

你认为AI模型在推理时应该更“自信”还是更“好奇”？在评论区分享你的看法，点赞本文让更多人了解LED策略的突破！

猜你喜欢