训练1000样本就能超越o1，李飞飞等人画出AI扩展新曲线

来源：网络时间：2025-05-19 16:04:50

在科技的璀璨星河中，一场无声的革命正悄然兴起。《智识破晓》以未来数字战场为舞台，讲述了一群来自斯坦福与华盛顿大学的年轻科学家，如何以智慧之光，挑战行业巨擘英伟达的霸主地位。主角尼古拉斯·穆尼霍夫，一位怀揣梦想的斯坦福博士生，带领团队创造了“s1”——一个颠覆性的AI算法。他们摒弃了传统的算力堆砌，转而在算法的精妙与效率上寻求突破。

故事的转折点在于“s1”的诞生，它如同暗夜中的流星，仅凭1000个精选样本和革新性的“测试时间扩展”策略，就让AI的推理效率飙升至前所未有的高度，甚至超越了神秘的o1模型。在数据的海洋与代码的迷宫中，尼古拉斯与他的团队如同现代的炼金术士，通过“预算强制”这一魔法，让AI学会了“深思熟虑”，在有限的时间内寻找无限的智慧。

《智识破晓》不仅是一场科技的盛宴，更是对人类创新精神的颂歌。在这个故事里，每个字符都跳动着对未知的渴望与探索，揭示了在数字时代，真正的力量不在于庞大的资源，而在于那灵光一闪的创新思维和不懈追求极致的勇气。当s1-32B模型在竞赛数学领域大放异彩，它不仅改写了AI的发展史，也为世界开启了一扇通向未来智能新时代的大门。

deepseekr1今年一月横空出世，其创新方法和极低的算力需求，给英伟达等巨头带来了巨大冲击，也引发了业界对agi发展路径的深刻反思。通往agi之路并非只有扩大算力规模一条路，更高效的方法才能带来更多创新。

近期，全球众多科技公司和研究团队都在尝试复现DeepSeek。而就在此时，一项名为s1的新方法宣告问世，它大幅提升了AI的推理效率。你或许会感到难以置信！s1论文作者，斯坦福大学在读博士NiklasMuennighoff指出，DeepSeekR1令人兴奋，但其缺乏OpenAI的测试时间扩展图，且需要海量数据。而s1仅需1000个样本和简单的测试时间干预，即可复现o1的预览扩展和性能。

这项由斯坦福大学、华盛顿大学等机构主导的研究，探索了一种极简的测试时间扩展（test-TIMescaling）方法。令人惊叹的是，该方法仅用1000个问题训练模型，就实现了超越o1的强推理性能。

测试时间扩展是一种极具潜力的语言建模新方法，它利用额外的测试时间计算来提升模型性能。OpenAI的o1模型曾展示了这种能力，但其方法并未公开。许多研究都致力于复现o1，尝试了蒙特卡洛树搜索、多智能体等多种方法。而今年一月开源的DeepSeekR1，则通过数百万样本的多阶段强化学习，成功实现了o1级别的性能。

s1研究人员则另辟蹊径，寻求最简化的测试时间扩展方法。他们构建了一个包含1000个问题的s1K数据集，并根据难度、多样性和质量三个标准，与推理轨迹进行匹配。

基于此，研究人员提出了“预算强制”技术，通过强制终止模型的思考过程，或在模型试图结束时多次添加“等待”指令来延长思考时间，从而控制测试时间计算。这有助于模型仔细检查答案，修正错误的推理步骤。

在s1K数据集上，研究人员对Qwen2.5-32B-Instruct语言模型进行了监督微调（使用16块H100GPU，耗时26分钟），并应用了预算强制技术。最终得到的s1-32B模型，在竞赛数学问题上的表现，比o1-preview高出27%（MATH和AIME24）。s1性能与其他大模型的对比。

　　论文：《s1:Simpletest-timescaling》　　论文链接：　　项目链接：　　

测试时间扩展

本文将测试时间扩展方法分为两类：1.序列扩展（后续计算依赖于先前结果）；2.并行扩展（计算独立运行）。

本文重点关注序列扩展，因为它更具扩展性，后续计算可以基于中间结果进行迭代优化。

此外，本文还提出了一种新的序列扩展方法及基准测试方法：预算强制（Budgetforcing）。该方法通过在测试时强制设定最大或最小思考token数量来实现解码时间干预。具体来说，通过添加思考结束token分隔符和“FinalAnswer:”来强制设定最大token数量；而通过抑制思考结束token分隔符的生成，并添加“Wait”指令，来强制设定最小token数量。