深探R1震撼登场，直指行业标杆OpenAI o1

在人工智能领域迎来新的里程碑，深探科技自豪地宣布其最新力作——深探R1的正式发布。这款革命性的技术产品，旨在挑战并肩OpenAI o1的领先地位，开启了智能探索的新纪元。深探R1不仅代表着国内AI研究的顶尖水平，更是技术创新与应用边界的一次大胆跨越。它搭载了最先进的算法体系，优化了处理速度与学习效率，力求在自然语言处理、机器学习等核心领域实现质的飞跃。这款产品的问世，预示着人工智能竞争格局或将重塑，深探科技以其前瞻性的研发实力，正引领我们迈向更加智能化的未来。在与OpenAI o1的对标中，深探R1不仅仅是技术的竞赛，更是一场关于创新思维与应用实践的展示，让我们一同期待它将如何定义AI的新高度。

昨日1月20号，deepseek团队推出了全新开源模型deepseek-r1，一夜之间模型就在GitHub上收获了4k+star，引爆大模型领域。

而这次的R1模型一出，不仅反驳了之前蒸馏OpenAIo1的说法，官方更是直接下场表示：“我们可以和开源版的o1打成平手”。

值得一提的是，R1突破了以往的模型训练形式，完全没有使用任何SFT数据，仅通过纯粹的RL来训练模型，这一点说明R1已经学会了自己思考问题——这实则更符合人类的思维规则。

更有网友称其为“开源的LLM界AlphaGo”。

叫板o1，Deepseek的自信并不是空穴来风。

先是在在后训练阶段凭借凭借有限的数据直接在模型推理能力方面把o1甩了几条街。

并且在数学、代码、自然语言推理上更是和o1正式版不相上下，在多个基准测试中展现了卓越的性能。

例如DeepSeek-R1在AIME2024数学竞赛中，取得了79.8%的成绩，略高于OpenAI的o1-1217。在MATH-500测试中，DeepSeek-R1更是达到了97.3%的高分，与OpenAI-o1-1217相当，同时显著优于其他模型。

在编程竞赛方面，DeepSeek-R1表现出了专家级水平，其在Codeforces上的Elo评级达到了2029，超过了96.3%的人类参赛者。此外，在工程相关任务中，DeepSeek-R1的表现也略胜OpenAI-o1-1217一筹。

除此之外，团队还R1蒸馏出了6个小模型开源给社区，参数从小到大分别为1.5B、7B、8B、14B、32B以及70B。其中蒸馏过的R132B和70B模型在性能方面不仅超过了GPT-4o、Claude3.5Sonnet和QwQ-32B，甚至比肩o1-mini的效果。

如果你仍未真切领略到它的强大，那么请注意：它只需付出o1五十分之一的成本，却能收获o1百分之百的效能。

典型的花小钱，办大事。

除了R1在几乎所有的基准测试中性能都优于o1的硬实力，再其发布即开源的训练数据集和优化工具，让不少网友直呼：这才是真正的OpenAI。

R1发布后，国内外大模型从业者纷纷围观、并交流点评。

深度赋智CEO吴承霖向php中文网(公众号：PHP中文网)AI科技评论评价：DeepSeekR1确实厉害，但方法非常简单，核心其实就三点。

Selfplay、Grpo以及Coldstart。

DeepSeek团队这次开源的R1模型共有两个版本，分别是DeepSeek-R1-Zero和DeepSeek-R1，参数都是660B且功能各有千秋。

先说DeepSeek-R1-Zero，这个模型完全没有使用任何SFT数据，仅通过纯粹的RL来训练模型，突破了以往模型在提升推理能力时常依赖于SFT作为预训练步骤的形式。这是大模型训练中首次跳过监督微调，是此次DeepSeek的核心创新。

通俗一点讲，就是我们不直接告诉模型“应该如何解题”，而是让它通过自主试错并从中学习正确的方法，即Selfplay。这就像不让孩子死记硬背公式，而是直接提供题目和评分标准，让他们在实践中自行摸索解法。这样的方式不仅能激发模型的自主学习能力，还可能在探索过程中发现更具创新性的思路。

但是DeepSeek-R1-Zero这个孩子一直做试错练习的话，就会有可读性差和语言混合问题。于是团队研发推出了DeepSeek-R1，这个模型在训练过程中引入了少量的冷启动数据，即cold-startdata，并通过多阶段RL优化模型，在仅有极少标注数据的情况下，极大提升了模型的推理能力。

具体来说，冷启动数据包含数千条高质量的长思维链（CoT）示例，通过人工标注和格式过滤（如使用和标签），强制模型生成结构清晰、语言一致的内容。其核心优势在于：

1、稳定性：为强化学习（RL）训练提供高质量的初始策略，有效避免早期探索阶段输出的混乱无序，确保训练过程平稳起步。

2、可读性：借助模板化输出（如总结模块），显著提升生成内容的用户友好性，使用户能够更直观地理解和接受输出结果。

3、加速收敛：有效减少强化学习训练所需的步数，显著提升训练效率，加快模型收敛速度。

这么说吧，虽然孩子做错题集可以有效提高分数，但是他的答案可能写得乱七八糟。通过先教模型如何规范地写步骤和总结，再让它自由发挥，最终答案既正确又容易看懂。

除此之外，DeepSeek-R1Zero还创新了一种很厉害的算法GRPO，通过采样一组输出并计算奖励的均值和标准差来生成优势函数，从而优化策略。这种方法避免了传统PPO中需要额外训练价值模型的高成本，让模型能够自主探索复杂的推理行为，比如长思维链、自我验证和反思。

这种纯强化学习训练方式在数学（AIME2024的Pass@1从15.6%提升至71.0%）和代码任务中取得了显著提升。简单来说，就像让机器人通过“试错”学习解题，而不是依赖例题，最终让它学会了复杂的解题步骤，表现非常出色。

最后，团队还分享了他们在实验中遇到的很多失败尝试，并表示虽然在过程奖励模型以及蒙特卡洛树搜索算法上团队都没有取得研究进展，但这并不意味着这些方法无法开发出有效的推理模型。

值得一提的是，R1在训练时甚至还出现了“顿悟时刻”，就像我们在解难题时突然“灵光一闪”，模型在训练过程中也自发地学会了“回头检查步骤”。这种能力并非程序员直接教授，而是在算法通过奖励正确答案的机制下，自然涌现的。

以上就是DeepSeek-R1最新发布，剑指OpenAIo1的详细内容，更多请关注其它相关文章！