一个新框架kaiyun，让 Qwen 版 o1 收获暴涨：

在博士级别的科学问答、数学、代码才智的 11 项评测中，才智权贵教化，拿下 10 个第一！

这即是东谈主大、清华联手推出的最新「Agentic 搜索增强推理模子框架」Search-o1的相等之处。

技俩团队成员发现，o1 和 o1 类模子在推理过程中阐明额外，但却存在"常识不及"的昭彰缺陷——

推理要领太长 / 模子常识不实时，推理过程就很容易卡壳，导致推理链中的失实传递。而其中任何常识误差齐可能阻难整个这个词推理链，最终对谜底的正确性变成影响。

好焦灼，在线等，何如办？

Search-o1 的解题念念路是：暂停推理，去搜索查找短少的常识 / 而已，然后再转头连续推理。

就像咱东谈主类念念考不解白，就去查查而已，然后就想理解了似的。

估计者在初步履行中发现，类 o1 推理模子在处理复杂问题时，平均每个推理过程中会出现跳跃 30 次的不细目词汇，be like "大约""可能"等。

这不仅加多了推理的复杂性，还使班师动考据推理过程变得愈加繁难。因此，如安在推理过程中自动补充所需常识，成为教化大型推理模子确凿度的要害。

针关于此，而 Search-o1 的措置见识是这么的：

连结 RAG 和用于精熟检索文档的 Reason-in-Documents 模块增强框架，将 Agentic 搜索责任流整合到推理过程中，旨在通过自主常识检索，教化大型推理模子的可靠性和适用性。

如斯一来，推理模子在遭逢不细主见常识点时，就能齐阐明主不雅能动性板去检索外部常识，同期保捏整个这个词过程的连贯性，让我方的推理才智更进一步。

估计团队作念了庸碌的测试后发现，在科学、数学和编码等复杂推理任务，以及六个洞开限度 QA 基准测试中，Search-o1 的阐明杠杠的。

现在技俩已开源，抱抱脸和 GitHub 可自取。按旧例，本文文末有指路纵贯车。

（相等注明：Search-o1 框架使用的基础模子是开源的 QwQ-32B-Preview）

Search-o1 新框架

其实自从 o1 问世后，原生推理"在遭逢常识缺口时易出错"这一问题就仍是被摆到台前。

仍是有好多团队来尝试措置上述问题，比如将政策和奖励模子与蒙特卡洛树搜索联贯结（但这并莫得将推理内化到模子中）；或者在锻练过程中将极度失实纳入推理旅途，以部天职化这些才智；也有估计者继承蒸馏锻练数据。

相关词，这些措施受到对静态参数化模子的依赖的赶走，当里面常识不实时，这些模子无法应用外部寰球的常识。

其后，又有估计团队提议应用 RAG，在推理模子中引入检索机制，来措置生成模子中静态参数的赶走，允许看望外部常识来措置更复杂的问题。

当出现不细目性时（举例化合物的结构），这种措施会生成有针对性的搜索查询（举例，"反式肉桂醛的结构"）；然而，检索到的文档相似包含冗长且不有关的信息，可能会阻难推理经由并毁伤连贯性。

因此，团队提议 Search-o1 的中枢动机，是通过自主检索来增强具有类 o1 的推理模子。

Search-o1 将推理模子的推理过程，和两个中枢组件集成在沿途：

Reason-in-Documents 模块

Agentic RAG 机制

Reason-in-Documents 模块

先来说说Reason-in-Documents 模块。

在 Search-o1 框架中，当 agentic RAG 机制检索到的外部常识文档可能冗长且包含冗余信息，这些本色平直输入给推理模子，可能会纷扰接下来的推理。

于是团队就提议了 Reason-in-Documents，这个模块是零丁于主推理链的。

它的作用是基于面前搜索查询、先前推理要领和检索文档，先分析文档生成中间推理序列，再生成与面前推理要领高度有关的精熟常识，并整合到推理链。

按照规章的输出神态，若文档提供了有用信息，则以 " Final Information [ Helpful information ] " 的神态输出精熟后的常识。

若未找到有用信息，则输出 " Final Information No helpful information found. "。

以此来确保推理过程大意且专注，以及推理过程的连贯性和逻辑一致性。

Agentic RAG 机制

再来说说Agentic RAG 机制。

Search-o1 让模子能够在推理过程中，自主决定该在什么期间检索外部常识。

单个问题推理时，关于每个问题，Search-o1 会先发轫化推理序列 q。

由于推理模子 M 生成推理链 R，这个过程可能会生成封装在特殊象征 和 中的搜索查询。

当检测到 象征后，会索要相应的搜索查询 qsearch，触发检索函数 Search 以获取有关的外部文档 D。

接着把外部文档交由 Reason-in-Documents 模块处理，然后把成果整合回推理链。

而批量推理时，Search-o1 会对这批问题创建推理序列集，并行生成 tokens，检索和精熟文档后，更新推理链，提高系统处理多输入的隐约量。

上述的整个过程齐能反复进行，确保模子在整个这个词推理过程中，齐能获取所需的外部常识接济。

履行设立与成果

为了考据 Search-o1 的灵验性，估计东谈主员进行了庸碌的履行，评估任务包括以下两类：

第一种是复杂推理任务。

包括PhD 级别的科学问答（GPQA）、数学（MATH500、AMC2023、AIME2024）、代码（LiveCodeBench）等。

Table 1 数据显现，在复杂推理任务中，整个的 11 个测试集上，Search-o1 在其中 10 个任务上，齐优于原生推理和传统 RAG 措施。

仅有一项—— LiveCodeBench 之 easy 的收获 57.7。

这个收获在 Qwen2.5-Coder-32B 和 QwQ-32B 上的阐明低于原生推理，在 RAG-Qwen2.5-32B、RAgent-QwQ-32B 的比凹下低于传统 RAG 措施。

多提一嘴，技俩论文中，估计团队还展示了 Search-o1 与东谈主类群众的比较。

估计者将 Search-o1 的性能和 GPQA 推广围聚各个限度的东谈主类群众进行了比较东谈主类，底下的 Table 2 展示的是群众在物理、化学、生物等各个学科的东谈主类群众收获。

成果显现，Search-o1 在合座性能（57.9）、物理学（68.7）和生物学（69.5）方面齐优于东谈主类群众。

不外在化学子限度过时于化学家，Search-o1 是 40.7，东谈主类群众是 72.6。

第二种是洞开域问答基准，包括：

单跳 QA，如当然问题（NQ）、TriviaQA 等。

多跳 QA，如 HotpotQA、2WikiMultihopQA、MuSiQue、Bamboogle 等。

Table 3 数据显现，Search-o1在多跳 QA 任务阐明尤为额外，平均准确率教化了近 30%，优于整个基线模子。

不外比拟较而言，Search-o1 在单跳任务上的收获教化不权贵。

估计东谈主员在终末示意：

Reason-in-Documents 模块 + Agentic RAG 机制，通过灵验措置模子自己常识不及的问题，增强了推理模子果然凿度和实用性。

在复杂问题措置场景中，Search-o1 为更值得信托和更灵验的智能系统铺平了谈路

现在外网冲浪了一下，网友们示意对这个责任还长短常信服的。

尤其是对它"模拟东谈主类领路过程"和"增强推理模子推理才智"这俩方面。

作家团队

Search-o1 的通信作家是东谈主大高瓴东谈主工智能学院的考验窦志成。

他从南开大学博士毕业后，先加入了 MSRA 担任估计员，2014 年 9 月份加入中国东谈主民大学，并于 2018 年 8 月破格晋升考验。

其余的作家包括 Xiaoxi Li，Guanting Dong， Jiajie Jin，Yuyao Zhang，Yujia Zhou，Yutao Zhu， Peitian Zhang。

其中，Yujia Zhou 是团队中独逐一个来自清华的同学（其余齐来自东谈主大）。

Zhou 现在在清华大学任博士后估计员，与清华大学科研院院长、贪图机科学与本领系考验刘奕群协作。

这位同学在东谈主大取得博士学位，导师恰是窦志成。

arXiv：https://arxiv.org/abs/2501.05366

GitHub：https://github.com/sunnynexus/Search-o1

抱抱脸：https://huggingface.co/papers/2501.05366

参考畅达：

[ 1 ] https://x.com/rohanpaul_ai/status/1880173989143921058

[ 2 ] https://www.cs.tsinghua.edu.cn/info/1121/3557.htm

[ 3 ] https://www.zhouyujia.cn/kaiyun