国产大模型 openPangu-R-72B 问鼎 SuperCLUE 深度搜索评测，昇腾算力铸就技术基石

在人工智能技术日新月异的今天，大模型通过复杂推理与工具调用进行深度信息检索的能力，正成为衡量其实际应用价值的关键标尺。近期，国内权威评测机构 SuperCLUE 发布了十一月份的深度搜索（DeepSearch）专项评测报告。在这份备受瞩目的榜单中，基于国产昇腾算力平台研发的大模型 openPangu-R-72B 凭借其在长链逻辑推理与复杂信息检索任务中的卓越表现，成功登顶榜首。这一成绩不仅彰显了模型自身的技术实力，也印证了国产算力基础设施支撑前沿人工智能研发的强大潜能。

这款采用混合专家（MoE）架构的模型，究竟蕴含了哪些独特的技术奥秘，使其能在激烈的竞争中脱颖而出？

坚实的技术底座：在 MoE 架构中寻求效率与性能的完美平衡

为了在模型能力与计算效率之间取得最佳平衡，openPangu-R-72B 对其底层架构进行了精心的重新设计。作为一款依托昇腾计算集群训练的 MoE 模型，它采用了“80选8”的专家激活机制。这意味着，在总计高达740亿的参数规模中，每次推理实际激活的参数量被巧妙地控制在约150亿。这种设计既充分保留了大型模型处理复杂任务的强大推理能力，又显著降低了单次推理的计算成本与资源消耗。此外，模型使用了高达24万亿 tokens 的庞大数据进行训练，并具备处理128k超长上下文序列的能力，这为其应对深度搜索任务中常见的海量、长文本信息处理需求奠定了坚实基础。

为了确保训练过程的稳定收敛并持续提升模型效果，研发团队在预训练阶段实施了一系列关键技术优化：

1. 引入参数式 Sink Token 技术：在注意力机制层面应用此技术，有效缓解了训练过程中可能出现的极大激活值问题，不仅提升了训练稳定性，也为后续的模型量化部署提供了更好的支持。
2. 采用组合归一化架构：创新性地结合了 K-Norm 与 Depth-Scaled Sandwich-Norm。其中，K-Norm 仅对注意力机制中的 Key 向量进行 RMS 归一化，在达到与完整 QK-Norm 相近稳定性的前提下，减少了计算开销，同时保留了 Query 向量更丰富的表达能力。
3. 优化注意力架构：通过增加 Query 头数量与注意力头的维度，使模型能够从更多维度捕捉文本中细微的语义关联。同时，引入 Partial RoPE 位置编码机制，仅对 Query 和 Key 向量的部分维度施加位置编码。通过将 Key-Value（KV）缓存组数量减半，即使在 Key 头维度增加的情况下，依然实现了高达37.5%的 KV 缓存占用缩减，从而在推理速度、显存占用与模型精度之间取得了精妙平衡。
4. 升级负载均衡技术：采用了 Adaptive Aux Free 负载优化技术，这是对原有 Aux Free 方法的增强。它能自适应地调整各个专家负载偏置的更新幅度，有效减少了负载均衡过程中的振荡现象，使得专家之间的任务分配更加均匀、高效。

深度搜索能力专项突破：三大策略攻克复杂信息获取难关

如果说强大的基础架构是模型的“筋骨”，那么针对深度搜索任务进行的专项后训练优化，则是 openPangu-R-72B 得以登顶的“灵魂”。深度搜索能力是大模型连接互联网、获取并整合深层信息的核心，其长链推理与多工具协同调用的水平直接决定了模型的实用价值。该模型通过后训练阶段的三大核心策略，显著提升了其深度搜索性能：

1. 合成高难度长链问答：团队在 DeepDiver-V2 和 WebExplorer 等技术基础上，通过将查询条件进行“模糊化”处理，使生成问题的平均难度提升了约10%。同时，借鉴前沿研究思想，引入了“验证智能体”（verification agent），大幅提升了用于训练的高质量问答对的准确性，让模型在复杂、多步的推理场景中积累了更丰富的“经验”。
2. 突破非索引信息壁垒：针对传统搜索引擎无法直接抓取的信息（如企业官网附件中的财务报表、学术论文的详细引文数据等），模型在训练中学习了“规划器锁定关键URL → 爬虫获取页面 → 文档问答识别下一跳链接”的循环工作流。这使得模型能够通过在同一网站内进行“多跳”浏览，实现深层次、穿透式的信息搜集，拓展了信息获取的边界。
3. 实施步骤级快慢思考融合：在深度搜索的 ReACT 执行过程中，不同步骤对“思考”强度的需求截然不同。例如，分析海量网页和表格数据的 Document_QA 步骤需要极高的推理精度；而常规的工具调用步骤则更追求执行效率。为此，模型为不同步骤动态匹配了不同的思考模式：对精度要求高的步骤启用“慢思考”以确保准确，对其他步骤则采用“快思考”以提升整体速度，从而在任务全局层面实现了精度与效率的最优配比。

国产算力全面赋能：openPangu 系列模型展现集群协同优势

此次在 SuperCLUE DeepSearch 评测中夺冠，不仅是 openPangu-R-72B 单一模型技术实力的展示，更是国产算力与人工智能研发深度融合、协同创新的成果体现。作为基于昇腾计算集群训练的代表性模型，openPangu-R-72B 的成功充分证明了国产算力平台完全具备支撑千亿参数级别、架构复杂的前沿大模型研发与训练的坚实能力。

更值得关注的是，与 openPangu-R-72B 同属一个系列的兄弟模型——openPangu-718B，在同期发布的 SuperCLUE 通用能力榜单中荣获第二名。这展现了 openPangu 系列模型不仅在深度搜索这类专项任务上能实现“单点突破”，在通用语言理解与生成能力上也呈现出“全面开花”的强劲态势。以强大的昇腾算力为根基，openPangu 系列模型正在为繁荣国产大模型生态持续注入创新活力。

展望未来，随着大模型技术在企业数字化服务、前沿学术研究、智慧政务处理等领域的深化应用，深度搜索这类解决复杂现实需求的能力，必将成为衡量大模型实用化水平的核心竞争力。我们期待，随着 openPangu 系列模型的不断迭代与进化，国产大模型将在世界舞台上迎来更多高光时刻，绽放更加璀璨的技术光芒。

想获取更多AI最新资讯与智能工具推荐， 欢迎访问 👉 AI Tools Nav ——优质的 AI导航平台 与 AI学习社区

本文来源：机器之心

原文链接：https://www.jiqizhixin.com/articles/daae86e2-4db6-477e-927e-e5e117c04179