Zhidongxi May -set | Li Shuiqing编辑| Yunpeng Zhidongxi于6月30日报道，这是华为的第一个开源。密集的模型“ Pangu嵌入7B”，具有70亿个参数，具有720亿参数的混合“ Pangu Pro Moe”混合模型，基于Asteng的推理技术现已开放。基于对4,000个上升NPU的平行训练，具有激活参数16B的Pangu Pro MOE超过了主要主流资源模型，例如QWEN3-32B和GLM-Z1-32B在MMLU，C-EVAL和GSM8K等各种基准测试中。 ASTEND 800I A2中的单卡推理吞吐量性能可以达到1528代币/s，明显高于相同大小的320亿和720亿个参数的密集模型。目前，基于ASTENG的推理代码，基本推理代码，基本推理代码和大量尺度的MOE推理代码，基于ASTENG的推理型Moe模型正式在Open Platform资源上正式启动。扩展全文 https://gitcode.com/ascend-tibe/yong-pro-moe-模型 ASTENG硬件的Infference代码地址已经非常优化： https://gitcode.com/ascend-tibe/ascend-inference-system Pangu的基本模型是一个双重系统，它引入了“快速思考”和“缓慢思考”。简单的问题以快速模式响应，复杂的问题在深层模式下引起了争论，并且可以自动移动。在许多基准测试（例如数学和编程）中，pangu嵌入的性能超过了类似类似量表的性能，例如qwen3-8b，glm4-9b。 Pangu 7B与模型和推理代码相关的权重将在不久的将来在开放平台资源上启动。 ▲Pangu嵌入式7B技术报告的屏幕截图 技术报告： https://arxiv.org/abs/2505.22375 此外，自5月19日以来，华为根据超大规模的MOE模型分享了有关照明最佳技能的技术报告，从6月30日开始，与这些技术报告相关的代码将与彼此的资源开放。 1。 tHe Hebrid专家模型（MOE）逐渐在大语言模型中出现，但是各种专家的激活频率在实际扩展中严重失衡，导致系统无法进行。 因此，华为提出了以下新的混合专家模型（MOGE）团队，该团队在专家选择阶段结合了专家，并迫使代币激活每个组中相等数量的专家，从而实现了专家的平衡，并在Ascend平台上提高了该模型扩展的效率。 当模型执行分布时，在多个设备上具有10亿个参数的模型必不可少，而Moge的体系结构设计确保了设备上计算的平衡负载，从而显着增加了吞吐量，尤其是在理解的阶段。 根据Moge的体系结构，华为建立了Pangu Pro Moe模型的广泛范围模型，总数为720亿，Ascend 300i Duo和800i A2平台的卷激活160亿，并且具有系统性优化。 在训练前阶段，华为使用4,000个攀爬NPU在高质量的Copuscontains中预训练13万亿代币。它分为三个阶段：一般而言，理解和集成，并逐渐提高模型功能。 在训练后阶段，它进一步增强了通过管理的微调（SFT）和增强（RL）研究的理解能力，并使用技术优化模型（例如检查点集成）。 最后，Pangu Pro Moe在ASTEND 800I A2上实现了每张卡的吞吐量性能的1148代币/s，并且可以通过诸如猜测 - 速度等技术的1528代币/s来改进，这比相同大小的320亿和720亿个密集型号要好得多；在ASTND 300I二人组推理服务器上，华为还实施了一种具有成本效益的解决方案。 华为的research表明，可以为大型的pangu Pro Moe培训提供ASENT NPU。许多公共基准测试的结果表明，Pangu Pro Moe在总参数模型中处于1000亿个领先地位。 如下图所示，在许多英语，中文和推理领域和推理的测试中，Pangu Pro Moe全面超过了Gemma3-27b和Llama4-Scout。在MMLU，C-Eval和GSM8K等各种基准测试中，Pangu Pro Moe性能远不止是主要资源模型，例如GLM-Z1-32B和QWEN3-32B，它显示了其在多语言理解，识别，识别等方面的领先能力。 2。pangu嵌入7b：快速和缓慢的创新双重体系结构，比qwen3-8b审查更多 目前，大型语言模型通常面临巨大的计算成本，并延迟了延迟的挑战，从而限制了它们的实际应用和扩展。结果，华为推出了pangu的pangu，这是对语言的重大理解E Ascend NPU开发的E模型。 Pangu嵌入式的核心是一个双重系统框架，能够“快速和缓慢思考”。该框架通过定期请求的“快速思考”模式以及复杂推理的“缓慢思考”模式在潜伏期和理解深度之间取得了微妙的平衡。 此外，该模型能够具有元认知，并且可以根据任务的复杂性自动选择最佳模式。华为通过在两个阶段的创新培训框架中建立了这一模型，这些阶段结合了迭代蒸馏，陪伴模型和强大的化学反应，这些化学由多根源自适应奖励系统（MARS）引导。 下图是嵌入训练管道的示意图。管道由两个主要阶段组成：第1阶段是主要的推理构建，第2阶段是对模型快速而缓慢思考的实现。 基于此双重系统的框架，华为建立了嵌入式的Pangu的模型，并在Ascend NPU平台上进行了深刻的系统。该模型允许在单个统一体系结构中灵活地传递快速响应和高质量推理。 研究表明，只有70亿个参数嵌入了Pangu，其性能要比具有类似尺度的模型领先行业（例如QWEN3-8B和GLM4-9B）的性能更好，而GLM4-9B则与许多强大的复杂合理的基准（例如Asaime和GPQA）相似。这项工作显示了一条有希望的技术途径：在确保模型的推理能力达到行业的领先水平的同时，它将实现实践和高效的扩展。 结论：基于自我开发的NPU，创新的大型模型体系结构 华为在大型模型领域的成就正在加速。过去，华为在6月20日推出了大型5.5型系列的五个主要模型，并推出了五种工业思维模型，例如医学和财务。迟到只有十天R，华为开设了两个大型型号的来源。 Pangu Pro Moe通过合作Moge的建筑设计并攀登NPU，实现了对广泛语言模型的出色培训和推理。 pangu嵌入7b是快速而缓慢思考的弹性开关，这是模型大型建筑设计的变化。 此步骤是华为实施上升生态策略的另一个关键步骤，该战略有望促进大型大型大型模型的开发，并改变大型模型行业的开放模式资源。回到Sohu看看更多