在人工智能硬件与算法协同进化的当下，如何在边缘端高效部署大规模大语言模型（LLM）一直是行业攻克的重点。近日，NVIDIA 宣布在最新的 DGX Spark 平台上，通过三项关键优化技术，成功将混合专家模型（MoE）的推理速度提升了 42.5%。这一成果在蚂蚁集团旗下 inclusionAI 发布的 1240 亿参数模型 Ling-3.0-flash 上得到了验证，且在数学推理基准测试（GSM8K）中保持了原有的准确率。
混合专家模型是目前大模型领域的主流架构之一，其核心思想是将一个巨大的神经网络拆分为多个“专家”子网络。在推理过程中，模型并非同时激活所有参数，而是根据输入内容智能地选择相关的专家进行计算。这种架构虽然能显著降低计算成本并提升模型容量，但其复杂的路由机制和并行计算需求也给边缘设备的算力调度带来了巨大挑战。NVIDIA 此次展示的优化方案，正是针对这一痛点提出的解决方案。
NVIDIA 使用的 DGX Spark 是面向边缘和本地 AI 计算的新一代加速平台，其强大的算力和内存带宽为运行超大规模模型提供了硬件基础。此次测试所用的 Ling-3.0-flash 是 inclusionAI 旗下的一款高性能开源模型，拥有 1240 亿参数。在 GSM8K 基准测试中，即一个包含约 9000 个小学数学应用题的数据集，经过优化后的 DGX Spark 在解码阶段的吞吐量大幅提升。这意味着在处理复杂推理任务时，模型能够以更快的速度生成答案，同时并未牺牲任何推理精度，这对于实时性要求极高的应用场景（如工业自动化、智能客服终端）具有里程碑式的意义。
此次优化的核心在于对 MoE 推理流程的深度重构。通过在 DGX Spark 上实施三项堆叠式优化，NVIDIA 解决了传统推理中常见的内存墙问题，并优化了专家间的通信开销。这种提升并非简单的参数调优，而是底层计算逻辑的革新。具体而言，这些优化可能涉及张量并行策略的改进、显存访问模式的优化以及内核融合技术的应用，旨在最大限度地榨取硬件性能。
这一突破不仅展示了 DGX Spark 在边缘计算领域的强大潜力，也标志着大模型正在从云端向边缘端“下沉”。对于企业而言，将复杂的 MoE 模型部署在本地边缘设备上，不仅可以降低高昂的云服务调用成本，还能有效保护数据隐私，确保数据不出域。随着 NVIDIA 技术方案的落地，未来我们有望在更广泛的设备上体验到流畅、精准的 124B 级大模型交互体验，这将为 AI Agent（智能体）在端侧的普及奠定坚实的技术基石。
综上所述，NVIDIA 此次在 DGX Spark 上实现的 42.5% 吞吐量提升，不仅验证了其硬件与软件协同优化的能力，也为大模型在边缘侧的商业化落地提供了强有力的数据支撑。随着更多此类优化方案的推出，边缘 AI 的算力天花板将被不断刷新。
信息来源：MarkTechPost，原文链接：https://www.marktechpost.com/2026/11/03/nvidia-dgx-spark-moe-inference-ling-3-0-flash/
