在大型语言模型（LLM）不断追求更大参数规模以提升智能水平的背景下，如何平衡模型性能与计算资源消耗成为了行业面临的重大挑战。近日，NVIDIA 宣布推出了一款名为 Nemotron-Labs-3-Puzzle-75B-A9B 的新型模型。作为其旗舰模型 Nemotron-3-Super 的压缩变体，该模型通过独特的“Puzzle”迭代策略，成功在保持用户响应速度的同时，将服务器吞吐量提升了 2.03 倍，为 AI 推理的高效部署提供了新的解决方案。
“Puzzle”策略：结构压缩与知识蒸馏的融合
NVIDIA 的这项创新核心在于其独特的迭代压缩方法——被称为“Puzzle”。传统的模型压缩往往面临着精度与效率难以兼得的困境，而 Nemotron-Labs-3-Puzzle-75B-A9B 采用了硬件感知的结构压缩技术，并结合了短周期的知识蒸馏恢复阶段。
简单来说，这种方法就像是在解一道复杂的拼图：首先对模型进行硬件友好的结构化剪枝，减少冗余参数；紧接着通过知识蒸馏阶段，让模型在极短的时间内从原始模型中学习丢失的知识。这种交替进行的策略，使得模型在大幅瘦身的同时，能够最大程度地保留其原有的推理能力。
参数缩减与显存优化
在此次发布中，模型规模的缩减尤为引人注目。原始的 Nemotron-3-Super 拥有 120.7B 的总参数量，其中激活参数为 12.8B。而经过 Puzzle 策略优化后的 Nemotron-Labs-3-Puzzle-75B-A9B，总参数量降至 75.3B，激活参数也调整为 9.3B。
这一变化意味着模型对显存的需求大幅降低，使得在同等硬件条件下部署更大型的基础模型成为可能。对于企业级用户而言，这不仅降低了硬件采购成本，也简化了模型的部署流程，使得高性能 AI 模型能够更广泛地运行在现有的数据中心基础设施上。
极致的推理性能与并发能力
性能数据的提升是该模型最大的亮点。在测试中，该模型在单节点 8x B200 GPU 环境下表现出色，实现了 2.03 倍的超级模型总吞吐量，同时维持了每用户 100 tokens/s 的响应速度。
这意味着在处理高并发请求时，服务器的资源利用率得到了极大的优化。更令人印象深刻的是，在单个 H100 GPU 上，该模型的并发处理能力从原本的 1 个请求直接提升至 8 个。这种并发能力的翻倍，对于需要处理大量实时请求的应用场景（如客户服务聊天机器人、实时翻译工具等）具有极高的商业价值。
行业影响与应用前景
NVIDIA 此次发布 Nemotron-Labs-3-Puzzle-75B-A9B，标志着 AI 模型优化进入了新的阶段。随着 LLM 技术的成熟，单纯增加模型规模的红利正在逐渐递减，而如何在有限的算力资源下榨取最大的性能潜力，成为了开发者关注的焦点。
这款混合专家模型通过巧妙的压缩技术，证明了在不牺牲用户体验的前提下，通过算法层面的优化完全可以突破硬件的物理瓶颈。未来，我们可能会看到更多此类针对特定硬件架构优化的模型出现，推动 AI 技术在边缘计算和大规模云服务中的普及。
信息来源：MarkTechPost，原文链接：https://www.marktechpost.com/2026/07/09/nvidia-releases-nemotron-labs-3-puzzle-75b-a9b-a-compressed-hybrid-moe-llm-delivering-2-03x-server-throughput-at-matched-user-throughput/
