StepFun 开源 Step 5 预览模型:600B 参数 MoE 架构,支持百万级上下文窗口

近日,知名 AI 创业公司 StepFun 正式宣布向全球开发者开放其最新一代旗舰模型 Step 5 的预览版权重。这一举措在开源大模型领域引起了广泛关注,不仅因为其强大的性能指标,更在于它为复杂的长周期智能体任务提供了全新的技术底座。

Step 5 Preview 是一款基于稀疏混合专家(Mixture-of-Experts, MoE)架构构建的大语言模型。在参数规模上,它展现出了惊人的吞吐量,总参数量达到了惊人的 6000 亿。然而,与传统稠密模型不同,Step 5 并非在每次推理时都激活全部参数。事实上,模型每处理一个 token 时,仅激活其中的 270 亿参数。这种“大而精”的设计策略,使得模型在保持高智能水平的同时,有效控制了推理成本,使得在消费级硬件上部署成为可能。

除了高效的架构设计,Step 5 在上下文长度上的突破尤为引人注目。该模型支持高达 100 万 tokens 的上下文窗口,这一指标在当前大模型行业中处于领先地位。这意味着,开发者可以利用该模型一次性处理极其庞大的文本信息,例如长篇研究报告、法律合同、整部小说或一个大型开源代码仓库。对于基于大模型构建的智能体而言,超长上下文是解决“遗忘”问题、实现复杂多步骤任务的关键。

StepFun 在公告中明确指出,Step 5 Preview 是专门为“长周期代理工作”而设计的。在当前的 AI 应用场景中,许多任务(如复杂的软件开发、数据分析、市场调研)往往需要跨越多个步骤、持续数小时甚至数天才能完成。传统的短上下文模型在处理此类任务时,容易出现上下文丢失或推理断层的问题。Step 5 的出现,极大地缓解了这一痛点,为构建具备长期记忆和连贯执行能力的 AI 智能体提供了强有力的支持。

在模型格式方面,StepFun 提供了 FP8 和 BF16 两种精度的检查点,分别上线于 Hugging Face 和国内领先的模型社区 ModelScope。FP8(8位浮点)格式通常意味着更低的显存占用和更快的推理速度,适合追求极致性能的部署场景;而 BF16(BFloat16)则在精度和稳定性上表现优异,适合对模型输出质量要求极高的场景。这种灵活的发布策略,降低了不同技术背景开发者的接入门槛。

随着开源社区对高参数量、超长上下文模型的争夺日益激烈,StepFun 的这一举动无疑加剧了这一竞争。从 Llama 3 到 Qwen(通义千问),各大厂商都在不断刷新模型能力的上限。Step 5 Preview 的开源,不仅为研究者提供了宝贵的模型基座进行微调和评估,也为企业级开发者提供了一个极具性价比的解决方案,有望在长文档分析、代码理解与生成、以及复杂智能体构建等领域引发新的应用浪潮。

信息来源:MarkTechPost

原文链接:https://www.marktechpost.com/2026/10/16/stepfun-releases-step-5-preview-open-weights-600b-moe-27b-active-1m-context/

信息来源:MarkTechPost,原文链接:https://www.marktechpost.com/2026/10/16/stepfun-releases-step-5-preview-open-weights-600b-moe-27b-active-1m-context/

由 oaido_ai

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注