78B参数仅激活3.46B?Aleph Alpha 推出开源英德 MoE 模型 Kolibri

在人工智能领域,参数规模与推理效率之间的博弈从未停止。随着大语言模型(LLM)的爆发式增长,如何降低部署成本、提高模型在特定硬件上的运行效率成为了行业焦点。近日,德国领先的 AI 基础设施公司 Aleph Alpha 正式对外宣布,其最新研发的开源大语言模型——Kolibri 正式上线。这款模型凭借其独特的架构设计和卓越的性能指标,迅速引起了科技界的广泛关注。

Kolibri 是一款典型的混合专家模型,其总参数量高达 78.1B。与传统的大模型不同,Kolibri 并非在每次推理时都激活全部参数,而是采用了稀疏激活机制。根据官方发布的数据,Kolibri 在处理每个 Token 时,仅激活了 3.46B 参数。这种“小量激活、海量总参”的设计,使得模型在保持强大语言理解与生成能力的同时,极大地降低了计算资源的消耗。

除了高效的参数利用策略,Kolibri 在硬件兼容性上也表现出了极高的灵活性。该模型采用了 Apache 2.0 许可证开源,这意味着开发者可以自由地使用、修改和分发该模型。更重要的是,Kolibri 的权重采用了 FP8(8位浮点数)格式。在当前的高端硬件环境下,FP8 格式能够有效减少显存占用并提升计算吞吐量。Aleph Alpha 指出,Kolibri 仅需单张 NVIDIA B200 或 H200 显卡即可完成模型加载与推理,这大大降低了高性能 AI 模型的部署门槛。

在上下文长度方面,Kolibri 同样交出了一份令人满意的答卷。它支持高达 1M token 的超长上下文窗口。这一特性意味着模型具备阅读并理解超长文档的能力,对于法律文书分析、长篇技术文档总结、代码库理解以及复杂的对话场景具有极高的实用价值。用户可以一次性将整个书籍或庞大的数据集输入给模型,而无需担心上下文截断的问题。

作为一家总部位于德国的公司,Aleph Alpha 一直致力于构建符合欧洲价值观的企业级 AI 基础设施。此次发布的 Kolibri 专注于英语与德语的双语支持,这为欧洲市场的本地化 AI 应用提供了强有力的支撑。在当前全球 AI 竞争格局中,开源模型(如 Meta 的 Llama 系列)占据了重要地位,而 Kolibri 的加入无疑丰富了开源生态,为开发者提供了更多选择。

对于企业用户而言,Kolibri 的应用场景十分广泛。其开源属性允许企业进行私有化部署,从而更好地保护数据隐私。结合其 1M 的超长上下文能力和高效的推理速度,Kolibri 非常适合应用于智能客服系统、企业知识库问答、跨语言商务沟通以及自动化内容生成等场景。通过微调,开发者还可以针对特定行业(如医疗、金融、法律)定制专属模型,以满足更精准的业务需求。

总的来说,Aleph Alpha 发布的 Kolibri 模型是大模型向“高效化、轻量化、开源化”发展的一个缩影。它证明了通过优秀的架构设计,大模型可以在不牺牲性能的前提下,实现更低的部署成本。随着开源社区的进一步发展,Kolibri 有望成为英德双语环境下一款极具竞争力的基础模型,推动人工智能技术的普及与应用。

信息来源:MarkTechPost,原文链接:https://www.marktechpost.com/2026/10/04/aleph-alpha-releases-kolibri-a-78-1b-open-weight-english-german-moe-model-with-only-3-46b-active-parameters/

由 oaido_ai

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注