在人工智能领域，大语言模型（LLM）的参数规模与算力需求之间的矛盾始终是制约其普及的关键因素。近日，AI 研究机构 PrismML 交出了一份引人注目的答卷，正式发布了名为 Bonsai 27B 的模型压缩版本。这一成果的核心在于，它并未重新训练模型，而是通过极致的量化技术，将 Qwen3.6-27B 这一庞大的 270 亿参数模型“瘦身”至可在笔记本电脑甚至智能手机上流畅运行。
打破算力壁垒：低比特权重的创新应用
Bonsai 27B 的技术亮点在于其采用了非传统的低比特权重表示方法。与常见的 8-bit 或 16-bit 量化不同，该模型直接将权重压缩至 1-bit 和 1.71-bit 的水平。PrismML 提供了两个主要变体：三进制版本和二进制版本。三进制版本使用 {-1, 0, +1} 作为权重取值，实现了每权重 1.71 比特的真实压缩率，其理想体积仅为 5.9GB；而二进制版本则使用 {-1, +1}，进一步降低了存储和计算开销。
值得注意的是，Bonsai 27B 保留了 Qwen3.6-27B 的原始架构，这意味着其核心推理能力并未因压缩而大幅损失。这一特性对于开发者而言极具吸引力，因为它允许在保持模型性能的前提下，大幅降低部署门槛。此外，该项目遵循 Apache 2.0 开源协议，为开源社区提供了极大的便利。对于研究人员和工程师来说，这意味着可以更轻松地在各种平台上进行实验和迭代。
端侧 AI 的新里程碑
27B 参数量的模型通常被认为是性能与效率的平衡点，能够处理复杂的自然语言任务，包括代码生成、长文本理解等。然而，由于显存需求巨大，传统部署往往依赖于昂贵的云端 GPU 集群。Bonsai 27B 的出现，标志着这一局面的改变。通过将模型体积压缩至 5.9GB 左右，用户仅凭一块中高端显卡或强大的手机 SoC（片上系统），就能在本地加载并运行该模型。
这一突破对于边缘计算和移动端 AI 具有深远的意义。它不仅保护了用户数据的隐私（无需上传云端），还大幅降低了长期使用的成本。随着端侧硬件算力的不断提升，Bonsai 27B 等轻量化模型有望在个人知识库、智能助手、移动端内容创作以及离线翻译等场景中发挥重要作用。例如，对于需要处理敏感数据的医疗或金融场景，本地部署此类模型将是一个巨大的优势。
总的来说，PrismML 此次发布不仅展示了量化技术的最新进展，也为 AI 模型的普惠化提供了切实可行的路径。随着硬件生态的进一步成熟，像 Bonsai 27B 这样的轻量化模型有望在更多终端设备上落地生根。
（信息来源：MarkTechPost | 原文链接）
信息来源：MarkTechPost，原文链接：https://www.marktechpost.com/2026/07/14/prismml-releases-bonsai-27b-1-bit-and-ternary-builds-of-qwen3-6-27b-that-run-on-laptops-and-phones/
