在当前大语言模型(LLM)驱动的时代,检索增强生成(RAG)技术已成为连接私有数据与模型智能的关键桥梁。然而,随着企业知识库规模的指数级增长,RAG 系统在向量检索阶段面临着巨大的存储压力。传统的向量索引方法往往需要在内存占用和查询性能之间做艰难的取舍。近日,来自加州大学伯克利分校的研究团队推出了一款名为 LEANN 的新一代开源向量索引技术,它通过创新的图剪枝与查询时重算机制,成功将一个包含 6000 万个数据块的索引体积从 188GB 砍减至 4GB,引发了业界的广泛关注。
LEANN 的核心创新在于它打破了传统向量索引必须“离线量化”的固有模式。传统的 HNSW(Hierarchical Navigable Small World)索引通常需要将向量在查询前预先量化,这虽然节省了空间,却不可避免地牺牲了精度。LEANN 则采用了一种更为激进的策略:它在存储阶段仅维护一个经过剪枝的稀疏图结构,而非完整的邻居列表。当系统进行查询时,LEANN 会在本地实时重新计算向量嵌入。这种“按需计算”的思路,使得它能够在不损失过多精度的前提下,极大地压缩了磁盘占用。
极致压缩与性能平衡
根据伯克利团队的技术报告,LEANN 在性能评估中展现了令人印象深刻的数据。在一个包含 6000 万个数据块的 RAG 场景测试中,LEANN 仅使用了 4GB 的存储空间,就实现了与 HNSW 索引相当的检索效果。具体而言,LEANN 在 90% 的召回率指标上与 HNSW 基本持平。这一结果对于处理大规模企业级数据集尤为重要,因为这意味着开发者可以用极低的硬件成本(如单张消费级显卡或小型服务器)来承载原本需要昂贵硬件支持的向量检索任务。
当然,这种极致的压缩并非没有代价。为了实现存储空间的节省,LEANN 牺牲了一定的查询速度。其查询延迟约为秒级,这虽然不及毫秒级的 HNSW,但在许多非实时性要求极高的 RAG 应用场景中是可以接受的。此外,LEANN 的开源属性也为开发者提供了一个极具潜力的实验平台,大家可以根据实际业务需求,进一步调优剪枝参数或重算策略。
应用场景与行业影响
LEANN 的出现为 RAG 系统的落地提供了新的可能性。在资源受限的边缘计算场景下,如部署在本地终端或私有云中的 AI 助手,LEANN 能够有效降低部署门槛。同时,对于需要频繁更新知识库的企业而言,LEANN 减少了因数据增量更新而带来的存储扩容成本。随着开源社区的参与,LEANN 有望成为 RAG 技术栈中一个重要的优化工具,推动向量数据库向更轻量化、更智能化的方向发展。
总而言之,LEANN 证明了在向量检索领域,通过算法层面的创新依然可以取得显著的工程突破。它不仅为开发者提供了一种高效压缩索引的新思路,也为未来 RAG 系统的架构设计提供了宝贵的参考。
参考来源: MarkTechPost
原文链接
信息来源:MarkTechPost,原文链接:https://www.marktechpost.com/2026/10/27/leann-vector-index-mlsys-2026/