斯坦福大学的研究人员近日开源了一项名为 Memorilla 的创新技术，旨在解决大型语言模型在处理海量知识库时面临的“记忆瓶颈”问题。Memorilla 是一种针对“冻结模型”设计的潜在记忆模块，它通过极高效的压缩算法，能够将庞大的文档集合浓缩为仅 16 个记忆 token，从而在极低的计算成本下实现精准的知识检索。
在传统的检索增强生成（RAG）技术中，为了确保大模型能够准确回答关于长文档的问题，开发者通常需要将所有相关文档直接输入模型的上下文窗口。然而，这种方法存在明显的局限性：随着文档数量的增加，不仅计算开销呈指数级上升，而且受限于模型的上下文窗口长度，处理超长文档变得异常困难。Memorilla 的出现，正是为了突破这一限制。
该系统的核心优势在于其惊人的压缩率。测试显示，Memorilla 能够将原本需要数千个 token 才能容纳的文档内容，压缩至仅 16 个 token。这意味着，原本需要消耗大量显存和算力的上下文处理，现在可以被大幅简化。在针对 Qwen3-8B 模型的测试中，Memorilla 在 FactKG（事实知识图谱）基准测试上达到了 84.33% 的准确率，同时使用的 token 数量仅为全量上下文的 1/108。这种“小数据量、高准确率”的特性，对于降低企业级 AI 应用的部署成本具有革命性意义。
此外，Memorilla 对“冻结模型”的友好性也是其一大亮点。开发者无需对基础模型进行微调或重新训练，只需在推理阶段加载 Memorilla 模块，即可赋予模型强大的外部记忆能力。这使得现有的、已经训练好的通用大模型能够瞬间获得处理复杂长文档的能力，极大地提升了技术的落地效率。随着 Memorilla 的开源，开发者现在可以更轻松地构建能够处理复杂知识库的 AI 应用，为法律合规审查、学术论文综述以及企业内部文档问答等垂直领域的应用提供了新的技术范式。
信息来源：MarkTechPost，原文链接：https://www.marktechpost.com/2026/11/14/stanford-memorilla-memory-system-16-memory-tokens/
