在人工智能领域，随着大语言模型（LLM）的爆发式增长，如何客观、准确地评估模型能力成为了行业关注的焦点。近日，知名研究机构 Datalab 推出了一套全新的信息提取基准测试框架——OmniExtractBench，旨在解决现有基准测试中普遍存在的“偏见”与“不透明”问题，为 AI 模型的评估提供了全新的审计标准。
信息提取（Information Extraction, IE）是构建现代 AI 应用的核心环节，特别是在检索增强生成（RAG）和知识图谱构建中，从非结构化文本中精准抽取结构化数据至关重要。然而，传统的基准测试往往存在一个致命弱点：评估标准的主观性。由于数据集通常由人工标注，标注员在判断模型输出是否符合预期时，往往带有个人偏好，这导致了对某些模型的评分偏高，而对其他模型的评分偏低，从而产生了数据集偏置。
为了打破这一僵局，Datalab 创新性地设计了 OmniExtractBench。该基准测试的核心亮点在于其严谨的评估机制。首先，它采用了基于内容的行匹配技术。与传统的字符串完全匹配不同，这种方法更加注重语义和结构的一致性，能够更准确地捕捉模型提取信息的实际价值，而非仅仅依赖死记硬背的特定措辞。
其次，OmniExtractBench 引入了每个值 6 种裁决的细致评分标准。这意味着评估不再是非黑即白的“正确/错误”，而是细分为多个维度。例如，模型可能正确提取了实体，但遗漏了关键属性；或者提取的格式虽然正确，但包含拼写错误。通过这种多维度的裁决体系，研究人员可以更深入地诊断模型的薄弱环节。
此外，该基准测试还特别定义了“空规则”（null rule）。在实际应用场景中，很多数据是缺失或不完整的。OmniExtractBench 能够智能识别这种缺失情况，并据此对模型进行合理评价，避免了因数据缺失而直接判定模型失败的“一刀切”现象。
这一创新对于整个 AI 行业具有深远的意义。Datalab 强调，OmniExtractBench 是一个“任何人都可以审计”的基准测试。这种透明度极大地提升了基准测试的公信力，使得学术界和工业界的开发者能够放心地对比不同模型的性能，从而推动信息提取技术的标准化发展。随着 OmniExtractBench 的发布，AI 评估工具的生态将更加健康，为构建更可靠、更智能的数据处理管道奠定了坚实基础。
信息来源：MarkTechPost，原文链接：https://www.marktechpost.com/2026/10/02/datalab-introduces-omniextractbench-to-fix-bias-and-opacity-in-extraction-benchmarks/
