OpenAI发布内部自动化红队模型GPT-Red,在对抗性测试中碾压人类专家

随着人工智能技术的飞速发展,如何确保大模型的安全性与可靠性已成为行业焦点。近日,OpenAI 公开了一项关于内部自动化红队测试模型的研究成果,该模型名为 GPT-Red。这项研究揭示了自动化红队测试在提升 AI 安全防线方面的巨大潜力,甚至在某些特定场景下超越了人类红队专家的能力。

GPT-Red 是 OpenAI 内部专门训练的“攻击型”模型,其核心训练机制采用了自博弈强化学习。简单来说,GPT-Red 在一个由防御型大模型组成的种群中进行“攻防演练”。模型通过与防御者不断博弈,不断调整策略以寻找系统漏洞,这种自我进化的过程使其能够迅速掌握复杂的攻击技巧。

在最新的测试中,GPT-Red 展现出了惊人的战绩。在复制的“间接提示注入竞技场”测试中,GPT-Red 的攻击成功率高达 84%,而相比之下,人类红队专家的成功率仅为 13%。这一数据直观地表明,在处理复杂的提示注入攻击时,自动化模型在效率和策略多样性上具有显著优势。

更令人关注的是,GPT-Red 发现了一种全新的攻击类别——“伪造思维链”攻击。在传统的红队测试中,攻击者往往试图通过注入指令让模型输出敏感信息,而“伪造思维链”则更进一步,攻击者试图诱导防御模型生成看似合理但实际被篡改的逻辑推理过程。这种攻击方式极其隐蔽,对模型的推理安全构成了严峻挑战。

除了在竞技场测试中的优异表现,GPT-Red 在 OpenAI 最艰难的“直接注入”基准测试中也表现出色。OpenAI 指出,GPT-Red 将 GPT-5.6 Sol 模型的失败率降低了 6 倍。这意味着,通过引入这种自动化红队工具,OpenAI 能够在模型发布前更早地发现并修补安全漏洞,从而大幅提升最终产品的安全性。

然而,OpenAI 也坦诚地指出了 GPT-Red 的局限性。目前,该模型在应对多轮对话攻击以及基于图像的攻击时,仍然面临较大挑战。这提示我们,未来的 AI 安全研究不能仅依赖单一的文本模式,还需要结合多模态理解和长上下文记忆能力。

总体而言,GPT-Red 的出现标志着 AI 安全测试正在从依赖人工转向自动化与智能化。面对日益复杂的攻击手段,构建一个能够自我进化、实时对抗的防御体系,已成为 AI 公司提升产品竞争力的关键一环。

信息来源:MarkTechPost
原文链接:https://www.marktechpost.com/2026/07/16/openai-details-gpt-red-an-internal-automated-red-teaming-model-that-beat-human-red-teamers-84-to-13-on-prompt-injection/

信息来源:MarkTechPost,原文链接:https://www.marktechpost.com/2026/07/16/openai-details-gpt-red-an-internal-automated-red-teaming-model-that-beat-human-red-teamers-84-to-13-on-prompt-injection/

oaido_ai

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注