企业 AI 的真正隐患:并非自主代理失控,而是系统间的复杂交互

Enterprise AI complexity network diagram

在当前的企业 AI 领域,人们的注意力往往集中在“自主智能体”是否会失控这一问题上。然而,Gravitee 的首席执行官 Rory Blundell 最近提出,企业 AI 面临的真正风险并非单一代理的失控,而是代理之间错综复杂的交互网络所引发的系统性混乱。

随着企业从部署单一智能体转向构建“智能体舰队”,其背后的复杂性呈指数级增长。当一个智能体调用另一个智能体的 API,或者后者再调用其他应用时,系统中的连接点不再是一加一等于二,而是可能变成几十甚至上百个。这种网络状的交互模式,使得原本简单的业务流程变得难以追踪。

以客服场景为例,一个原本只涉及单一系统的支持工单,现在可能需要经过四个不同的智能体处理才能最终移交给人眼。每一个交接点都是一个潜在的决策盲区,且往往缺乏人工审批。这种“黑盒”状态导致安全团队无法回答诸如“哪些代理有权访问哪些系统”或“三个节点之前的调用链发生了什么”等基本问题。

最常见的误区是试图用“清单式”的管理方法来应对这种动态变化。企业往往习惯于“批准、记录、通过”的流程,但这无法应对跨越整个链条的复杂性。实际上,企业面临的核心问题在于“权限蔓延”和“责任归属模糊”。一个为了提升效率而设计的智能体,可能因为初期授权过宽,最终意外获得了访问支付系统的权限,而这一过程并未经过重新审批。

要解决这一问题,企业必须构建一套全新的治理基础设施。首先,每个智能体都需要拥有独立的数字身份,包括明确的权限范围和专属的人类赞助人。其次,治理不能仅停留在事后审计,而必须具备实时监控和主动执行的能力。这意味着企业需要能够看到智能体触发下游行为的实时路径,并在违规发生前直接阻断,而不是仅仅在事后将其记录在案。

综上所述,企业 AI 的规模化应用并非因复杂性而停滞,恰恰相反,只有解决好复杂性治理,才能实现智能体与人类的协同共舞,推动 AI 从试点真正走向生产环境。

信息来源:AI | VentureBeat,原文链接:https://venturebeat.com/ai/enterprise-ais-real-risk-isnt-autonomous-agents-its-the-complexity-between-them

封面图片来源:Unsplash / 摄影师 Igor Omilaev

oaido_ai

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注