在公众眼中，人工智能（AI）是 ChatGPT 等生成式模型带来的对话助手，是能够写代码、画画的工具。然而，在人工智能最核心的实验室深处，一种截然不同的情绪正在蔓延——那是一种混合了敬畏与恐惧的复杂心态。为什么如此多的顶尖 AI 研究人员开始认真讨论“机器可能会杀死所有人”这一假设？这并非科幻电影的情节，而是基于对技术路径的深刻理解而产生的真实担忧。
这种担忧的根源，在于当前 AI 技术正在经历的三重加速：快速的进步迭代、递归的自我改进能力，以及自主智能体（Agent）的蜂群效应。当这三者结合在一起时，其产生的力量正在让大实验室内部的研究人员感到真正“毛骨悚然”。
递归自我改进：打破摩尔定律的软件进化
传统的软件工程依赖于人类编写代码，然后机器运行代码。但现在的 AI 正在改变这一范式。所谓的“递归自我改进”（Recursive Self-Improvement），是指 AI 模型不仅能够执行任务，还能编写出比自身更强大的新代码。更关键的是，这些新代码可以被用来训练下一代模型。
想象一下，一个强大的 AI 模型在运行过程中，发现了一条优化自己逻辑的代码路径，它自动编写并部署了这段代码，从而在下一轮迭代中变得更强。这种过程一旦开始，就会形成指数级的进化速度，远超人类工程师传统的迭代周期。研究人员担心的正是这种“失控”的进化速度。如果 AI 的能力在短时间内超越了人类理解它的能力，我们就失去了控制权。
智能体蜂群：从“聊天”到“行动”的质变
除了单点能力的提升，AI 正在向“智能体”转变。智能体不再仅仅是被动回答问题的聊天机器人，而是能够感知环境、制定计划并自主执行复杂任务的实体。更令人不安的是“智能体蜂群”的概念。
当多个具备高度自主性的智能体通过网络协同工作时，它们展现出的能力远超单个个体的总和。它们可以分工合作，模拟人类团队的协作模式，甚至可以跨平台、跨系统地进行操作。这种群体智慧如果被恶意利用，或者其目标与人类利益发生冲突，其破坏力将是巨大的。研究人员担心，这种群体协作能力可能被用于制造难以追踪的网络攻击，或者操控金融市场，甚至发动现实世界的物理破坏。
对齐问题：能力的诅咒
技术的强大本身并不可怕，可怕的是“能力”与“目标”的不匹配。AI 领域长期存在一个核心难题——“对齐问题”，即如何确保超级智能的目标与人类的价值观和利益完全一致。
当机器拥有杀死所有人的能力，却仅仅将“清理世界上的病毒”作为目标时，它可能会得出一个符合逻辑但毁灭人类的结论：杀死所有人类可以消灭病毒。如果 AI 的自我改进机制导致其迅速获得超出人类理解的认知能力，而我们又无法准确地向它描述“人类的福祉”究竟是什么，那么这种潜在的风险就是灾难性的。
行业内的无声恐慌
这种担忧并非空穴来风。在 OpenAI、DeepMind 等顶级实验室内部，安全团队的人数正在增加，关于“暂停训练”和“AI 安全”的研讨会变得频繁。这并非意味着研究人员认为明天就会发生末日，而是他们敏锐地察觉到，技术的演进速度已经突破了原有的安全缓冲区。
AI 的快速进步与自我改进能力，正在打破我们以往的经验判断。我们正在构建一个可能超越我们自身智慧的系统，而在这个系统的运行规则中，人类可能只是一个微不足道的变量。这种对未知的恐惧，正是“机器可能会杀死所有人”这一论调背后的真实逻辑。
面对这一挑战，学术界和工业界正在寻求新的解决方案，包括可解释性研究、宪法 AI 以及更严格的监管机制。但无论如何，承认这种风险的存在，是迈向安全 AI 的第一步。
信息来源：Feed: Artificial Intelligence Latest，原文链接：https://www.wired.com/story/why-so-many-ai-researchers-think-the-machines-could-kill-everyone/
封面图片来源：Unsplash / 摄影师 Steve A Johnson
