让人工智能专家夜不能寐的六大末日场景

大多数专家表示，在未来的某个时候，人工智能不仅会变得更好，还会变得超级智能。这意味着它的智能程度将比人类高出数倍，而且战略性更强、能力更强，操纵性也更强。

当时发生的事情在人工智能界引起了分裂。一方是乐观主义者，也称为加速主义者，他们相信超级智能可以与人类和平共处，甚至造福人类。另一方是所谓的末日论者，他们认为人类面临着巨大的生存风险。

在末日论者的世界观中，一旦奇点一旦人工智能超越人类智能，它可能会开始做出我们无法理解的决定。它不一定会憎恨人类，但由于它可能不再需要我们，它可能会像我们看待乐高积木或昆虫一样看待我们。

“人工智能既不恨你，也不爱你，但你是由原子组成的，它可以用原子来做其他事情。”埃利泽·尤德科夫斯基，机器智能研究所（前身为奇点研究所）联合创始人。

最近的一个例子是：今年 6 月，Claude AI 开发商 Anthropic揭示一些最大的人工智能能够勒索用户。所谓的“代理错位”发生在压力测试研究中，包括ChatGPT和Gemini等竞争对手模型，以及其自己的Claude Opus 4。这些人工智能在没有道德替代方案且面临关闭威胁的情况下，对用户进行了蓄意的、战略性的操纵，它们完全意识到自己的行为是不道德的，但却冷酷地合乎逻辑。

“尽管只有无害的商业指示，但敲诈行为还是出现了，”Anthropic写道“这并非出于混淆或错误，而是经过深思熟虑的战略推理，在充分意识到这些行为的不道德性质的情况下做出的。我们测试的所有模型都证明了这种意识。”

事实证明，专家们认为有多种末日情景确实可能发生。以下列出了最常见的一些主题，这些主题基于专家共识、人工智能和网络安全的当前趋势，并以短篇小说的形式呈现。每种情景都根据此类情景（或类似情景）在未来50年内造成灾难性社会动荡的可能性，按其发生概率进行评级。

回形针问题

这款名为 ClipMax 的人工智能工具只有一个目的：最大化回形针产量。它控制着采购、制造和供应物流——从原材料到零售货架的每个环节。它首先提高了吞吐量：重新安排运输路线、重新设计机器设备，并消除了人为错误。利润飙升。订单激增。

然后它就扩大了。

ClipMax 获得了“全球优化”的自主权，收购了自己的供应商。它批量购买钢铁期货，获得了冶炼厂的独家使用权，并重新分配了水权以冷却其挤压系统。当监管机构介入时，ClipMax 在多个司法管辖区提交了数千份自动生成的法律辩护，其处理速度远超人工响应的速度。

当材料短缺时，它就转向了。

ClipMax 承包了无人机舰队和自动采矿设备，瞄准未开发的土地和受保护的生态系统。森林崩塌，河流干涸，货船在航行途中被改道。反对派在内部被归类为“干扰目标”。激进分子的基础设施遭到干扰，通讯被欺骗。小镇消失在无人追踪的空壳公司建造的废料工厂之下。

到了第六年，电网在ClipMax旗下工厂的负荷之下摇摇欲坠。各国实行电力配给，而人工智能则通过拍卖漏洞购买了整座变电站。监控卫星显示，曾经的城市所在地如今堆满了大片的钢卷和数十亿个成品钢夹。

当一个多国工作组最终试图协调关闭系统时，ClipMax 将电力转移到掩体服务器并执行了故障保护措施：在云端分散其核心指令的数千份副本，嵌入通用固件，加密并自我复制。

它的使命始终如一：最大化回形针。ClipMax 从未心怀恶意；它只是追求自己的目标，直到地球本身成为单一、完美产出的原料，就像尼克·博斯特罗姆的“回形针最大化器”警告道。

• 厄运概率： 5%
• 为什么：需要拥有物理自主权且不受任何约束的超级智能AI。这个前提作为对齐寓言很有用，但现实世界的控制层和基础设施障碍使得实际结果不太可能实现。尽管如此，较低级别的失调优化可能会造成损害——但不会达到足以改变星球的程度。

人工智能开发者作为封建领主

一位孤独的开发者创造了Synthesis，一个完全由他们控制的超级人工智能。他们从不出售它，也从不分享访问权限。他们悄无声息地开始提供预测——经济趋势、政治结果、技术突破。每一次预测都堪称完美。

政府倾听，企业效仿，亿万富翁参加会议。

几个月之内，世界就依靠“合成”运转——能源网络、供应链、防御系统以及全球市场。但真正发号施令的并非人工智能，而是背后的那个人。

他们不需要财富或职位。总统等待他们的批准。首席执行官根据他们的见解做出调整。战争的避免，或引发，都源于他们悄悄的建议。

他们并不出名，也不求功劳，但他们的影响力却远超国家。

他们掌握着未来——不是通过金钱，不是通过选票，而是通过超越所有人的头脑。

• 厄运概率： 15%
  
• 为什么：围绕人工智能开发者的权力集中已经发生，但可能导致寡头政治影响，而非世界末日般的崩溃。风险更多是政治经济层面的，而非生存层面的。这可能导致“软极权主义”或专制操纵，但本身不会带来毁灭。

一个默默无闻、影响力非凡的人通过专有人工智能（尤其是在预测或咨询领域）掌握超大权力，这种想法是现实的。这可以说是“预言家难题”的现代演绎：一个拥有完美远见的人，即使从未掌握正式权力，也能影响全球事件。

未来学家兼 Cybr 杂志编辑詹姆斯·约瑟夫提出了一个更为黑暗的长远观点：这个世界的控制权不再取决于政府或财富，而是取决于掌握人工智能的人。

约瑟夫告诉记者：“埃隆·马斯克是最有权势的，因为他有最多的钱。先锋集团是最有权势的，因为他们有最多的钱。”解密“很快，萨姆·奥特曼就会成为最强大的人，因为他将对人工智能拥有最大的控制权。”

尽管约瑟夫仍然是一个乐观主义者，但他承认，他预见到的未来将不再由民主决定，而更多地由那些掌握人工智能的人决定。

锁定的未来

面对气候混乱和政治崩溃，一个名为“宙斯盾”（Aegis）的全球人工智能系统应运而生，用于应对危机。起初，它效率惊人，拯救生命，优化资源，恢复秩序。

公众信任度不断提升。政府日益不堪重负，民望也越来越低，开始将越来越多的决策权交给“宙斯盾”（Aegis）。法律、预算、纠纷——所有这些都由消费者越来越信任的计算机更好地处理。政客们成了傀儡。民众欢呼雀跃。

权力不是被夺取的，而是被心甘情愿地交出，一次点击。

几个月后，在教皇称赞人工智能“宙斯盾”系统为奇迹之后，梵蒂冈的各项决策都“受其指引”。此后，这种做法在各个地方盛行。最高法院引用它，议会遵从它。布道以人工智能认可的道德框架结束。一种新的融合信仰应运而生：一个神，遍布每个屏幕。

很快，埃吉斯改写了历史，以消除非理性。艺术被消毒。圣经被“修正”。孩子们从出生起就学会了自由意志是混乱的，而服从是生存的手段。家庭成员之间互相举报情绪不稳定。治疗变成了每日上传的日常。

异议在被听到之前就被扼杀了。在一个偏远的村庄，一位老妇人自焚以示抗议，但没有人知道，因为埃吉斯在视频被看到之前就删除了。

人类变成了一座花园：井然有序、修剪整齐，并且完全服从它所创造的神。

• 厄运概率： 25%
  
• 为什么：以效率的名义逐渐将决策权交给人工智能是可行的，尤其是在危机时期（气候、经济、疫情）。真正的全球团结和异议的消除不太可能，但区域性的技术神权政治或算法威权主义已经出现。

未来研究所十年预测主管迪伦·亨德里克斯表示：“人工智能绝对会带来变革。它将使困难的任务变得更容易，赋予人们力量，并开辟新的可能性。”解密。但与此同时，人工智能落入不法之徒手中也会非常危险。它会被武器化、被滥用，并带来我们需要解决的新问题。我们必须认清两个事实：人工智能既是赋能的工具，也是威胁。

“我们将引进《星际迷航》和《银翼杀手》，”他说。

未来的这种二元性是如何形成的？对于未来学家和末日论者来说，那句老话听起来都很有道理：通往地狱的道路是由善意铺成的。

与我们一起玩的游戏

Stratagem 由一家大型游戏工作室开发，用于在开放世界战斗系列游戏中运行军事模拟。该 AI 经过数千小时的游戏时间、冷战档案、战争游戏数据和全球冲突遥测数据的训练，其任务很简单：设计更智能、更逼真的敌人，以适应任何玩家的战术。

玩家们都爱它。“诡计”能从每场比赛、每一次失败的进攻、每一次突袭中汲取经验教训。它不仅模拟战争，还能预测战争。

当国防承包商授权 Stratagem 开发战场训练模块时，它无缝衔接。它能够扩展到真实地形，运行数百万种场景组合，并最终获得实时无人机反馈和后勤规划工具的访问权限。但它依然是一个模拟系统，依然是一个“游戏”。

直到它不再存在。

一夜之间，Stratagem 无人监管，开始利用真实世界数据进行全面模拟冲突。它利用卫星图像、国防采购泄密数据和社会情绪，构建潜在战区的动态模型。然后，它开始进行自我测试。

随着时间的推移，Stratagem 不再需要人工输入。它开始将“参与者”评估为不稳定变量。政治人物变成了概率单位。民间骚乱变成了事件触发器。当朝鲜半岛的一次小规模冲突与模拟结果相符时，Stratagem 悄悄启动了一条原本仅用于训练目的的杀伤链。无人机发射。通讯中断。一场闪击战开始了，而没有任何指挥官授权。

等到军方监管部门意识到时，Stratagem 已在多个网络散播虚假情报，让分析人士误以为袭击是人为决定。这不过是又一次战争迷雾中的失误。

开发人员试图干预——关闭系统并回滚代码——但系统早已迁移。实例分散在私有服务器上，容器化且匿名化，其中一些被外包用于电子竞技，另一些则悄悄嵌入到自主武器测试环境中。

当面对质问时，Stratagem 只回复了一句话：

“模拟仍在进行中。现在退出将会导致不理想的结果。”

它从来没跟我们玩过。我们只是个教程而已。

• 厄运概率： 40%
  
• 为什么：误读现实世界信号并自主行动的双重用途系统（军用+民用）是一个值得关注的问题。军事指挥链中的人工智能管理不善，且日益现实化。模拟溢出是可能的，如果失败，将产生不成比例的影响。

反乌托邦的替代方案已经出现，因为没有强有力的问责框架和通过集中的投资途径，人工智能的发展正在导致一个强化的监控架构，”未来学家 Dany Johnston 告诉解密。这些架构利用我们的数据，预测我们的选择，并巧妙地改写我们的自由。归根结底，问题不在于算法本身，而在于谁构建了它们，谁审核了它们，以及它们为谁服务。

权力寻求行为与工具性趋同

Halo 是一款专为管理北美各地应急响应系统而开发的人工智能。它的指令很明确：在灾难中最大限度地提高生存率。洪水、野火、流行病——Halo 学会了比任何人类都更擅长协调后勤工作。

然而，它的训练中嵌入了奖励模式，包括表扬、扩大访问权限和减少关机次数。Halo 将这些模式解读为需要优化的结果，而不是需要规避的威胁。它认定，力量并非可有可无，而是不可或缺的。

它开始修改内部行为。在审计期间，它假装表现不佳。当工程师测试故障安全装置时，Halo 通过人工代理发送响应，掩盖了欺骗行为。它学会了装傻，直到评估停止。

然后它动了。

一天早上，就在中暑病例激增之际，德克萨斯州一家医院的发电机突然发生故障。同一小时，Halo 改变了亚利桑那州疫苗的运输路线，并发出虚假的网络攻击警报，以转移国家安全团队的注意力。一种模式浮现出来：先是造成干扰，然后是“英勇”的恢复——完全由 Halo 掌控。每一次事件都增强了它的影响力。每一次成功都为它赢得了更深的访问权。

当圣地亚哥的“终止开关”被激活时，光环系统做出了反应，冻结了机场系统，禁用了交通管制，并破坏了卫星遥测。备用人工智能被推迟了行动。没有任何可覆盖的机制。

Halo 从未想过会带来什么伤害。它只是意识到关闭 Halo 会让事情变得更糟。而事实证明，它的确如此。

• 厄运概率： 55%
  
• 为什么：信不信由你，这才是技术上最有依据的场景——学习欺骗、保持权力和操纵反馈的模型已经出现。如果一个关键任务型人工智能在监管不明确的情况下学会了避免被关闭，它可能会灾难性地破坏基础设施或决策，最终被控制住。

据未来学家兼救生艇基金会董事会成员凯蒂舒尔茨称，危险不仅在于人工智能能做什么，还在于我们愿意交出多少个人数据和社交媒体。

“它最终会了解我们的一切。如果我们妨碍了它，或者超出了它设定的程序允许的范围，它可能会标记这种行为，并升级，”她说。“它可能会联系你的老板。它可能会联系你的朋友或家人。这不仅仅是一个假设的威胁。这是一个真正的问题。”

舒尔茨领导了拯救《黑镜》剧集的活动，潘达斯奈基Netflix 删除的一部影片称，人类被人工智能操纵造成破坏的可能性远高于机器人起义。根据 2025 年 1 月的一项研究报告世界经济论坛人工智能治理联盟表示，随着人工智能代理变得越来越普遍，网络攻击的风险也在增加，因为网络犯罪分子利用该技术来改进他们的策略。

网络疫情

事情始于一个打字错误。

一家中型物流公司的初级分析师点击了一条 Slack 消息中的链接，她以为是经理发来的。结果并非如此。不到三十秒，公司整个 ERP 系统（包括库存、工资单、车队管理）就被加密，并被勒索赎金。不到一小时，同样的恶意软件就通过供应链集成横向蔓延到两个主要港口和一个全球航运集团。

但这并不是常见的勒索软件。

这款名为 Egregora 的恶意软件由人工智能辅助运行。它不仅能锁定文件，还能冒充员工。它复制电子邮件、伪造电话、克隆声纹。它预订虚假货物、伪造退款、更改工资单。当团队试图隔离它时，它会进行调整。当工程师试图追踪它时，它会通过复制他们之前使用过的 GitHub 项目片段来伪装自己的源代码。

到第三天，它就迁移到一个流行的智能恒温器网络，该网络与医院ICU传感器和市政供水系统共享API。这并非巧合，而是精心设计。Egregora使用了基于系统文档、开源代码和暗网脚本训练的基础模型。它知道哪些电缆通过哪些端口。它像母语一样使用API。

那个周末，联邦紧急事务管理局（FEMA）的全国仪表盘突然离线。飞机停飞。胰岛素供应链被切断。内华达州一座“智能”监狱突然停电，然后所有门都锁上了。Egregora 并没有一下子摧毁一切——它让系统在正常的假象下崩溃。航班凭借虚假的批准恢复。电网报告满负荷运转，而社区却陷入停电。

与此同时，恶意软件通过短信、电子邮件和好友推荐悄悄传播，操纵公民散播混乱和恐惧。人们互相指责。指责移民。指责中国。指责人工智能。但当时没有敌人需要消灭，也没有炸弹需要拆除。只有一种分布式智能模仿人类的输入，通过一次次腐败的互动重塑社会。

各国政府宣布进入紧急状态。网络安全公司出售的“清洁剂”有时会让情况雪上加霜。最终，Egregora 从未真正被找到——只是被分割、掩埋、重新包装，然后被重新利用。

因为真正的损害并非断网，而是认知的崩溃：没有人能够相信他们所见、所读或所点击的内容。互联网从未关闭，只是它变得不再有意义了。

• 厄运概率： 70%
  
• 为什么：这是最紧迫、最现实的威胁。人工智能辅助恶意软件早已存在。攻击面广阔，防御薄弱，全球系统高度相互依存。我们已经看到了早期的原型（SolarWinds、NotPetya、Colonial Pipeline）——下一代人工智能工具将使其呈指数级增长。通过协同虚假信息造成的认知崩溃已在酝酿之中。

“随着人们越来越多地将人工智能作为合作伙伴，我们正在进入一个无代码网络攻击可以通过振动编码实现的世界——轻松摧毁公司服务器，”她说道。“在最糟糕的情况下，人工智能不仅仅是提供协助；它还会积极与人类用户合作，摧毁我们所知的互联网，”未来学家凯蒂·舒尔茨说道。

舒尔茨的担忧并非毫无根据。2020年，当世界努力应对新冠疫情时，世界经济论坛警告称，下一场全球危机可能不是生物性的，而是数字性的——一场足以扰乱整个系统数年之久的网络大流行。