世界各国政策制定者正在努力应对人工智能带来的新机遇与危险。在所有AI可能对世界产生的影响中，最具深远意义的莫过于将其整合到核武器指挥控制系统。若使用不当，核作战中的人工智能可能带来毁灭世界的后果。如果实施得当，它又可以通过改进预警探测和增强二次打击能力的生存能力来降低核风险，这两者都将加强威慑力。要充分利用这些优势，系统必须考虑人类与机器的优势与局限。成功的人机联合认知系统将结合自动化的精确性与速度，以及人类判断的灵活性，同时避免自动化偏见和人类将判断权让渡给机器。由于AI应用尚处早期阶段，美国有机会通过更明确地阐述政策、推动广泛国际协议以及作为规范性引领者，使世界变得更加安全。

美国在制定和传达军事AI及自主系统政策方面极为透明且前瞻，2012年发布武器自主化政策，2020年采纳军事AI伦理原则，2023年更新武器自主化政策。国防部在2022年《核态势评估报告》中正式明确表示，核武器使用决策将始终保持人类"在环"。2023年11月，40多个国家与美国共同签署了关于负责任军事使用AI和自主系统的政治宣言。签署国不仅包括美国盟友，还有非洲、东南亚和拉丁美洲国家。

基于这一成果，美国应推动与其他核大国达成国际协议，以缓解将AI整合到核系统或在无人载具上部署核武器的风险。英国和法国在2022年与美国联合声明，同意"保持人类控制"核发射的必要性。理想情况下，如果俄罗斯和中国能加入这一原则，这可以成为联合国安理会常任理事国承诺的开端。即便他们不愿同意，美国也应进一步完善自身政策以解决关键漏洞，并与其他拥核国家合作强化承诺，作为临时措施和建立国际共识的途径。

自动化的危险

随着军队日益采用AI和自动化，迫切需要明确这些技术在核作战中的使用规范。缺乏正式协议的情况下，各国可能面临渐进式的自动化蔓延趋势，破坏核稳定性。尽管政策制定者出于对放弃未来关键能力的担忧而不愿限制新兴技术，但美国官员不应想当然地认为其他国家会负责任地对待核作战中的AI和自动化。俄罗斯的"死亡之手"Perimeter系统和"波塞冬"自主核武装水下无人机等例子表明，其他国家可能与美国对风险的认识不同，并愿意承担美国政策制定者认为不可接受的风险。

现有系统，如俄罗斯的Perimeter，凸显了各国将自动化整合到核系统的风险。Perimeter据称是苏联在1980年代创建的系统，作为在斩首打击消灭苏联领导层时的应急机制。Perimeter据称拥有传感器网络来判断是否发生核攻击。如果这些传感器在系统激活时被触发，它将等待预定时间接收高级军事指挥官信号。若总部没有信号——推测是因苏联/俄罗斯领导层已被消灭——Perimeter将绕过正常指挥链，将核发射权移交值班的初级军官。俄罗斯高级官员称该系统仍在运行，2011年表示该系统"处于战备状态"，2018年称已"改进"。

该系统旨在减轻苏联领导人在时间压力和信息不全情况下仓促做出核决定的重担。理论上，苏联/俄罗斯领导人可以有更多时间考虑，因为有应急机制保证在美国成功实施斩首打击时进行报复。然而代价是，这一系统可能在事故情况下为核毁灭铺平道路。

允许自主系统参与核发射决策可能破坏稳定性并增加核事故风险。斯坦尼斯拉夫·彼得罗夫事件是核决策自动化危险的典型案例。1983年，苏联预警系统显示美国发射了数枚洲际弹道导弹。当时的值班军官彼得罗夫中校怀疑系统故障，因为发射的导弹数量异常少且未被预警雷达发现。他（正确地）将其报告为故障而非攻击。AI和自主系统通常缺乏人类拥有的情境理解能力，而彼得罗夫正是利用这点识别出导弹发射是虚警。若在核作战关键阶段缺乏人类判断，自动化系统可能犯错或放大虚警，加剧核风险。

此外，仅有人类在环并不足以确保有效的人类决策。操作人员常陷入自动化偏见，即过度信任自动化并将判断权让渡给机器。自动驾驶汽车事故展示了人类过度信任自动化的危险，而军事人员也难免疫这一现象。为确保人类在决策中保持认知参与，军队不仅需要考虑自动化本身，还需考虑人类心理学和人机界面。

更广泛地说，在设计人机系统时，必须有意识地确定人类与机器的适当角色。机器通常更擅长精确性与速度，而人类更擅长理解宏观背景和运用判断力。常见的情况是，人类操作员被留作自动化无法处理的边缘情况的备份或应急措施。但这种模式往往忽视了人类心理的现实。即使操作员没有陷入自动化偏见，假设一个人可以被动观察机器执行任务数小时（无论是自动驾驶汽车还是军事武器系统），然后在自动化失效时突然正确识别问题并接管控制，这是不现实的。人类心理并非如此运作。而复杂高度自动化系统的悲剧事故，如2009年法国航空447航班空难和2018-2019年737 MAX空难，证明了考虑自动化与人类操作员动态互动的重要性。

美军也曾因自动化系统发生悲剧事故，即使有人类在环。2003年，伊拉克战争初期，美国陆军"爱国者"防空导弹系统误击两架友军飞机。两起事件中均有人类在环。但复杂的人为与技术失误混合意味着，人类操作员并未充分理解他们负责的高度复杂自动化系统，也未有效掌控。

军队需要制定指导原则，为系统设计、操作员培训、条令和作战程序提供依据，确保在环人类不仅是机器中的无意识齿轮，而是真正行使人类判断。在核领域发布这一具体指导最为关键，因为事故后果可能极为严重。

澄清国防部指导原则

关于自主性和AI在核作战中作用的最新政策和声明是建立这一急需指导原则的重要第一步，但需要进一步澄清。2022年《核态势评估报告》指出："在所有情况下，美国将保持人类'在环'，参与总统做出和终止核武器使用决策的所有关键行动。"英国在2022年采取类似政策，在其 《国防人工智能战略》中表示："我们将确保——无论战略系统中如何使用AI——始终保持人类对核武器的政治控制。"

作为关于AI在核指挥控制中作用的首次官方政策，这些是具有里程碑意义的声明。美国高级军官此前已强调人类控制核武器的重要性，包括2019年时任联合人工智能中心主任杰克·沙纳汉中将的声明。但官方政策声明对向军队内外受众传递人类牢牢掌控所有核使用决策的重要性更为关键。然而这些高层声明在实施层面留下许多悬而未决的问题。

国防部的下一步是将"人类在环"这一高层原则转化为对核系统、条令和培训的具体指导。关键问题包括：哪些行动属于"总统做出和终止核武器使用决策的关键行动"？这些仅包括围绕总统的直接行动，还是也包括总统决策前后指挥链更下游的行动？例如，允许人类向总统提交基于算法的核攻击建议是否可接受？还是需要人类参与理解数据并做出自己的判断？

美军已使用AI处理信息，如卫星图像和无人机视频。推测AI也将用于支持可能影响核使用决策的情报分析。在何种情况下AI对核稳定性是适当且有益的？某些应用和使用方式是否比其他更有价值？

使用AI时，应采取哪些保障措施防范错误、故障或AI系统欺骗？例如，美国目前采用"双现象学"机制，确保潜在导弹攻击通过两种独立感知方法（如卫星和地基雷达）确认。美国是否应对核作战中的任何AI应用采取双算法方法，确保存在两个基于不同数据集和算法训练的独立AI系统，作为防范欺骗攻击或不可靠AI系统的保障？

当AI系统用于处理信息时，应如何向人类操作员呈现？例如，若军方使用训练识别导弹燃料加注迹象的算法，AI系统报告"燃料加注"与"准备发射"可能导致人类不同解读。"燃料加注"是AI实际检测的更精确描述，可能促使人类分析员寻求更多信息，而"准备发射"是根据更广背景可能适当也可能不适当的结论。

使用算法推荐系统时，人类应直接审查多少基础数据？操作员仅查看算法结论是否足够，还是应能访问支持算法建议的原始数据？

最后，对在环人类期望的参与程度是什么？人类仅是作为AI故障时的应急措施？还是必须参与分析信息、生成行动方案和提出建议的过程？这些步骤中某些是否对人类参与更重要？

这些都是美国在寻求利用AI于核作战优势同时满足人类在环政策时需要解决的关键问题。国防部越早澄清这些问题，就越能加速AI以符合核作战必要可靠性标准的方式获得信任和采用。澄清这些问题也不会过度限制美国对待AI的方式。指导原则可随技术发展调整。但缺乏明确指导可能错失宝贵AI应用机会，或更糟，以可能破坏核安全与威慑的方式采用AI。

死亡之手系统

在澄清人类在环政策时，美国应坚决承诺拒绝"死亡之手"核发射系统或包含算法组件的待命发射系统。俄罗斯Perimeter这类死亡之手系统似乎已被当前国防部政策禁止。但鉴于其风险，美国应明确声明不会建造此类系统。

尽管危险，一些美国分析人士建议美国应采纳死亡之手系统应对AI、高超音速武器和先进巡航导弹等新兴技术威胁。但存在更安全的应对方法。与其将人类未来赌在算法上，美国应加强二次打击威慑应对新威胁。

部分美国国会议员甚至希望将这一要求写入法律。2023年4月，两党议员团体提出《阻止自主人工智能核发射法案》，禁止资助任何无"有意义人类控制"的核武器发射系统。对战略系统保持人类在环的法律要求有先例。1980年代"星球大战"计划期间，国会通过法律要求战略导弹防御系统需"适当层级权威的肯定性人类决策"。该立法可作为核使用类似法律要求的范本。法律要求的优势在于确保这一重要政策不会被未来更愿冒险的政府或五角大楼领导层未经国会授权推翻。

核武器与无人载具

美国应同样澄清其在无人载具上部署核武器的政策。美国正在生产新型核能力战略轰炸机B-21，未来可执行无人任务，并开发可携带武器载荷的大型海底无人载具。美军军官已强烈表示不愿在无人平台上部署核武器。2016年，时任空军全球打击司令部司令罗宾·兰德上将指出，B-21携带核武器时将始终有人驾驶："如果要我明确表态，我非常倾向于在核武器双重能力任务中保持人类在环——飞行员。"兰德将军的观点可能在高级军官中普遍，但并非官方政策。美国应采纳官方政策，不在可回收无人平台上部署核武器。制定这一政策可为武器开发者和军种提供指导，明确无人平台在核作战中的适当角色，因为国防部正在部署更大无人和可选有人平台。

核武器长期部署在无人投射载具上，如弹道导弹和巡航导弹，但在可回收无人平台（如轰炸机）上部署核武器有根本区别。人类发射核导弹的决定就是实施核打击的决定。而人类可派遣可回收双向无人平台（如无人机轰炸机或海底自主载具）巡逻。这种情况下，发射核武装无人机的决定尚非核打击决定。相反，无人机可能作为升级信号或为后续核打击决定预置。这将极大依赖无人机的通信链路和机载自动化，两者都可能不可靠。

美军曾失去对无人机的控制。2017年，一架陆军小型战术无人机在操作员失去通信后飞行600多英里，从亚利桑那州南部飞至丹佛。2011年，一架高度敏感的美国RQ-170隐形无人机在阿富汗上空失联后落入伊朗手中。失去对核武装无人机的控制可能导致核武器落入错误方，或最坏情况下升级核危机。保持核安全的唯一方法是，在做出核打击决定前保持人类对核武器的直接物理控制。

尽管美军极不愿在无人机或海底载具上部署核武器，俄罗斯已在开发此类系统。"波塞冬"或"状态-6"海底自主无人载具据称是作为对美国实施二次或三次核打击的武器。俄罗斯计划如何使用该武器尚不明确——且可能随时间演变——但原则上像波塞冬这样的无人平台可被派去巡逻，带来危险事故风险。随着技术成熟，其他核大国可能看到核武装无人机或海底载具的价值。

美国应基于当前塑造军事AI使用全球规范的势头，与其他国家合作澄清核武装无人机的危险。第一步，美国防部应明确声明官方政策不会在双向可回收无人平台（如轰炸机或海底载具）上部署核武器。美国有时在其他领域放弃危险武器，如产生碎片的反卫星武器，并公开阐明其危险。类似解释核武装无人机的危险可能影响其他核大国行为，潜在阻止其采用。

结论

核大国必须深思熟虑地对待AI和自主性在核作战中的整合。某些应用，如使用AI帮助降低突袭风险，可能提升稳定性。其他应用，如死亡之手系统，则可能危险且破坏稳定。俄罗斯的Perimeter和波塞冬系统表明，其他国家可能愿意承担美国领导人认为不负责任的自动化和自主性风险。美国必须基于当前势头，澄清自身政策并与其他拥核国家合作，寻求关于核作战中AI负责任护栏的国际协议。拜登总统与习近平主席会晤时关于中美AI核指挥控制协议传闻，为核大国共同防范AI整合到人类最危险武器的风险提供了诱人可能性。美国应抓住此刻，不错过这一构建更安全、更稳定未来的机会。

迈克尔·德普是新美国安全中心(CNAS)AI安全与稳定项目研究助理。

保罗·沙尔是CNAS执行副总裁兼研究主任，《四大战场：人工智能时代的权力》作者。

简介