阅读我们的Oppenheimer收藏

作者：Zachary Kallenborn|2022年2月1日

<源大小=（最大宽度：839px）100vw，839px srcset=https://thebulletin.org/wp-content/uploads/2022/02/nuclear-football.png.webp839w，https://thebulletin.org/wp-content/uploads/2022/02/nuclear-football-300x250.png.webp300w，https://thebulletin.org/wp-content/uploads/2022/02/nuclear-football-768x641.png.webp768w，https://thebulletin.org/wp-content/uploads/2022/02/nuclear-football-443x370.png.webp443w type=images/webp> 核足球高度=700尺寸=（最大宽度：839px）100vw，839px

核足球跟随总统旅行。它允许总统授权进行核发射

如果人工智能控制了核武器，我们所有人都可能死亡

这一点都不夸张。1983年，苏联防空部队中校斯坦尼斯拉夫·彼得罗夫（Stanislav Petrov）在监测核预警系统时，计算机以最高的信心得出结论，认为美国发动了核战争。但彼得罗夫对此表示怀疑：计算机估计只有少数核武器进入，而这样的突然袭击更有可能引发压倒性的第一次打击。他也不相信新的发射探测系统，雷达系统也没有确凿的证据。彼得罗夫认为这条消息是假阳性，没有采取任何行动。电脑出了问题；彼得罗夫是对的。这些虚假信号来自早期预警系统，将太阳从云层反射的光线误认为是导弹。但如果彼得罗夫是一台机器，被编程为在信心足够高时自动做出反应，那么这个错误就会引发一场核战争

军方越来越多地将自主功能纳入武器系统，尽管据公众所知，他们还没有将核发射代码转换为人工智能系统。俄罗斯已经开发出一种核武器、核动力鱼雷，这种鱼雷以某种不为公众所知的方式自主，美国的国防思想家提出了核武器发射决策的自动化

不能保证某些军队不会让人工智能负责核发射；国际法并没有规定应该有一个“彼得罗夫”来保护按钮。这种情况很快就会改变

自主核武器怎么会出问题自主核武器以及所有自主武器的最大问题是错误。基于机器学习的人工智能——当前的人工智能流行——依赖于大量数据来执行任务。谷歌的AlphaGo程序击败了世界上最伟大的人类围棋选手，他们是比国际象棋更复杂的中国古代围棋的专家，通过与自己进行数百万场比赛来学习围棋。对于像围棋这样的限制性游戏来说，效果很好。但在现实世界中，数据可能在各种方面存在偏见或不完整。例如，一种招聘算法得出结论，被命名为Jared和打高中长曲棍球是衡量工作表现最可靠的指标，可能是因为它在数据中发现了人类的偏见

在核武器背景下，政府可能几乎没有关于对手军事平台的数据；现有数据可能在结构上有偏差，例如依赖卫星图像；或者数据可能无法解释明显的、预期的变化，例如在雾天、雨天或阴天拍摄的图像

核冲突的性质加剧了错误的问题

如何训练核武器AI？核武器在广岛和长崎只使用过两次，严重的核危机（谢天谢地）很少发生。也许可以从对手的核理论、计划、采办模式和作战活动中得出推论，但缺乏核冲突的实际例子意味着无法判断这些推论的质量。虽然缺乏例子也阻碍了人类，但人类有更高阶推理的能力。人类可以从有限的信息或类似但不等价的信息中创造理论并识别一般性。机器不能

更深层的挑战是预测罕见事件的高假阳性率。谢天谢地，只有两个核反应堆历史上的袭击。一个旨在探测和报复来袭核武器的自主系统，即使高度准确，也会经常出现误报。在世界各地，在朝鲜、伊朗和其他地方，试验导弹被发射到海里，火箭被发射到大气层。而且，核袭击的虚假警报已经很多了，远远超过了实际的袭击。一个几乎一直正确的人工智能仍然有很多机会出错。同样，根据对疾病流行率和假阳性率的假设，99%的时间都能准确诊断出罕见病病例，阳性诊断可能意味着真正患有该疾病的可能性只有5%。这是因为对于罕见病，假阳性的数量可能远远超过真阳性的数量。因此，如果一枚自主核武器以99%的信心结束核战争，它应该开火吗

在极不可能的情况下，这些问题都能得到解决，自主核武器带来了新的错误风险和不良行为者操纵系统的机会。当前的人工智能不仅脆弱；愚弄人很容易。一个像素的变化就足以让人工智能相信隐形轰炸机是一只狗。这就产生了两个问题。如果一个国家真的寻求核战争，他们可以先愚弄人工智能系统，使其变得无用。或者，像日本邪教奥姆真理教这样资源充足的世界末日恐怖组织可能会试图诱骗对手的系统发动一场催化性的核战争。这两种方法都可以用非常微妙、难以检测的方式实现：数据中毒可能会操纵输入人工智能系统的训练数据，或者无人系统或发射器可能会被用来欺骗人工智能，让其相信核打击即将到来

错误的风险会混淆精心制定的核战略和计划。如果军队不得不发动核战争，那么用巨大的力量瞄准敌人自己的核系统将是限制报复的好方法。然而，如果人工智能错误地发射了核武器，那么决定性的开场齐射可能微不足道——一枚核武器瞄准了一个不太理想的目标。意外地用核武器袭击一个大城市可能会引发压倒性的核报复，因为对手仍然拥有所有的导弹发射井，只是没有城市

尽管如此，一些人认为自主武器（不一定是自主核武器）最终会降低出错的风险。机器不需要保护自己，在做出使用武力的决定时可以更加保守。他们没有模糊判断的情绪，也没有表现出确认偏见——一种人们以符合自己欲望或信仰的方式解释数据的偏见

虽然这些论点在常规战争中有潜在的优点，但取决于技术的发展，在核战争中没有。作为战略威慑，各国有强烈的动机保护其核武器平台，因为它们实际上是在保护自己的存在。各国没有规避风险，而是有动机在受到攻击的情况下先发制人地发射，因为否则他们可能会失去核武器。一些情绪也应该成为核决策的一部分：灾难性核战争的前景应该是可怕的，而且做出的决定非常谨慎

最后，虽然自主核武器可能不会表现出确认偏差，但缺乏训练数据和真实世界的测试环境意味着自主核武器会经历许多偏差，这些偏差可能直到核战争开始后才被发现

释放核力量的决定是一位领导人所能做出的最重要的决定。它使一个国家陷入生存冲突，数百万甚至数十亿人的生命处于平衡之中。这样一个重大的、深刻的人类决定永远不应该由计算机做出

反对自主武器的活动人士一直在犹豫是否要把重点放在自主核武器上。例如，红十字国际委员会在其关于自主核武器的立场声明中没有提及自主核武器。（公平地说，国际机器人武器控制委员会（International Committee for Robot Arms Control）2009年的声明提到了自主核武器，尽管它更多地代表了所谓“阻止杀人机器人”运动的知识派。）也许活动人士认为核武器已经被广泛禁止，或者不希望普遍使核武器合法化，但缺乏关注是一个错误。核武器的使用和扩散已经有了广泛的既定准则，许多条约也支持这些准则。禁止自主核武器应该是建立反对规范的一个容易的胜利自主武器。此外，自主核武器可能是自主武器风险最高的表现形式（人工超级智能是唯一潜在的更高风险）。更糟糕的是：一个自动炮塔意外杀死了一名平民，还是一个自动核武器引发了一场核战争，导致灾难性的破坏，甚至可能导致全人类的灭绝？提示：灾难性的破坏要严重得多

自主核武器的地位核武器方面已经有了一些自主性，但我们应该有多担心，这很复杂，也不清楚。

根据美国海军的文件，俄罗斯的“海神”是一种“洲际核动力核武装自主鱼雷”，而国会研究服务局也将其描述为“自动海底飞行器”。“该武器旨在成为发生核冲突时使用的第二种打击武器。也就是说，这是一种旨在确保一个国家能够随时对核打击进行报复的武器，即使是意外的所谓“晴天霹雳”。一个没有答案的问题是：波塞冬能自主做什么？也许鱼雷只是有一些自主机动能力，可以更好地到达目标——基本上是水下巡航导弹。这可能不是什么大不了的事，尽管误导攻击可能会有一些错误的风险

如果允许鱼雷在特定条件下自主攻击，那就更令人担忧了。例如，如果在俄罗斯领导层担心可能发生核攻击的危机场景中，波塞冬鱼雷是在游荡模式下发射的，该怎么办？如果波塞冬号失去了与主潜艇的通信，它可能会发动攻击。最令人担忧的是：鱼雷有能力自行攻击，但这种可能性很小。这需要一种独立的手段，让波塞冬号在远离海洋的地方评估是否发生了核攻击。当然，考虑到人们对波塞冬知之甚少，这都是猜测。但这也是问题的一部分：了解另一个国家的自治系统是如何运作的真的很难

各国也对所谓的“死手系统”感兴趣。死手系统旨在提供备份，以防一个国家的核指挥机构被破坏或杀害。像俄罗斯的Perimeter这样相对简单的系统可能会在发生危机和特定情况（如与指挥机构失去通信）时，将发射权力下放给下级指挥官。但正如威慑专家Adam Lowther和Curtis McGuffin在2019年《岩石上的战争》（War on the Rocks）的一篇文章中所说，美国应该考虑“一个基于人工智能的自动化战略反应系统”，尽管正如作者所承认的那样，该系统可能会产生大量错误和问题。国防部联合人工智能中心前负责人杰克·沙纳汉中将立即否决了这一提议：“你不会发现有更强烈的支持者将人工智能能力整合到国防部，但有一个领域我停了下来，那就是核指挥和控制。”但沙纳汉于2020年退休，没有理由相信这个提议不会再次出现。也许下一次，没有人会击落它

需要发生什么在《核不扩散条约》第八条允许的情况下，成员国应提出一项条约修正案，要求所有核武器国家始终将人类纳入使用核武器的决策链。这可能需要外交手段，可能需要一段时间。在短期内，各国应在2022年8月成员国下次会议审查该条约时提出这个问题，并在2025年会议期间设立一个专注于自主核武器问题的会外活动。即使无法在2022年会议上达成共识，各国也可以开始克服任何障碍，支持未来的修正案。各国也可以在审查会议进程之外达成共识：禁止自主核武器可以作为关于新的自主武器禁令的更广泛多边讨论的一部分进行讨论

美国应该成为这方面的领导者。国会任命的人工智能国家安全委员会建议人类保持对核武器的控制。第12页指出，“美国应该（1）明确、公开地确认美国现有的政策，即只有人类才能授权使用核武器，并寻求类似的政策俄罗斯和中国的承诺。”将这一要求正式纳入国际法将使其更加有力

不幸的是，要求人类就发射核武器做出决定并不是故事的结束。一个明显的挑战是如何确保对人类控制的承诺是值得信赖的。毕竟，很难判断一种武器是否真的是自主的。但至少有一些选择可以让人放心：各国可以通过法律，要求人类批准使用核武器的决定；为核指挥和控制过程提供最低限度的透明度，以展示有意义的人类控制；或者全面禁止任何旨在使核武器自主化的研发

现在，这些都不应该表明人工智能和核武器的任何融合都是可怕的。或者，更准确地说，比核武器本身更可怕。人工智能在态势感知、情报收集、信息处理和提高武器精度方面也有应用。人工智能可以帮助决策支持和通信可靠性，这可能有助于核稳定。事实上，人工智能已经被纳入核指挥、控制和通信系统的各个方面，例如预警系统。但这不应延伸到对使用核武器决定的完全机器控制

自主核武器的挑战是一个严重的挑战，却很少受到关注。修改《核不扩散条约》，要求核武器国家保持人类对核武器的控制，只是一个开始。至少，如果核战争爆发，我们会知道该怪谁

作者要感谢Philipp C.Bleek、James Johnson和Josh Pollack为本文提供了宝贵的意见

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：核不扩散条约，自主武器，核指挥与控制
主题：颠覆性技术

复制链接链接复制的//span>
>
领英

当然，《终结者》系列电影背后的前提；“天网”的创建，一个控制核武器的人工智能系统。在电影中，天网变得“有自我意识”，当人类试图将其从发射系统中移除时，它会通过发动全面的核攻击来自卫，以杀死“攻击”它的人类。这当然会导致全球核战争，以及“机器的崛起”，这是整个电影系列的“原因”

显然，生活最终可能会以最灾难性的方式模仿艺术

Zachary Kallenborn是国家研究联合会非常规武器和技术部的研究附属机构。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介