阅读我们的奥本海默收藏

作者Anthony Aguirre、Emilia Javorsky、Max Tegmark|2023年7月17日

想象一下现在是2032年。美国和中国仍然是竞争对手。为了给军事指挥官更好的情报和更多的决策时间，两个大国都在其核指挥、控制和通信系统中集成了人工智能。但相反，事件发生了意想不到的转折，失去了控制，带来了灾难性的结果

这是太空电影公司制作的一部名为人工升级的新短片中讲述的故事；未来生活研究所的VFX这个情节听起来可能像科幻小说（故事是虚构的），但人工智能融入大规模杀伤性武器的可能性现在非常现实。一些专家表示，美国应该使用人工智能构建一个NC3系统，“具有预先确定的反应决策，检测、决定和指挥战略力量。”。“美国已经在设想在常规指挥和控制系统中进行这样的集成：联合全领域指挥和控制提议将所有军种的传感器连接到一个单一的网络中，使用人工智能识别目标并推荐“最佳武器”。但NC3-AI集成是一个可怕的想法

斯德哥尔摩国际和平研究所（SIPRI）探讨了人工智能融入NC3的关键风险，包括：战争速度加快、意外升级、对意图和能力的误解、人类控制的侵蚀、首次打击的不稳定性、人工智能的不可预测性、人工智能对对手渗透的脆弱性以及军备竞赛动态。人工智能国家安全委员会警告称，人工智能“可能会全面提高战争的速度和自动化，减少采取缓和措施的时间和空间。”。这可能导致意外的冲突升级、危机不稳定，甚至核战争

随着军备竞赛动力学推动人工智能进步，将速度置于安全之上，重要的是要记住，在相互毁灭的竞赛中，没有赢家。军备竞赛在某种程度上变成了自杀式竞赛。不将人工智能集成到综合指挥、控制和通信系统中的原因是多方面的：

对抗性人工智能具有不可预测的升级风险即使AI-NC3系统经过仔细测试和评估，它们也可能因设计而变得不可预测。两个或多个这样的系统在复杂和敌对的环境中相互作用，可能会将彼此推向新的极端，大大增加意外升级的风险。我们以前在2010年的股市“闪电崩盘”中看到过这种情况，当时对抗性交易算法在不到一小时的时间里从证券交易所蒸发了数万亿美元。相当于那一小时的军事行动将是灾难性的

没有真实的训练数据人工智能系统在训练中需要大量数据，无论是真实的还是模拟的。但是，核冲突训练系统需要生成信息不完整的合成数据，因为对手的全部能力尚不清楚。这为指挥和控制组合增加了另一个危险的不可预测性因素

网络系统的网络漏洞人工智能集成的指挥、控制和通信系统也容易受到网络攻击、黑客攻击和数据中毒的影响。当所有传感器数据和系统联网时，故障可能会蔓延到整个系统。每个核国家的系统都必须考虑到这些脆弱性中的每一个，因为整个系统只有最薄弱的环节才能强大

认识的不确定性人工智能制造虚假信息的广泛使用已经给真实和虚假蒙上了阴影。在军事背景下，无法辨别真相尤其危险，准确的信息对指挥和控制系统的稳定性尤为关键。从历史上看，即使在幕后也有虚假信息活动的情况下，对手之间也有可靠、值得信赖的沟通渠道。当我们更多地实现自动化，减少人与人之间的接触时，这些可靠的渠道就会消失，不必要的升级风险就会飙升

人类对机器的反抗如果一个算法提出了一个建议，的人可能会反抗，但会吗？当可靠的通信通道关闭时，所面临的问题是复杂的情况下，依靠计算机和智能系统来提供正确的答案是很自然的。拒绝建议需要了解背景和决策方式。如今，即使是人工智能系统的设计者也不了解它们是如何工作的，所以我们不应该期望处于高压力环境中的最终用户了解人工智能系统选择的复杂性，并决定他们更了解

综合起来，所有这些因素都会削弱人类的能力，并通过促进对人工智能决策的极度尊重来削弱他们的控制。对人类失去对人工智能控制的描述通常分为两类：流氓人工智能或恶意使用。但还有第三种方式可以让人类失去控制，这是最现实的：人类在幻想自己仍然拥有功能控制的情况下，自愿将功能控制权交给人工智能。

保持人类对人工智能控制的一种常用灵丹妙药是保持人类的参与。在人工升级中，人类表面上参与了这一过程中的决策。然而，在实践中，他们的人性导致他们顺从机器，失去对过程的控制。仅仅让一个人参与循环是不够的；各国及其军队必须确保人类对高风险决策保持有意义的控制

将人工智能集成到指挥、控制和通信的关键功能中是鲁莽的。世界不能放弃对大规模杀伤性武器这样危险的东西的控制。随着联合国安理会准备于明天举行会议，讨论人工智能和核风险，现在是时候设定硬性限制，加强信任和透明度，并确保未来掌握在人类手中

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：人工智能、NC3、人工升级、人工智能、核指挥与控制
主题：artificial intelligence，核风险>是加州大学圣克鲁斯分校和执行董事和。。。阅读更多

Emilia Javorsky医学博士、公共卫生硕士是未来生命研究所未来项目的主任。她还是Wyss的科学家和导师。。。阅读更多

Max Tegmark是麻省理工学院从事人工智能研究的教授，也是“生命的未来”的联合创始人。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介