1引言

大国正忙于将人工智能纳入现有和新兴的军事系统[3，15，24]。美国国家人工智能安全委员会（NSCAI）总结了人工智能技术和系统在军事上的普遍应用，指出人工智能技术将融入“作战的方方面面”（[23]，第79页）。同样，中国的“新一代人工智能发展规划”强调了“推动各类人工智能技术迅速融入国防创新领域”的必要性[11]。俄罗斯总统弗拉基米尔·普京自信地宣称，无论谁成为人工智能的领导者，都将统治世界[26]

受类似目标和愿望的启发，最近针对人工智能军事化的行动包括启动北约创新基金，该基金优先投资于人工智能、大数据处理、自主系统，以及其他军民两用的新兴技术[22]——以及英国陆军在2022年爱沙尼亚军事演习中首次使用人工智能系统处理地形和其他背景信息(https://www.gov.uk/government/news/artificial-intelligence-used-on-army-operation-for-the-first-time)

核防御系统不能免除正在进行的以人工智能技术和系统为重点的军事计划和行动。美国NSCAI建议“人工智能应协助核指挥和控制的某些方面：早期预警、早期发射探测和多传感器融合。”（[23]，第104页）。此外，人工智能在网络作战中的新用途可能会增加对核指挥、控制和通信（NC3）基础设施的网络威胁的数量和质量，从而影响核防御系统和冲突中的核升级风险

这篇文章概述了由于人工智能军事化而出现的主要核风险。第17.2节审查了对军事核基础设施的网络威胁及其即将通过人工智能网络攻击进行的增强。第17.3节审查了使用人工智能技术实现核预警系统现代化的建议，以及人工智能固有的脆弱性、脆性和信息处理不透明性带来的相关风险。第17.4节简要概述了人工智能对核威慑政策的更广泛的破坏稳定影响，这些影响源于人工智能驱动的自主航行船只尾随配备弹道导弹的潜艇，人工智能深度伪造削弱了核大国政治领导人的可信度和一致性，自主武器系统有可能使常规军事平衡倾斜，并为对手提供新的动机，威胁使用核武器以避免失败。

2AI驱动的网络威胁和核升级风险

网络攻击大致上是针对计算机和计算机信息系统、网络或基础设施的网络操作，目的是窃取、暴露、更改、禁用，以及破坏数据或破坏它们的正常计算处理。网络攻击使用各种工具和方法进行，包括恶意软件、网络钓鱼和拒绝服务

人们经常提出这样一个问题，即是否可以对网络攻击做出非实物回应，而是使用部署在其他传统战争领域的常规武器，甚至大规模杀伤性武器。这个一般性问题的一个例子是，人们是否会考虑使用核武器来应对网络攻击（如果是，在什么情况下）。后一个问题与2018年《美国核态势评估》中的一项总体主张有意义，根据该主张，人们可以考虑“在极端情况下使用核武器来捍卫美国、其盟友和合作伙伴的重大利益”。其中进一步规定，极端情况“可能包括重大的非核战略攻击”。”（[31]，第21页）。举个例子，其中提到了两种可能被视为重大非核战略攻击的广泛场景：

（i）
对美国、盟国或伙伴平民人口或基础设施的攻击
（ii）
攻击美国或盟国核力量、其指挥和控制，或警告和攻击评估能力（[31]，第21页）

这两种情况都是根据其目标和效果进行描述的，没有对实现这些目标所使用的武器类型进行任何限制效果。这种方法与美国空军的一份条令文件一致，该文件指出，战略攻击“不是通过使用特定武器或专注于特定目标来定义的”（[2]，第3页）。相反，它的战略特征取决于“通过最直接、有效和高效的手段实现战争胜利的效果。[战略攻击]破坏了关键的领导职能、基础设施和战略，通过影响战争的心理、认知和行为方面来实现结果。”（[2]，第3-4页）

如果不限制实现战略效果的武器种类，人们可能会合理地问网络攻击是否可以算作重大的非核战略攻击。如果这个问题得到了肯定的答案，那么根据2018年《核态势评估》和最近的2022年《核姿态评估》中表达的类似立场，人们可能会进一步问，是否存在可以想象的情况，允许使用核武器来应对重大的非核战略网络攻击

福特在担任负责国际安全和不扩散事务的助理国务卿时提出了这些问题：“为了避免人们对网络攻击是否可能构成‘重大非核战略攻击’感到困惑，我可以满怀信心地说，如果网络攻击通过传统手段造成与重大攻击相当的动能影响，它肯定会。”[14]。Herbert Lin在评论这一说法时表示，“为应对毁灭性的网络攻击而可能首次使用核武器的提议可能与以前的政策没有太大的偏离”（[21]，第28页）

首先，让我们在情景（i）的框架内考虑福特的说法，即与“对美国、盟国或伙伴平民人口或基础设施的袭击”有关。针对民用基础设施的网络攻击数量众多，其名单正在迅速扩大，破坏性影响也在增加。2021年，针对殖民石油管道和2015年针对乌克兰电力设施PrykarpattyaOblenergo的网络攻击因其相对重大的影响而成为头条新闻。针对Colonial Oil Pipeline的恶意软件攻击导致该设施关闭了几天。Colonial输油管道供应了美国东海岸几乎一半的柴油、天然气和喷气燃料。对PrykarpattyaOblenergo的网络攻击中断了电力供应，影响了20多万消费者长达6小时。显然，这两起事件都不属于对平民和基础设施的重大非核战略袭击

网络攻击能否达到对平民和基础设施进行重大非核战略攻击的效果？毫无疑问，人类操作员必须在网络杀伤链的所有阶段进行的活动的手工性是阻碍其速度、数量和破坏性的瓶颈。耗时和劳动密集型操作包括识别软件和硬件漏洞，开发合适的攻击工具，探索目标环境，以及指挥和控制被渗透的系统。但是，鉴于正在进行的消除或缓解这一瓶颈的尝试，网络战的未来发展如何？如果这些劳动密集型活动实现自动化，网络攻击是否一定会低于重大非核战略攻击的阈值

利用基于机器学习方法的人工智能系统的举措正在顺利进行，以自动化并提高网络攻击的速度、数量和破坏性。尽管目前“没有公开报道的机器学习被用于直接攻击系统或应用程序的案例”（Abaimov Martellini，第122页），2021年NSCAI的最终报告警告说“机器学习在网络攻击行动的各个阶段都有当前和潜在的应用，并将改变网络战和网络犯罪的性质。现有人工智能网络能力的不断扩大的应用将使网络攻击更加精确和量身定制，进一步加速和自动化网络战，实现更隐蔽、更持久的网络武器gns在更大范围内更有效。”（NSCAI，第50-51页）。因此，必须不断审查机器学习方法在扩大人工智能系统网络能力方面的当前和未来应用，以评估网络攻击的潜在破坏性及其对未来战争的影响。尽管已知的对民用基础设施的网络攻击并没有造成与重大战略非核攻击相当的动力学影响，但不能排除这种情况将在未来发生根本性变化

现在让我们在情景（ii）的框架内考虑引发的对网络攻击的核反应，即“对美国或盟国核力量、其指挥和控制，或警告和攻击评估能力的攻击”。美国核防御综合体的计算基础设施提供了一个扩展的网络攻击表面，即可能出于恶意目的探索和渗透的软件或硬件元素。这些元素明显存在于军事承包商使用的现成硬件和软件中，可供黑客检查，嵌入核武器运载系统的计算模块中，以及支持核规划和态势感知的NC3软件中（[21]，第38-90页）。这种扩展的网络攻击表面引发了人们对核武器系统可靠性和完整性的怀疑，尤其是在获得授权时发射武器或防止其无意发射、保持对核武器的不间断指挥和控制或保持核通信功能的能力方面（[28]，第3页）

此外，由于实现了新的、更先进的计算功能，核防御系统的现代化可能会进一步扩大网络攻击范围。总的来说，林强调了军事核综合体的现代化与其网络安全需求之间的紧张关系，建议必须达成合理的权衡，根据网络安全风险来调节增加计算功能的欲望（[21]，第123-4页）。人工智能网络攻击的前景只会加剧人们对更广泛计算机化的军事核综合体网络安全的担忧

让我们来盘点一下。过去对民用基础设施的网络攻击并没有造成重大战略非核攻击所预期的动能影响。因此，这些事件与2018年《核态势评估》中设想的情景（i）没有实质性关系。然而，鉴于机器学习方法被用于扩展人工智能系统的网络能力、自动化网络战以及提高网络攻击的速度、数量和破坏性，必须不断重新评估这种情况。对场景（ii）的其他担忧源于现代化计划，该计划涉及军事核综合体的计算基础设施的扩展，以及对该基础设施的人工智能网络攻击，损害了核武器系统的可靠性和完整性

人工智能在网络杀伤链中的应用带来的这些网络风险及其潜在恶化要求建立永久场所，讨论人工智能对核危机和稳定的影响。人工智能研究界在这方面发挥着核心作用——促进对话和科学信息交流，推进具体的信任和建立信任措施，提高政治决策者和公众对影响核武器系统和基础设施的人工智能相关网络风险的认识

3核预警和人工智能错误分类风险

NSCAI的最终报告强调，授权使用核武器的决定应牢牢掌握在人类手中，绝不应委托给人工智能系统。其中进一步建议，美国“应在下一次核态势审查中包括一份这样的声明，并应寻求俄罗斯、中国和其他核大国的类似承诺。”（[23]，第98页）。然而，与此同时，NSCAI认识到人工智能在NC3现代化中发挥的一些作用：“人工智能应该在核指挥和控制装置的某些方面提供帮助：预警、早期发射探测和多传感器融合，以验证单传感器探测，并有可能消除错误探测”（[23]，第104页，第22页）。让我们批判性地审视这一说法，指出在核预警系统中使用人工智能技术所产生的独特风险

预警系统在基于第二次打击报复能力的核威慑中发挥着核心作用。通过提高预警系统的自动化程度，人们希望减少信息处理时间，并为人类决策购买更多延长的时间窗口，从而减轻评估核攻击是否正在进行和决定要做什么的巨大压力。正如Borrie（[8]，第49页）所指出的，“在缺乏有关当前核预警、指挥和控制系统的解密信息的情况下，很难评估其利弊人工智能使能这些系统的各个方面。”尽管如此，独立于这些详细信息的可用性，人们仍然可以根据自动化的独特特征，特别是人工智能驱动的自动化，识别出各种潜在风险。自动化偏见是其中一个风险，适用于人工智能驱动的自动化，但并非特定于人工智能。事实上，在各种自动化技术中，人们都观察到了信任机器决策而不是对比人类判断的倾向，这导致了民用和军用应用领域的事故。其他风险是人工智能在核预警和其他关键领域的使用所特有的。在接下来的内容中，我们重点关注影响深度神经网络（DNN）的独特脆弱性，这是因为这些人工智能系统在过去十年中以及在各种应用领域对确定人工智能的普遍影响做出了最大贡献

要训练DNN形成的学习型人工智能系统来执行早期发射事件检测，通常需要依赖相关“大数据”的可用性，即关于发射和非发射情况的大量传感器数据。因此，核发射事件数据的稀缺可能会阻碍训练过程，对训练后的人工智能系统的准确性产生负面影响。为了便于论证，我们假设可以克服这一初步瓶颈，可以收集或综合生成足够的训练数据，并且根据这些数据训练的人工智能系统可以在早期发射检测中实现“良好”的分类精度。人们应该小心地注意，良好分类准确性的估计成就并不排除错误的发生，因为错误的可能性是人工智能决策的统计性质所固有的。显然，核预警中发生的错误，无论多么罕见，都可能对生存产生影响：人工智能分类器检测到洲际弹道导弹（ICBM）的假阳性发射，可能会引发不正当的核武器使用

与不经常发生的预警错误相关的高风险要求人工智能系统的反应必须由人类决策者仔细验证。然而，这一验证过程所需的额外时间可能会抵消据称由人工智能驱动的自动化所带来的处理时间的预期减少，从而挫败为人类决策购买更多延长时间窗口的目标，这是在核预警中使用人工智能的优势之一

人工智能核预警涉及的额外风险是通过反思——与抵消自动化偏见的必要性相关——解释人工智能信息处理和解释其结果的困难而出现的。处于指挥和控制位置的人类应该在正确理解机器行为的基础上采取行动，而不是盲目相信机器的反应。因此，他们必须能够获得足够的关于机器信息处理的人类可理解的信息，将后者映射到人类能够理解的感知和认知领域。然而，基于DNN的人工智能学习系统在满足这一“可解释性”要求方面遇到了主要障碍。事实上，人工智能学习系统的分类结果取决于输入数据的特征，这些特征可能与人类用于执行相同分类任务的特征显著不同。为了说明，为了决定图像中是否有猫，人类通常会关注典型猫的显著特征，如胡须、耳朵、鼻子和尾巴，以及它们的空间排列。与此相反，人工智能图像分类过程可能依赖于分布式的图像部分和像素集，而人类感知系统通常不会将其与猫的独特特征有意义地联系起来

人类和机器知识表示和处理之间的“语义差距”（[18]，第20页）远远超出了对输入数据中显著特征的识别。人工智能学习系统以子符号处理信息，而无需对人类可理解的陈述性陈述进行操作，也无需应用逐步逻辑或因果推理[25]。由于机器和人类信息处理之间的这些显著差异，人工智能系统大多是不透明的，人类用户和决策者很难理解

在核预警中使用人工智能系统产生的另一个风险来自人工智能系统犯下的意外和违反直觉的错误，而人工操作员会毫无问题地检测和避免这些错误。在学习人工智能系统的早期，这些脆弱性是通过对抗性机器学习[7]发现的由DNN形成。发现了与人工智能系统的军事用途最相关的各种错误。值得注意的是，基于DNN架构的视觉感知系统被发现将校车的图像误认为鸵鸟[27]，将海龟的3D渲染误认为步枪[6]。这些错误是由基于对抗性机器学习方法的小输入扰动引起的。人类操作员不会犯这样的错误，因为人类感知系统很难注意到导致机器出错的小的对抗性输入扰动。显然，这些错误在各种常规战争领域都具有潜在的灾难性，因为校车的正常使用受到国际人道主义法的保护，人工智能系统可能会错误地将手中携带无害物体的人带到武器上，从而引发不正当的武力使用[4]。出于同样的原因，我们不能排除用于核预警的人工智能系统会犯下与对抗性机器学习在其他关键应用领域中所强调的错误相反的、潜在的灾难性错误

为了检测和纠正操作员很容易防止的机器错误，核决策者应该能够理解人工智能预警系统提供某种传感器数据分类的原因。为了满足这一“可解释性”条件，人工智能系统应该能够为其决策和分类结果提供良好的、人性化的解释。然而，通常需要因果或逻辑推理形式来提供这些解释。但是，如上所述，逻辑和因果推理超出了目前更成功的人工智能学习系统的能力。因此，解释性人工智能系统的发展提出了令人生畏的研究问题，这些问题现在成为可解释人工智能（简称XAI）研究领域的目标(https://www.darpa.mil/program/explainable-artificial-intelligence)。在XAI取得重大突破之前，人们不得不承认，实现可解释性和可解释性条件是困难的，这些条件是由预警人工智能系统支持的核决策者实现所需态势感知所必需的

对抗性机器学习证明了意外错误分类导致令人惊讶和潜在灾难性错误的可能性。该研究领域的最新进展还表明，蓄意对抗性攻击可以被恶意利用，导致人工智能系统犯分类错误。事实上，对抗性人工智能攻击已经系统地针对在现实世界中运行的人工智能系统进行。通过改变街道上停车信号灯的照明——以人眼几乎察觉不到的方式——人工智能系统将其归类为时速30英里的限速标志[16]。为了进行这种光学攻击，人工智能科学家只使用了廉价且现成的设备：一台低成本的投影仪、一台相机和一台计算机。这些发展为操纵输入数据的蓄意对抗性攻击铺平了道路，导致人工智能驱动的预警系统出现感知错误。类似的敌对动机可能会引发另一种故意攻击，通过“毒害”人工智能学习系统来实施。中毒攻击旨在破坏数据集进行学习，降低学习过程甚至最终的人工智能系统的性能。没有可用的补丁来避免输入操纵或中毒攻击，因为这些攻击是基于当今流行的深度学习方法和系统的固有弱点[12]

让我们来盘点一下。支持核预警的自动化人工智能系统可能带来的所谓优势包括减少信息处理时间，为人类评估核攻击是否正在进行购买更多延长的时间窗口。然而，本节中讨论的特定人工智能脆弱性，导致意外或故意引起的违反直觉的错误分类，削弱了人们对该技术在高风险应用领域可靠性的信心。为了避免误报或误报预警分类的灾难性后果，人类决策者应该尽最大努力控制人工智能分类器产生的响应的正确性。但这一过程因人工智能信息处理及其结果缺乏透明度和可解释性而受到阻碍，因此其颁布可能会抵消据称由人工智能驱动的自动化减少的处理时间。因此，NSCAI建议“AI应在核指挥与控制装置”，包括早期预警和早期发射探测（[23]，第104页，第22条），不能从表面上看，但需要进行彻底的关键评估，适当考虑人工智能分类错误的脆弱性、模糊性和意外后果

4人工智能对核稳定的更广泛影响

人工智能技术和系统对核防御和核稳定的潜在影响远远超出了对NC3网络威胁的人工智能增强以及人工智能驱动系统用于核预警的设想。无人船的自主导航能力由人工智能系统提供动力，可能会对基于潜射弹道导弹的核威慑产生重大影响。作为反潜战的新要素，自主无人艇正在被开发，以识别从港口或海上瓶颈出现的潜艇，并在此后的很长一段时间内跟踪它们。水面舰艇“海洋猎人”号就是一个很好的例子：“海洋猎人号”最初是在DARPA反潜战ACTUV（自主连续跟踪无人舰艇）计划的框架内原型化的，现在正在接受美国海军研究办公室的进一步开发，以执行长达三个月的自主跟踪任务(https://www.darpa.mil/news-events/2018-01-30a)。另一个恰当的例子是波音公司制造的自主超大型无人驾驶海底航行器（XLUUV）Orca，用于执行各种海底行动，包括反潜拖曳任务和战争(https://www.naval-technology.com/projects/orca-xluuv/)。根据澳大利亚国立大学国家安全学院的一份报告，“在大多数情况下，海洋至少有可能，从某些角度来看，很可能在2050年代变得透明。”特别是，反探测技术将收效甚微或毫无用处，因此，携带弹道导弹的潜艇将“由于科学技术的发展而在世界海洋中被探测到”（[5]，第1页）。在2016年早些时候的一份英国Pugwash报告中，就SLBM实现的连续海上威慑（CASD）提出了类似的建议：“……适应性强的长航时或快速部署的无人水下航行器（UUV）和无人水面航行器（USV），看起来可能会破坏现有潜艇的隐形性。”[10]

人工智能系统用于生成名为deepfakes的合成数据——一个将表达式深度学习与单词伪造混合的单词。人工智能深度伪造技术的恶意使用包括制作模仿政治领导人的视频。这些越来越现实和欺骗性的视频可能会引发对所代表的政治领导人的个性、行为、政治立场和行动的误解。巴拉克·奥巴马、唐纳德·特朗普和弗拉基米尔·普京等核大国领导人的深度伪造视频广为流传。这些视频加剧了人们对其一致性和合理性的怀疑，可能会破坏核威慑政策的有效性，而核威慑政策至关重要地建立在威慑首次使用核武器的第二次打击威胁的可信度之上

人工智能军事化竞赛最初是由自主武器系统（AWS）的兴起推动的。这些是人工智能武器系统，可以在没有人为干预的情况下选择并向目标施加力量[19，30]。例子包括游荡弹药和无人驾驶飞机。流动弹药飞越指定区域，寻找俯冲轰炸和摧毁目标，而无需在其激活后进行任何进一步的人为干预。卡拉什尼科夫ZALA Aero KUB-BLA游荡弹药据称被俄罗斯军队在乌克兰使用[20]。据报道，土耳其无人驾驶飞行器STM Kargu-2在第二次利比亚内战期间对哈夫塔尔附属部队进行了自主攻击。现有自主武器的种类正在不断扩大，[9]中提供了初步的全面调查。AWS对在传统冲突中尊重国际人道主义法提出了严重关切[4，19]。此外，AWS有潜力为采用者带来巨大的常规军事优势。在这方面，有人声称，如果AWS碰巧倾斜了常规军事平衡，拥有核武器的对手可能会感到受到激励，威胁使用核武器以避免军事失败（[17]，第31页）

5结束语

斯坦尼斯拉夫·彼得罗夫中校1983年9月26日作出的决定是关于核风险的一个持久教训这源于核预警系统自动化和减少人类判断作用的技术努力。苏联早期预警系统OKO错误地发出了即将到来的核攻击信号，因为它将反射在云层上的阳光的传感器读数误认为是洲际弹道导弹发动机的信号。然而，彼得罗夫正确地得出结论，OKO发出了假阳性信号。几年后，彼得罗夫在评论导致他得出将人类从核战争中拯救出来的结论的心理过程时说，“当人们发动战争时，他们不会只用五枚导弹就发动战争。”(https://www.armscontrol.org/act/2019-12/focus/nuclear-false-warnings-risk-catastrophe)。这是一个最佳的人类常识推理的例子。与此相反，人工智能仍然缺乏常识性推理，无法做出正确的反应，并且经常暴露出其对不在狭窄假设和边界条件范围内的不断变化的情境的脆弱性[13]

人工智能信息处理对不断变化的环境的脆弱性和固有的脆弱性清楚地支持了美国国家安全委员会关于人工智能的建议，即“明确和公开地肯定美国的现有政策，即只有人类才能授权使用核武器”，并将“这一肯定纳入国防部的下一次核态势评估”，寻求“俄罗斯和中国的类似承诺”（[23]，第98页）。然而，人工智能固有的脆弱性和信息处理弱点也带来了额外的风险，特别是在使用人工智能实现核预警现代化的计划和提议方面，包括NSCAI自己在这方面的提议。人工智能计算机科学家可以也应该更好地强调影响当前人工智能技术和系统的限制、人工智能驱动的网络攻击以及人工智能导致的核威慑侵蚀对核稳定的风险。总之，人工智能军事化产生的核威胁揭示了核威慑政策的额外局限性，并为支持核不扩散和核裁军提供了新的重要动机

简介