2022年6月6日

2012年11月，国防部（DOD）发布了武器系统自主政策：DOD指令3000.09（DODD 3000.09）。尽管这项政策已有近10年的历史，但它仍然经常被误解，包括被美国军方领导人误解。例如，2021 2月，当时担任国防部联合反无人机系统办公室能力和需求司司长的马克·E·佩利尼上校说， “现在我们没有权力让一个人脱离圈子。根据现有的国防部政策，你必须在某个时候在决策周期内有一个人来授权交战。

他完全错了。国防部3000.09号文件和任何其他国防部政策中都没有这样的要求。

对国防部300.09号文件的误解似乎甚至延伸到了高级军官。”g官员。2021 4月，时任陆军未来司令部四星指挥官的迈克·默里将军说：“我划定的界限是，我认为在我们当前的政策范围内-[是]，如果你说的是对另一个人的致命影响，你必须有一个人参与决策过程。”Breaking Defense，一家报道默里当时言论的新闻媒体，声明要求决策过程中有一个人是“国防部的官方政策”。

不是

DODD 3000.09没有禁止自主武器，也没有规定美国武器有“人在回路中”的要求。事实上，后一句话从未出现在国防部政策中。相反，DODD 3000.09正式定义了什么是自主武器系统，并要求任何提议开发自主武器系统的国防部组织要么通过极其严格的高级审查程序，要么获得资格豁免。就后者而言，例如，网络武器系统被豁免

美国国防部最近宣布，计划在今年更新DODD 3000.09。国防部新兴能力政策办公室主任、负责领导该政策的五角大楼官员迈克尔·霍洛维茨（Michael Horowitz）在最近的一次采访中赞扬了国防部3000.09，称“该指令中的基本方法仍然是正确的，该指令为自主性和武器系统的整合制定了非常负责任的方法。“虽然没有做出任何确切的预测，但霍洛维茨表示，不太可能对DODD 3000.09进行重大修订

总的来说，这是个好消息。国防部现有的政策认识到，一些种类的自主武器，如网络武器和导弹防御系统，已经被全球数十个军队广泛使用。它还考虑到，未来的技术进步和全球安全格局的变化，例如俄罗斯在乌克兰部署人工智能（AI）致命自主武器的可能性，可能会使新型自主武器成为可取的选择。这就要求提出此类武器的提案，以消除程序和技术上的障碍。除了证明遵守美国根据国内法和国际法、国防部系统安全标准和国防部人工智能道德原则承担的义务外，拟议的自主武器系统必须通过一个额外的高级审查程序，其中参谋长联席会议主席、国防部政策副部长；负责采办、技术和后勤的国防部副部长证明，拟议系统满足11项额外要求，每项要求都需要提供大量证据

在正式的高级审查中获得美国军方最高级别官员和两名副部长的签名绝非易事。也许，超越这一障碍所需的严格性的最有力证明是，没有一个国防部组织尝试过

没有必要对DODD 3000.09进行广泛改写，这是国防部和国会特许的人工智能国家安全委员会共同得出的结论。然而，该部门确实需要更新政策。作为一个明显的例子，负责采办、技术和后勤的国防部副部长的职位已经不复存在，其以前的职责现在被分成两个新的副部长职位

此外，新的术语已经进入国防部政策词典，而这些术语在DODD 3000.09或其他任何地方都没有定义。例如，国防部副部长凯瑟琳·希克斯（Kathleen Hicks）2021关于实施国防部人工智能道德原则的备忘录指出，这些原则适用于“人工智能自主系统”。这可能是指在与目标识别、选择和参与相关的功能中使用机器学习，但国防部尚未在政策中正式定义系统“启用人工智能”或“成为人工智能”意味着什么-启用自主系统。”

最重要的是，国防部需要提高国防部技术研究和开发组织对国防部3000.09做什么和不说什么的清晰度。值得注意的是，在该政策最初颁布近10年后，一名负责开发反无人机技术的陆军上校给人的印象是，国防部政策禁止他将自主权纳入不仅允许而且明确免除高级审查要求的申请中

在更新政策时，国防部至少需要解决四个关键问题。前两个问题将需要对政策进行实际修改，而后两个问题可以通过提供额外的澄清和指导来解决，也许可以通过出版政策手册来解决。

尽管这些问题的最终决定必须直接来自国防部，但以下章节试图提供一些初步信息

关于人工智能与单纯的机械计算和自动化的区别的争论至少可以追溯到19世纪30年代，当时阿达·洛夫莱斯与查尔斯·巴贝奇合作设计并编程了第一台机械计算机。近几十年来，在鼎盛时期通常被称为“AI”的计算机系统，如1997年IBM的深蓝下棋系统，如今已经有了性能更高的后继者，这些后继者仅仅被称为软件或应用程序，很多人认为，任何不使用机器学习的系统都不应该被称为AI

重要的是要知道一个声称支持人工智能的系统是否正在使用机器学习。机器学习与传统软件的工作方式不同。它在某些方面更好，在其他方面更差，需要不同的因素才能成功，并且有不同的失败模式和需要解决的风险。当美国军方说一个给定的系统支持人工智能，或者一个给定项目是“人工智能项目”时，它几乎总是意味着机器学习

尽管将军事系统描述为支持人工智能或支持机器学习提供了有用的信息，但人工智能所提供的功能以及人工智能对整个系统的核心作用通常仍不清楚。假设，F-35联合打击战斗机项目办公室决定使用机器学习来提高飞机多种不同类型传感器之一的性能。这是否意味着整个F-35项目，每年花费超过85亿美元，正在建造人工智能武器系统？DODD 3000.09更新是一个很好的机会，可以在国防部政策中正式定义“AI使能”，并指定使用机器学习如何影响自主武器高级审查过程

令人困惑的是，这些术语在其他国家的常见用法差异很大。例如，俄罗斯武器制造商经常将他们的自动化和机器人军事系统称为使用人工智能，即使该系统不使用机器学习，他们也很少明确何时使用。不同的定义使国际外交在这些问题上变得复杂

Defense Innovation Board 2019年的一份报告被命名为“Software Is Never Done”。更新、错误修复、网络安全补丁和新功能是管理所有现代软件系统的关键方面。然而，机器学习系统的软件更新在本质上与传统软件不同，甚至可能更重要。机器学习系统中的“学习”来自于将学习算法应用于训练数据集，以生成机器学习模型，该模型是执行所需功能的软件。为了更新机器学习模型，开发人员提供了一个新的（通常更大的）训练数据集，更准确地反映了不断变化的操作环境。如果操作环境发生变化，未能快速重新训练机器学习模型可能会导致性能下降

每次软件更新和机器学习模型再培训是否都需要一个自主武器系统重新通过高级审查批准程序？如果是这样，一个已经很难克服的过程障碍就有可能在无意中成为一个不可逾越的障碍。一个更合理的解决办法是由高级审查程序评估并决定产生新培训数据的程序的可接受性；测试和评估用于确定新软件更新是否足够稳健和可靠的程序；并明确说明哪些潜在的新功能将触发另一轮高级审查批准程序。这类似于全球汽车行业如何监管软件更新和安全合规性

尽管在联合国进行了八年的谈判，但仍然没有国际商定的自主武器或致命自主武器的定义。然而，DODD 3000.09确实从美国政策的角度对自主武器系统和半自主武器系统进行了正式定义：

自主武器系统：一种武器系统，一旦激活，可以选择和攻击目标，而无需人工操作员进一步干预。这包括人类监督的自主武器系统，其设计允许人类操作员超越武器系统的操作，但在激活后无需进一步的人类输入即可选择和攻击目标

半自主武器系统：一种武器系统，一旦启动，仅用于攻击由操作员选择的单个目标或特定目标群。这包括：

半自主武器系统，采用自主性实现与交战相关的功能，包括但不限于获取、跟踪和识别潜在目标；向操作人员提示潜在目标；确定选定目标的优先次序；开火时间；或提供终端指导，以锁定选定目标，前提是对选择单个目标和特定目标群体进行交战的决定保持人为控制

“射击并忘记”或锁定发射后的自导弹药，这些弹药依赖于[战术、技术和程序]来最大化导引头激活时导引头捕获篮内的唯一目标是由操作员选择的单个目标或特定目标群的概率。

值得注意的是，机器学习在这些定义中没有提到，这是因为机器学习并不总是必要的。传统软件足以为某些军事应用提供高度自治。例如，以色列航空航天工业公司（IAI）的“哈比”是一款拥有数十年历史的无人驾驶飞机，IAI公开承认它是一种自主武器。当处于自主模式时，“哈比”在特定区域徘徊长达9个小时，等待探测与机载敌方雷达库一致的电磁辐射，锁定辐射源（通常是敌方防空雷达），并进行攻击。循环中不需要人

这一定义的关键特征是，自主性的政策门槛专门与自主“选择和接触目标”的能力有关。国防部官员经常谈论他们提高武器系统自主性的目标，但有时他们也意味着提高制导和导航等领域的武器自主性。例如，美国国防部高超音速办公室助理主任迈克·E·怀特（Mike E.White）在2020年表示，他希望未来的国防部高超音速武器能够使用自主性和人工智能来“优化飞行特性”，但是，国防部应该尽量减少潜在的误解，尤其是对可能携带核弹头并对全球战略稳定有重大影响的高超音速武器的误解。这是国防部必须清晰准确地沟通的领域

如上所述，DODD 3000.09并未禁止自主武器系统，而是以高级审查的形式对其进行额外的技术和工艺审查。然而，并非所有具有自主功能的武器系统都需要通过审查。下图提供了哪些系统必须通过审查以及哪些系统被豁免的简化描述。国防部应在政策手册中发布类似图表，以配合国防部3000.09更新。

src=https://csis-website-prod.s3.amazonaws.com/s3fs-public/220606_Allen_DOD_Systems.jpg?4dqyEZmzSfSDzDy4._cTvw2EOE0HDdHj

美国是第一个通过武器系统自主性正式政策的国家。值得称赞的是，它的第一次尝试几乎把所有最重要的细节都做对了。然而，要使政策按预期发挥作用，它不仅必须是好的，而且必须得到很好的理解。在修改和更新政策时，国防部应明确传达政策内容，以及人工智能和自主武器系统的未来发展将如何体现在美国国防战略中

格雷戈里·C·艾伦（Gregory C.Allen）是人工智能（AI）治理项目的负责人，也是战略与技术中心战略技术项目的高级研究员华盛顿特区的国际研究。评论由战略与国际研究中心（CSIS）制作，该中心是一家专注于国际公共政策问题的私营免税机构。它的研究是无党派和非专利的。CSIS不采取具体的政策立场。因此，本出版物中表达的所有观点、立场和结论应理解为作者的观点、立场及结论

©2022年，由战略与国际研究中心出版。保留所有权利。

简介