简介

2023年1月25日发布的一项关于武器系统自主性的新指令表明，美国国防部（DoD）非常重视确保其制定政策和流程，以指导自主武器系统以及半自主武器系统的开发、采购、测试、部署和使用，例如远程操作的武装无人机。然而，该指令对自主武器系统引发的严重道德、法律、责任和安全问题以及风险做出了不充分的回应。

2023年国防部关于武器系统自主性的指令3000.09进行了修订，2012年11月21日发布的该部门关于该主题的原始政策。[1]2023年指令的有效期为10年，2012年指令也是如此。[2]

2023年的指令保持了其前身的基本结构和实质内容，因此错过了解决其缺点的机会。[3] 例如，它继续允许在开发和部署自主武器系统之前放弃对高级审查的某些豁免，但并没有消除围绕关键术语的歧义

该指令包含了一些改进，例如包含了额外的设计约束和审查要求，但也添加了一些有问题的修改，特别是在定义和术语方面

2012年，当国防部关于自主武器的最初指令发布时，美国是第一个将此类详细政策纳入公共领域的国家。自那时以来，许多国家都制定了自己的立场，数十个国家表示有兴趣通过一项新条约，禁止在没有人的有效控制或以人为目标的情况下运行的自主武器系统，并对所有其他自主武器系统进行规管，以确保它们只能在有人的有效的控制下运行。[4] 这些拟议的要素同样适用于国家政策，但在2023年的指令中并未充分体现。因此，该指令偏离了大多数国家、红十字国际委员会（ICRC）和参与这一问题的民间社会组织的当前立场，他们认为迫切需要一项具有法律约束力的文书，其中包含对自主武器系统的禁令和条例。

与最初的政策一样，2023年的指令仅适用于国防部。十年过去了，美国政府仍然没有关于自主武器系统及其在执法、边境管制和武装冲突以外的其他情况下的使用的政策。例如，2023年的指令也不适用于中央情报局（CIA），该局在使用武装无人机方面发挥了积极作用

建议

人权观察和哈佛法学院国际人权诊所（IHRC）敦促美国：

确保国防部根据2023年国防部指令3000.09对自主武器系统的审查是透明的，并且豁免的使用是有限的
致力于一项禁止和管理自主武器系统的新国际条约

与先前政策的比较

类似的缺点

新指令与其前身一样，范围广泛，涵盖自主和半自主武器。其定义保留了2012年指令对自主武器系统的定义，即“一种武器系统，一旦激活，就可以选择和攻击目标，而无需操作员的进一步干预”。[5]2023年指令删除了“操作员”之前的“人”一词，但将“操作员”定义为“操作平台或武器系统的人员”。“[6]

2023年指令还继续承认自主武器系统中存在的诸多弱点和风险。2023年的指令在其术语表中对“失败”的定义中，重复了武器系统自主性引起的失败的可能原因，包括“人为错误、错误的人机交互故障、故障、通信降级、软件编码错误、敌方网络攻击或对工业供应链的渗透、干扰、欺骗、欺骗、其他敌方对抗措施或行动，或战场上的意外情况。“[7]

2023年的指令没有从根本上改变2012年的政策，因此，早期政策的许多缺点和弱点仍然存在。2023指令包含一些与原指令相同的重大漏洞。在某些情况下，例如“在紧急军事需求的情况下”，国防部高级官员可以免除其在正式开发或部署前进行高级审查的要求，“到目前为止，没有任何武器需要根据国防部指令3000.09进行高级审查。”[9]2019年国会研究服务局关于美国自主武器系统政策的报告发现，“已知没有任何武器系统经过了2012年指令规定的高级审查程序”。[10] 当被要求确认是否有任何武器系统按照2012年的指令进行了审查时，一位不愿透露姓名的国防部文职官员在1月30日的民间社会简报会上表示，他不能对“个别武器系统”发表评论。[11]需要透明，以建立信任，促进监督，并促进政策的问责制。为了更好地理解负责确定何时以及是否需要审查过程的人员或机构，还需要明确。[12]

与其前身一样，2023年的指令对遏制自主武器系统的扩散毫无作用。美国以及澳大利亚、中国、印度、伊朗、以色列、韩国、俄罗斯、土耳其和英国正在大力投资人工智能和相关技术的军事应用，以开发空中、陆地和海上自主武器系统。该指令第1.2（e）节允许“根据现有技术安全和外国披露要求和程序批准”的“国际销售和转让”。[13]一旦这些武器离开该国，美国将失去对它们的独家控制权。因此，只要按照现行法律、国防部流程和道德原则，该指令有助于美国继续开发和获取自主武器系统

2023年的指令错过了一个机会，使2012年指令中的模糊领域更加清晰。根据第1.2（a）节，2023年的指令借用了其前身的规定，即“自主和半自主武器系统的设计将允许指挥官和操作员对武力的使用行使适当程度的人类判断。”[14]尽管该语言承认人类判断的价值，这对于确保遵守国际人道主义法（战争法）至关重要，无论是以前的指令还是现在的指令都不清楚什么是人类判断的“适当水平”，以及由谁来决定，用“will”表示事件肯定会发生。一位不愿透露姓名的五角大楼官员在一次民间社会简报会上表示，这不是“有意的改变”，而是为了符合国防部的风格指南。[15]

有问题的修订

虽然基本政策没有发生重大变化，但与前一个指令相比，2023年指令包含一些有问题的修改。

该指令以一种潜在的麻烦方式修改了“非预期参与”的定义。该指令的目的是建立指导方针，旨在最大限度地减少“失败的可能性和后果……这可能导致非预期交战。”[16]它要求对自主武器进行测试，以确保其避免此类交战。“非预期交战”一词以前被定义为“对操作人员不打算成为美国军事行动目标的人员或物体使用武力造成损害……”[17]2023年的指令现在说：“对指挥官或操作人员不想成为美国军事运作目标的人员和物体使用武力。“[18]

不同的是，该政策现在似乎将系统故障限制在涉及对非预期目标使用武力的情况下，而不是造成任何非预期伤害的情况下。因此，例如，它将寻求避免使用针对平民的自主武器系统，但不会采取步骤避免使用破坏民用基础设施进而造成平民伤害的系统。这位国防部官员表示，这一变化的原因并不是缩小“非预期参与”的定义，而是通过指定“任何有针对性的、并非旨在针对性的，在某些方面是非预期的”来扩大定义。“[19]

2023年的政策还删除了对“控制”一词的多次引用，美国在有关自主武器系统的多边会议上多次反对这个词。[20] 第节例如，1.2（a）（1）（c）呼吁采取措施，“充分自信”自主武器系统“足够强大，能够最大程度地减少故障的可能性和后果”。[21]删除了2012年政策的其余部分，内容如下：“……这可能会导致意外交战或未经授权的各方失去对系统的控制。“

”控制“是一个用于自主武器系统的恰当词汇，因为它包括防止系统构成道德、道德、法律和其他威胁所需的心理判断和身体行为。当被问及如上所述从新指令中删除该词时，这位不愿透露姓名的国防部官员表示，该词被删除是“为了技术准确性”，因为“控制”一词产生了“关于‘控制’到底是什么意思，以及在这种情况下它与‘判断’有何相似或不同”的问题，“这是更干净的，基本上是取消那里的‘控制’，并专注于持续的要求……对武力的使用有适当的人类判断水平。”然而，正如前面提到的，新指令仍然没有明确什么是人类判断的适当水平

此外，2023年指令修订了前一指令的规则，即在开发和批准自主和半自主武器系统之前，对其进行审查和批准。例如，它要求对现有技术进行审查，这些技术“对系统算法、预期任务集、预期作战环境、预期目标集或预期对抗对抗措施进行了更改，这些更改与先前批准的武器系统的适用性有很大不同。“[23]该指令包含一个“帮助确定是否需要高级审查和批准的流程图。”[24]

这些修订可以说是为了解决早期武装无人机首次部署用于监视目的而未经适当审查和批准且未携带武器的批评。然而，开发程序和指令其他要素的更为具体也可能有助于加速自主武器系统的开发。[25]尽管先前指令中的程序试图“确保”系统“足够强大以最小化故障”，但2023年指令指出，测试和评估措施“将为自主和半自主武器系统”“足够强大，以最小化故障概率和后果”提供足够的信心。[26]因此，2023年的指令表明，如果采取这些措施，系统将“足够强大”。“足够的信心”这一短语比“确保”更弱，在最初的指令中没有出现，但在2023年指令中出现了六次。[27]

其他观察

在一个积极的发展中，该指令对自主武器系统的设计施加了额外的限制。它要求“在决定进入正式开发之前”，系统必须设计成不仅在符合指挥官和操作员意图的时间框架内完成交战，而且在“地理区域”以及其他适用的环境和作战参数内完成交战。“[28]

2023年指令使武器自主政策与2012年以来实施的其他国防部政策保持一致。该指令重申了国防部于2020年2月21日通过的一套关于人工智能的五项道德原则。[29]因此，该指令反映了国防部的承诺，即“采取谨慎措施，尽量减少人工智能能力中的意外偏差”。“它确认需要“检测并避免意外后果”，“解除或停用表现出意外行为的已部署系统”。[30]

2023年的指令还删除了“有人”和“无人”等带有性别的语言。据这位不愿透露姓名的国防部官员称，这些修订是“有目的和故意的”。“[31]

2023年的指令反映了自2012年以来国防部在某些办公室和官员的名称、角色和职责方面的组织变化

它还成立了一个由国防部员工和现役人员组成的“自主武器系统工作组”，在审查自主武器系统的过程中提供建议

与新兴政策趋同的差距

2023年的指令不仅应与2012年的指令相比较，还应与其他政策建议相比较，以应对自主武器系统带来的道德、法律、责任和安全威胁。关于致命自主武器系统的外交谈判直到2013年11月才开始，因此2012年国防部这项政策虽然不完善，但也是认识和解决所提出问题的重要一步。然而，十年后，2023年的政策与国际社会广泛支持的禁止和管理自主武器系统的新条约的建议不一致

在过去几年中，尽管不是美国，但大多数国家都表示支持通过一项具有法律约束力的文书管理自主武器，该文书将包含禁令和条例。[32]70多个国家、非政府组织和红十字委员会认为，一项新的禁止和限制条约是必要的、紧迫的和可实现的。自2018年以来，联合国秘书长安东尼奥·古特雷斯（António Guterres）呼吁对武器系统进行“国际商定的限制”，这些武器本身可能会针对和攻击人类，并称此类武器“在道德上令人反感，在政治上不可接受”。“[33]

美国反对就自主武器系统谈判新国际法的提议，转而主张自愿承诺。然而，它在2021提出的利用多边谈判制定共同“行为准则”来指导自主武器系统的开发和使用的建议却没有得到多少支持。[34]

正如人权观察组织和哈佛法学院国际人权诊所所阐述的，为了充分解决自主武器系统的问题，各国应：

禁止开发、生产和使用武器系统，这些武器系统的性质是在没有人的有效控制的情况下选择和攻击目标
采取积极的义务（或条例），确保其他自主武器系统在没有人为控制的情况下无法使用。[35]

许多国家、红十字委员会和人权观察组织于2012年共同发起的“制止杀人机器人”运动全部或部分重申了新法律文书的这些基本要素。虽然这些内容是在呼吁缔结国际条约的背景下提出的，但同样适用于国家法律和政策。美国国防部的指令涉及一些相同的领域，但未能达到拟议要素设定的标准

该指令没有纳入任何拟议的禁令，因为它没有绝对禁止任何自主武器系统的开发、生产和使用。如上所述，它施加了一些限制，这些活动通常需要高级审查。然而，如果这些活动获得批准，它仍然允许这些活动，并且“在紧急军事需要的情况下”，可以放弃审查程序。该指令的目标是“最大限度地减少自主和半自主武器系统中可能导致意外交战的可能性和后果。”该指令在对失败定义的新补充中明确指出，“最大限度减少“失败”并不意味着通过不与目标交战来实现尽可能低的风险水平，可能会发现，如果武器系统在没有人为控制的情况下运行，或者当它以人为目标时，“从不攻击目标”是合适的。

虽然该指令承认人类应在使用武力中发挥作用，但它采用了不同的方法来定义这种作用。它依赖于术语“适当的人类判断水平”，而不是“人类控制”或“有意义的人类控制”，后者在国际一级更为常用

2023年的指令与拟议的条约要素一样，承认了针对人员的系统（杀伤人员系统）与不针对人员的（反装备系统）之间的区别，但它主要通过放宽针对后者的规则来实现。该指令指出，对于“用于选择和攻击当地防御的物资目标以拦截时间临界或饱和攻击的半自主系统”，不需要对自主武器系统进行高级审查，这在某些情况下可以被放弃

该指令确实包括一些要求，如果正确应用，这些要求有助于确保在没有一定程度的人类参与的情况下，不会使用自主武器系统。然而，为了真正有效，该指令必须伴随着这些法规，禁止跨越道德和法律红线的自主武器系统，以及该过程如何实施的透明度

最终，美国应通过一项国家法律或政策，而不仅仅限于国防部，该法律或政策应考虑到这些因素，并将其扩展到整个世界政府

[1]美国国防部，“指令3000.09：武器系统自主”，国防部政策副部长办公室，2023年1月25日，https://www.esd.whs.mil/Portals/54/Documents/DD/issuances/dodd/300009p.PDF（2023年1月26日访问）

[2]2012年的政策也是如此，该政策于2017年重新发布，五年内没有实质性变化。DoD指令5025.01规定，所有部门指令应在发布日期后10年内更新或取消。国防部指令5025.01，“国防部发行计划”，国防部首席管理官办公室，2019年5月22日，https://www.esd.whs.mil/Portals/54/Documents/DD/issuances/dodi/502501p.pdf（2023年2月1日访问）

[3]参见人权观察和哈佛法学院国际人权诊所，《2012年美国武器系统自主政策回顾》，2013年4月15日，https://www.hrw.org/news/2013/04/15/review-2012-us-policy-autonomy-weapons-systems（2023年2月1日访问）

[4]例如，参见《人权观察》和哈佛法学院的国际人权诊所，《新武器，经验证的先例：杀手机器人条约的要素和模型》，2020年10月20日，https://www.hrw.org/report/2020/10/20/new-weapons-proven-precedent/elements-and-models-treaty-killer-robots（2023年2月1日访问）

[5]国防部，指令3000.09：武器系统自主，”2023年1月25日，第21页，词汇表

[6]同上，第22页。

[7]同上，

[8]同上，第17页，第4.2节。

[9]Sydney J.Freedberg Jr，https://breakingdefense.com/2019/03/fear-loathing-in-ai-how-the-army-triggered-fears-of-killer-robots/（2023年2月9日访问）

[10]该报告发现，“由于目前还不知道美国正在开发LAWS，因此迄今为止还没有任何武器系统经过了高级审查程序。”国会研究服务部《国防入门：美国致命自主武器系统政策》于2019年3月27日首次发布，并于2022年11月14日更新，https://www.everycrsreport.com/reports/IF11150.html（2022年1月30日访问）

[11]作为响应，这位官员说：“我们一直在就武器系统进行对话，看看它们是如何符合指令的，看看它们是否应该被审查。我无法对单个武器系统发表评论。国防部于2023年1月30日通过电话会议向民间社会通报了2023年国防部关于武器系统自主性的指令3000.09。

[12]武器控制协会高级访问研究员Michael Klare的电子邮件，2023年2月9日。

[13]国防部，“指令3000.09：武器系统自主”，2023月25日，第5页，第节。1.2（e）.

[14]同上，第5页，第节。1.2（a）.

[15]国防部2023年1月30日关于武器系统自主性的国防部指令3000.09的民间社会简报。根据查塔姆研究所规则举行。人权观察所作的说明。在“帮助动词”下，国防部风格指南称：“不要使用‘应’。”参见“国防部发布风格指南”第1.24节，2023年1月26日，https://www.esd.whs.mil/Portals/54/Documents/DD/iss_process/standards/DoD_Issuance_Style_Guide.pdf?ver=NOeX5yOYKGTSuigh-WYj-g%3D%3D（2023年2月1日访问）

[16]国防部，“指令3000.09：武器系统自主”，2023年1月25日，第1页。添加了强调

[17]国防部，“指令3000.09：武器系统自主”，2012年11月21日，第15页，词汇表。添加了强调

[18]国防部，“指令3000.09：武器系统自主”，2023年1月25日，第23页，词汇表。添加了强调

[19]国防部就2023年国防部指令3000.09关于武器系统自主性的民间社会简报，2023年1月30日，https://documents.unoda.org/wp-content/uploads/2020/09/Intervention-by-the-United-States.pdf（2023年2月1日访问）

[21]国防部，“指令3000.09：武器系统自主”，2023年1月25日，第4页，第1.2（a）（1）（c）节2023年3月30日。

[23]同上，第15页，第4.1（a）节。

[24]同上，第18页，图1。

[25]来自军备控制协会高级访问研究员Michael Klare的电子邮件，2023年2月9日，第1.2（a）（1）节。

[27]来自军备控制协会高级访问研究员Michael Klare的电子邮件，2023年2月9日。

[28]国防部，“指令3000.09：武器系统自主”，2023月25日，第15页，第4.1（c）（2）节，第5-6页，第1.2（f）节。另见“国防部采用人工智能道德原则”，国防部新闻声明，2020年2月24日，https://www.defense.gov/News/Releases/Release/Article/2091996/dod-adopts-ethical-principles-for-artificial-intelligence/（2023年2月6日访问）

[30]国防部指令3000.09，第6页，第1.2（f）（5）节。

[31]国防部在2023年1月30日召开的电话会议上向民间社会通报了2023年国防部关于武器系统自主性的3000.09指令。

[32]例如，参见红十字国际委员会，“红十字委员会关于自主武器系统的立场”，2021 5月12日，https://www.icrc.org/en/document/icrc-position-autonomous-weapon-systems（2023年2月2日访问）

[33]联合国秘书长安东尼奥·古特雷斯的声明，联合国大会，2023年2月6日，https://www.un.org/sg/en/content/sg/statement/2023-02-06/secretary-generals-briefing-the-general-assembly-priorities-for-2023-scroll-down-for-bilingual-delivered-all-english-and-all-french-versions（2023年2月6日访问）；以及联合国秘书长安东尼奥·古特雷斯在巴黎和平论坛上的声明，2018年11月11日，https://www.un.org/sg/en/content/sg/speeches/2018-11-11/address-paris-peace-forum（2023年2月6日访问）

《致命自主武器系统领域新兴技术国际行为准则》，美国向《常规武器公约》分发的概念说明，2021 12月5日，《杀手机器人危机时刻：为什么需要新法律以及如何实现》，2021 12月1日，https://www.hrw.org/news/2021/12/01/crunch-time-killer-robots（2023年2月2日访问）

[36]国防部，“指令3000.09：武器系统自主”，2023年1月25日，第22页，词汇表

[37]国防部，“指令3000.09：武器系统自主”，2023年1月25日，第5页，第1.2（d）（2）节。