摘要

本文讨论了在武装冲突中对自主武器系统（AWS）允许的自主程度的一个重要限制：国际人道主义法（IHL）要求人类能够直接干预武器操作的程度攻击过程中的系统。由于目前没有专门针对AWS的常规法或习惯法，必须根据一般国际人道主义法的原则、规则和目标推断出对武器自主能力使用的限制（如果有的话）。本文采用的流程是寻找两种广泛的限制：一种是机器参与受管制活动的最大允许程度，另一种是人类参与的最小允许程度。文章的主要发现是，虽然现行法律没有规定第一类限制，但确实规定了第二类限制。具体而言，个人（负责AWS作战的指挥官、武器系统操作员和其他人员）承担的法律义务决定了直接人工干预所需的最低能力。文章还提出了在特定情况下确定所需的人为干预程度的方法

发行章节：

文章

大约8年来，《特定常规武器公约》（CCW）缔约国一直在讨论是否以及如何对军事事务中最重要的最新事态发展之一作出监管回应。各种武装部队设计和建造越来越自主的武器系统（AWS）的努力有望对敌对行动的进行产生重大影响³因此，这些发展努力在各国、非政府组织和评论员中引起了重大争议和关注⁴不幸的是，在辩论过程中几乎没有取得进展，迄今为止，还没有就针对AWS的具体监管措施的必要性达成一致，更没有就其实质达成一致

然而，有一些共识认为，关键的监管考虑因素是“确保遵守适用法律所需的人类参与或控制的类型和程度”⁵这一观点基于人类行为者作为武装冲突行为的法律和道德责任承担者的中心地位。致命自主武器系统领域新兴技术政府专家组（GGE）在其2019年指导原则的指导原则（c）中阐明了这一立场：

人机交互，其可能采取各种形式，并在武器生命周期的各个阶段实施，应确保[AWS]的潜在使用符合适用的国际法，特别是[国际人道主义法]。在确定人机交互的质量和程度时，应考虑一系列因素，包括作战环境以及整个武器系统的特点和能力。]⁶

这篇文章关注的是人机交互的形式，它最直接地受到武器自主能力的影响，这可以说是有关监管AWS的讨论中最具争议的来源：攻击期间对AWS操作的直接人工干预。这种干预将包括人类操作员传统上与操作武器相关的一系列活动，包括手动选择目标、发射武器、中止攻击或其他一些具有法律意义的活动。举一个现在的例子，以色列航空航天工业公司（IAI）的“哈比”徘徊弹药自动完成了几项任务，否则这些任务将需要直接的人为干预，包括评估可能的敌方辐射特征，将弹药瞄准辐射源，并在情况发生变化时中止攻击。这些任务仍然作为攻击过程的一部分由操作状态通过Harpy的控制系统软件执行，但不直接由操作员执行。一般而言，该条涉及确定国际人道主义法是否有任何特定程度的要求操作员能够直接监控AWS的操作，并且在可行的情况下，在操作过程中绕过或超越其自主控制

政府专家小组和其他地方对AWS开发提出的许多反对意见都被认为是将人类干预能力降低到某一可接受水平以下的后果：缺乏运用人类判断能力的AWS可能会在复杂的战场条件下不加区别地行动⁷；他们的使用将防止对法律违法行为的责任归属⁸；它们可能以人类无法预料的方式与环境或彼此互动，可能引发或升级冲突；等等。

人类对自主行动的干预不仅仅是一个法律问题，尽管这个问题是在包括国际人道主义法、人权法、战争法等多个法律体系中产生的，政治以及国际和区域安全

然而，在一篇论文中解决所有这些问题是不可行的。相反，本文侧重于遵守国际人道主义法的需要可能需要在AWS运营中保持最低限度的人为干预能力的方式¹⁰换句话说，国际人道主义法要求人类保持在“回路”中或“回路”上的方式，¹¹因此限制了对自主系统的允许依赖程度。这一论点分为六个部分。第1节简要概述了自治的概念，这是后续法律讨论的基础。第2节、第3节和第4节调查了国际人道主义法目前在武器系统操作中需要和不需要直接人为干预的方式。这些章节的重点相当狭隘地集中在现行法上；其目的是发现需要何种类型和程度的人为干预，以确保AWS的使用严格遵守国际人道主义法，正如今天所解释的那样。这部分讨论采用的常规框架是1949年日内瓦公约第一附加议定书（API）¹²第5节提供了一些关于如何制定AWS操作中确保法律上可接受的最低人为干预水平的指南的思考。第6节给出了一个初步结论：基本上，负责AWS运营的人员必须保持履行其国际人道主义法义务的实际能力，这反过来要求提供关于AWS活动的充分信息以及根据这些信息采取行动的能力

这是一篇前瞻性文章。它并不建议任何现有的AWS，或任何可能在未来几年内投入使用的AWS，测试法律上可接受的直接人为干预的下限，假设存在此类限制。然而，考虑到监管讨论的缓慢步伐与自主系统技术取得的相对快速进展之间的差异，现在为未来可能出现的情况做好准备似乎是明智的

此外，本文着重于AWS方面出现的特殊考虑，而不是关于国际人道主义法下人类参与和控制的一般问题¹³

1.相关概念和术语

有关AWS的监管辩论因在两个基本问题上持续存在分歧而引人注目

一个分歧涉及对感兴趣的一套武器系统的范围的看法。具体而言，应被视为“自主”的武器系统将（或正在）展示哪些能力，以及这些能力中的哪些（如果有的话）会引起法律上的担忧，而不是任何新军事技术开发所引起的普遍担忧

日内瓦正在进行的政府专家小组进程的任务规定将该小组的讨论局限于“新兴”技术及其“潜在挑战”¹⁴这将参与者的注意力集中在通常比武装冲突中使用的武器系统更先进、可能带来更大的作战和法律风险的能力上。GGE会议上讨论最多的AWS类型通常表现出高度的运营独立性，严重依赖于人工智能（AI）、先进传感模式的利用和杀伤人员应用¹⁵对相关学术辩论的一些贡献也随之而来，要么将武器系统自主性定义为一种尚未完全出现的先进能力，要么以倾向于排除现有系统的方式定义法律关注的AWS¹⁶

另一方面，政府专家小组进程的一些参与者和一些学术评论员似乎对武器系统自主性采取了更广泛的看法。他们的贡献将其视为一种在没有人为干预的情况下履行某种职能的能力，这种能力在许多已使用多年或几十年的现有武器系统中已经存在，而且通常没有法律异议¹⁷

毫无疑问，这一分歧至少部分是由于机器自主性的无定形性质。它并不代表特定的、明确定义的技术或物理效果，而是一种可以在一系列系统中通过各种方式在不同程度上实现的特性。它既是一种控制手段，又是要控制的装置的一种特征，因此很难就一个法律框架进行讨论，该框架已经演变为规范简单的、人为操作的武器的使用

就本文而言，自主性在广义上是指武器系统在没有人为干预的情况下在一定程度上运行的能力¹⁸因此，允许但不需要人工干预的武器系统被认为表现出（较低的）自主性，而仅能自主执行部分分配任务的武器系统也是如此。当然，最具法律意义的是那些在选择和打击目标的“关键”功能上表现出自主性的武器，这也是本文的重点

更具体地说，AWS在当前用途中具有法律意义的质量是，它部分或全部免除了操作员在军事行动部分期间直接干预操作武器的需要，也可能免除了操作员的能力。它通常通过基于软件的控制系统（基本上是专用计算机）来实现，该控制系统可以通过传感器和/或数据链路接收关于武器系统的环境和操作的信息，并通过直接对武器应用控制动作来响应，而不是由操作员应用控制动作。因此，操作员部分或全部从“循环”中移除

换句话说，武器系统的自主性代表着特定作战功能的直接执行从人类转移到机器。该转移可能是部分或完全的、临时或永久的（在业务范围内）。下面的论点分别考察了这一转移的每一个“终点”是否符合国际人道主义法规则：让机器执行传统上由人类执行的作战功能的法律效力，以及让人类从执行这些功能的角色中移除的法律效力

第二个问题涉及与控制武器系统行为有关的术语。在本文中，可以区分传统上与操作武器（瞄准、扣动扳机等）相关的一系列“直接”控制措施，在此称为“人为干预”，以及国家和武装部队为确保根据法律义务使用致命武力而采取的更广泛的一系列措施（制定战略目标、交战规则等，以及此处称为“干预”的直接措施）。这套更广泛的措施在这里被称为“控制”

这一区别与整个监管辩论中对“控制”等术语的使用相对较少，有时也不一致。在不同的时候，“控制”与一系列限定词一起使用，指的是控制武器系统的狭义和广义方面中的一个或两个，或者使用的方式不清楚正在讨论的是哪个方面。例如，“有意义的人为控制”的概念已经被一系列行为者用来指导全球关于AWS监管的辩论，但其确切含义仍不清楚¹⁹在日内瓦举行的2021政府专家小组第一届会议上，它的使用范围相当狭窄，类似于“人机交互”可以更广泛地理解²¹

这里，适用于武器的控制是指为确保武器在特定情况下以特定方式运行而采取的全部措施。直接人为干预（如手动瞄准、扣动扳机等）是控制武器的一种手段。自主控制系统的设计、测试和实施是另一种手段，因为自主控制的目的仍然是确保武器以特定的、期望的方式运行。这两者最终都是人类控制武器的手段。更广泛地说，对每一种武器系统的控制构成了国家对其使用军事力量的总体控制系统的一部分。这一更广泛的控制系统支持并与适用于个别武器系统的具体控制措施协调一致²²

将自主控制称为人类控制的替代品可能会误导人，本文避免这样做。毫无疑问，为了满足国际人道主义法的要求，必须对武器实施某种形式的人为控制。这里要解决的问题是，人类直接干预的程度必须成为整个控制系统的一部分

2.对自主性没有明确的限制

目前在任何国际人道主义法公约中都没有明确提及自主系统。也不能说任何专门涉及自治制度的做法已经上升到习惯法的地位。一项侧重于武器系统自主的法律文书是正在进行的政府专家小组进程的一个潜在成果，但由于各国对进一步监管的必要性存在根本分歧，这种可能性似乎很小²³

自主武器本身不属于任何现有武器特定限制或禁止的范围，尽管没有理由假设在该范围内的现有武器上增加自主能力会影响这些限制的适用性。由于本文的重点仅在于自主能力和一般国际人道主义法，因此不考虑它们与其他特定武器规则的相互作用

事实上，目前的国际人道主义法只很少提及控制或激活武器的任何具体手段。除了《海牙第八公约》中提到的自动接触地雷外，《渥太华杀伤人员地雷公约》、《特定常规武器公约》中关于地雷、诱杀装置和其他装置的第2号议定书中也提到了在有人在场的情况下引爆的地雷，²⁶该法律似乎对操作或不操作武器的技术手段一般保持沉默。除这些例外情况外，只提及必须由所使用的任何控制手段导致的行为类型：例如，武器不得针对平民或民用物体

因此，必须从一般国际人道主义法的原则、规则和目标中推断出在武器中使用自主能力的具体限制（如果有的话）。《国际人道主义法》无疑适用于采用某种程度的自主控制的武器系统，正如其适用于所有武器一样

然而，鉴于对控制武器的手段缺乏明确的法律限制，是否有理由相信存在任何直接人为干预的特殊要求？自主控制旨在减少或消除在操作武器系统时对直接人为干预的需求，但与所有技术一样，它所能提供的能力有限，这表明至少存在某种程度的人为干预的事实要求。至少，国际人道主义法规定的基线标准，例如禁止使用固有的滥杀滥伤武器，²⁸在自主作战中似乎需要一定程度的人为干预，在这种情况下，武器控制系统的能力和采取的任何其他控制措施都无法充分确保只选择战斗人员和军事目标。除此之外，自主控制的独特性质证明需要进行更深入的研究。它承诺将部分取代法律赋予他们的角色，并深入研究武器技术通常不具备的领域触摸（特别是导致暴力行为的决策过程）。因此，可以想象，武器的自主控制可能需要对其使用的具体情况加以限制，而这些限制与武器的一般问题不同。在接下来的两节中讨论了这种上下文约束的可能性

3。管制活动的机器性能预测

本节基于以下概念，对人类参与自主武器操作的最低程度进行了论证：由于机器性能的某些方面或后果，将作战功能的直接性能的天平倾斜得离人类太远，而向机器倾斜是不允许的有问题

国际人道主义法似乎没有任何规则必然排除在一定程度上依赖机器执行法律义务的任务。然而，在AWS的情况下，这种依赖的成功在很大程度上取决于人工智能在军事决策中的性能标准²⁹今天可以达到的标准和预计在不久的将来可以实现的标准受到这样一个事实的限制，即为了遵守国际人道主义法的许多规则所需的决策过程的类型通常不适合计算机和软件³⁰Schuller认为，建立决策绩效的可量化标准是造成这种限制的一个重要因素：

至少在可预见的未来，人工智能将要求以数字可量化的方式描述这些标准。这意味着为人工智能建立的目标可以进行定量描述。例如，“不杀害超过五名平民”是一个可量化的标准，当然，这一标准不考虑系统是否能够区分战场上人员的身份。另一方面，“做正确的事”本质上不是一个量化标准³¹

人工智能对客观、可量化标准的依赖在直接引入价值判断的决策方面尤其有限。也许，最突出的例子是比例评估，其目的是确定与预期的军事优势相比，拟议攻击预计造成的平民伤害是否过大，没有必要制定明确的标准，因为决定什么是“过度”的任务留给了军事指挥官，很少有人再次猜测。观察人士哀叹，机器永远不可能在这个领域复制人类的决策。在回答这个复杂的问题时，需要考虑许多难题，但其中一个关键问题是，机器执行的决策是否是机器擅长代表我们做出的决策。调查的一个重要方面是为Al确定的目标是否可以用数字量化³³

有时还提出了更具体的场景，以说明人工智能和自主系统的感知缺点。例如，关于区分原则和在平民和战斗人员混杂的情况下确定个人战斗人员身份的困难：

……一个受惊的母亲可能会追着她的两个孩子，并对他们大喊大叫，让他们不要在士兵附近玩玩具枪。一名人类士兵可以认同母亲的恐惧和孩子们的游戏，从而认识到他们的意图是无害的，而一个完全自主的武器可能只看到一个人跑向它和两个武装人员³⁴

尽管目前对特定人工智能系统能力的这些和类似观察在特定操作环境中可能是准确的，并且它们提出的关注在上下文中是有效的，或协助制定一个通用的处方，以使自主操作中的人类干预能力达到最低

问题源于需要从具体的问题场景（如上文提到的场景）到关于自主性和人为干预的一般规则以及过程不可避免地涉及的错误进行归纳推理。很可能所识别的问题仅仅反映了人工智能和自主系统的艺术：暂时的挑战将被克服，而不是固有的限制，这将可靠地为一定程度的直接人工干预奠定法律基础。随着进一步的研究，遵守区分原则和其他法律原则所需的能力可能会提高，随着相关技术的进步，人工智能对容易量化标准的依赖也可能会减轻。如果是这样的话，这些目前的限制可以依靠现有的预防措施得到适当的处理。这些措施包括要求进行武器审查，以确定可根据国际人道主义法和其他法律使用特定武器系统的作战类型，³⁵，以及要求负责攻击的指挥官选择预计可将平民伤害降至最低的手段和方法³⁶

即使这些或其他阻碍人工智能能力的障碍似乎更持久，但在此基础上是否有必要进行任何特殊监管，这是值得怀疑的。所有与武器相关的技术都提供有限的能力，因此，在合理预期会导致被禁行为的情况下，必须避免使用任何武器系统。认真适用国际人道主义法的现行规则限制了武器的使用，以避免此类行为。似乎没有理由相信，在武器上增加一个自主控制系统，基本上是一台计算机，会破坏这一过程，从而必须强制要求对人类进行干预³⁷

4.人为干预的积极要求

前面的章节表明，IHL没有明确限制对自主系统的依赖，机器执行攻击相关任务也不一定违反法律规则。本节侧重于人机任务分配谱中的“人”方面。它根据某种类型或程度的人为干预本身对遵守国际人道主义法是必要的，审查了人为干预最低能力的论点。这种形式的争论可能更多地基于国际人道主义法的遵守之外的理由：在使用致命武力的决定中，人为干预太少侵犯了目标人的尊严权，³⁸允许机器“做出”杀人决定本身就是mala，³⁹等等。尽管如此，可以提出一个强有力的论点，即现行法要求保留足够的能力，以便个人监督和干预AWS的运营

遵守国际人道主义法规则的责任最终在于人们⁴⁰在某些情况下，这种负担表示为正式分配给个人的义务。与当前讨论最相关的是，API第57（2）（a）条指控“计划或决定袭击的人”在准备实施袭击时采取一系列旨在避免或尽量减少平民伤害的预防措施。根据《维也纳条约法公约》第31条第（1）款的规定，“条约应根据条约条款在其上下文中的一般含义，并根据其目的和宗旨进行善意解释”，“策划或决定袭击的人”必须理解为指人类。国家实践证明，至少，它指的是负责攻击的指挥官，⁴³，更广泛地说，它指“所有有权和实际可能影响攻击过程的人员”⁴⁴

除此之外，“冲突各方”，即国家和有组织武装团体，是国际人道主义法规定义务的主要承担者。冲突各方通过其机关和代理人采取行动，但最重要的是，在这方面，他们的武装部队和在这些部队中服役的人员⁴⁵此外，事实上，国家对可能卷入冲突的更广泛人群的行为负有责任，特别是那些被授权行使其权力的人、那些按照其指示行事的人以及那些被其视为自己行为的人⁴⁶尽管如此重要的一点是，无论是在正式意义上还是在实际意义上，都是负责任的个人承担着确保法律得到尊重的责任

当然，负责人必须保留履行其法律义务的实际能力。这是《条约必须遵守》的习惯法原则和《维也纳条约法公约》第26条中相应的条约义务所要求的：“每一项生效的条约都对缔约方具有约束力，必须由缔约方真诚履行。”API第1条第（1）款（“缔约方承诺在所有情况下尊重并确保尊重本议定书”）以及红十字国际委员会（ICRC）评注中的附文强化了该原则对当前主题的适用性⁴⁷

如果该义务与武器系统的操作或对攻击的监督有关，则意味着这些人员必须保留确保其负责的武器系统的行为符合国际人道主义法规定的约束的能力。在现代武装部队中，这种能力来源于参与武器系统设计和操作的每个人的集体努力。作为这一努力广度的一个例子，在2019年政府专家组会议上，澳大利亚描述了其对包括AWS在内的武器系统的“控制系统”：

控制系统是一种渐进的、分层的控制方法，涵盖了武器系统从设计到参与的所有方面。该系统适用于所有武器系统，包括没有、功能有限和几乎完全自主的武器系统。通过控制系统，军队能够适当地确保包括AWS在内的所有能力以合法和规范的方式运行。许多军队已经采用了各种形式的控制系统⁴⁸

在澳大利亚的案例中，控制系统包括一系列分多个阶段应用的措施：广泛应用法律和政策框架，以指导所有后续阶段；武器系统设计和开发；武器系统测试、评估和审查；武器系统验收、培训和认证；部署前选择适当的武器系统；确定武器使用参数；选定武器系统的部署前认证和人员培训；对使用武力实施战略和军事控制，以制定交战规则命令和目标指示，并通过结构化的目标确定过程予以执行；最后是对武器系统性能的行动评估⁴⁹

该概述表明，除了指挥官或武器系统操作员的直接干预之外，武器系统的控制还有许多方面（再次，广义地将“控制”理解为有助于确定武器系统在攻击期间采取的行动或与武器系统一起采取的行动的全部措施）。如果管理这种控制系统的总体法律框架将责任分配给特定个人（如“策划或决定袭击的人”），则必须在控制系统内为这些个人提供足够的手段，使其能够履行其义务。在操作武器系统或监督攻击方面，这种能力可以说建立在两个相关的基础上：获得关于攻击、武器的性质和行为及其与目标和环境的相互作用的充分信息；以及有足够的能力根据不断变化的情况影响武器的行为。这是遵守国际人道主义法所需的人为干预能力

API第57条第（1）款要求“在进行军事行动时，应经常注意保护平民、平民和民用物体”中最明确地表达了确保在行动期间控制武器的持续能力的需求，但其他规则也有明示或暗示。例如，API第57（2）（b）条规定，“如果攻击明显会导致不分青红皂白或不成比例的结果，则应取消或暂停攻击”

这反过来又提出了两个相互关联的问题：对武器的控制程度（广义上）足以遵守国际人道主义法，以及个人干预（狭义上）武器系统操作的能力，以确保这种控制水平并使个人能够履行其义务。这篇文章并不延伸到对武装冲突期间控制武器的必要标准；相反，它假设一个假想的国家的总体控制系统确保武器系统的行为被认为符合该国的国际人道主义法义务。需要考虑的问题是：如何描述相关国际人道主义法规则所要求的负责人干预武器系统操作的能力

不幸的是，答案有些不清楚。一些相关条款（如“持续护理”）的文字表述表明需要非常高的标准。然而，在实践中，在特定技术方面，通常会容忍至少在一定程度上无法干预武器操作。并非所有的导弹都可以在发射后的任何时刻被中止，或者在飞行中被主动引导；地雷和海雷通常在没有直接监督的情况下放置一段相当长的时间；红十字国际委员会对API第57（2）（b）条的评论对该条可能要求的对正在进行的攻击进行干预的能力相当模糊：

主要是通过视觉手段……攻击者会发现预定目标不是军事目标……然而，随着武器射程的增加，特别是在陆地军事行动中，攻击者可能无法直接看到目标，因为目标距离很远，或者攻击发生在夜间。在这种情况下，需要更加谨慎⁵¹

武装部队长期依赖导弹、鱼雷和地雷等武器，而这些武器在激活后无法轻易干预其操作，这表明某些此类能力本身并不是非法的标志。但与此同时，诸如限制布设杀伤人员地雷等管制措施表明，这是一个影响武器法律地位的风险因素

此外，武器系统自主能力的提高进一步使问题复杂化。在目前的实践中，负责人的干预能力往往是避免或尽量减少在复杂和动态的战场条件下操作武器对平民造成的伤害或其他被禁止的后果的唯一可行手段。然而，自主技术赋予了武器系统一定的能力，能够检测有关其环境的信息，并以控制系统软件确定的方式对这些信息作出反应，各国有义务在考虑到其国际人道主义法义务的情况下对这些信息进行测试和审查。因此，AWS可能会大大减少对武器系统活动的直接人为干预的需要，在某些情况下，可能会减少这种干预的可能性，而不一定会增加某项行动产生被禁止结果的机会⁵³

在这样做的过程中，自主技术可能会暴露出国际人道主义法内部的一个很快需要重新审视的假设：武器是“哑巴”的假设；他们的行为是固定的，仅限于执行人类已经完全确定的特定行动；需要积极的人的指导，以确保随着局势的发展，武器的行为仍然符合法律

无论这种假设在何种程度上存在，武器都会对行动中发生的事件做出复杂的、人类定义的反应，而不一定需要人类直接干预，这在一定程度上削弱了这种假设。值得注意的是，这一发展正值冲突解决方式的其他变化可能需要重新思考人类角色的时候。首先，武装冲突扩大到网络空间和外层空间，有可能将人类战斗人员与他们使用的武器分开，需要使用人工中介。此外，为支持日益复杂的决策而必须处理的操作速度和信息量的稳步增长，增加了对具有先进决策或决策支持能力的人工系统的依赖⁵⁴这些和其他发展提出了如何制定武器系统操作中直接人为干预的适当要求的问题

5.描述必要的人为干预的方法

如果要制定关于自主操作中的最低可接受人为干预程度的声明，则应在准确反映现行法律的要求。在这种情况下，需要确保负责确保武器使用仍在法律范围内的人有能力这样做。这就要求他们有足够的信息基础来做出关于武器使用的决定，并有足够的能力确保这些决定的结果得到执行，取决于所讨论的作战环境，差异很大，但可以对采取适当措施的方法进行说明。

这里有人认为，现行法律对人类参与武器系统的要求，至少在这些系统具有一定程度的自主能力的情况下，可以有效地将其描述为风险管理的练习，⁵⁶，并且可以至少部分地在此基础上制定自主操作中所需的人为干预类型和程度的声明。在手动操作武器系统的情况下，确保按照法律规则使用武器的责任主要是以某种方式操作武器，或确保下属人员以某种方式使用武器。然而，当武器系统自主运行时，其控制系统在某种程度上扮演着“操作员”的角色。相反，负责人的任务是确保武器系统仅在其设计和认证的条件下运行，符合国家的总体控制系统，并在可行的情况下确保武器系统在运行期间实际采取的行动符合国家的法律义务。这基本上相当于监测和应对环境或武器系统本身的事态发展，这将不可接受地增加违反国际人道主义法的风险。换句话说，这相当于管理AWS运营的风险：具体而言，武器控制系统可能导致其无法履行责任人承担的义务的风险。

有效管理这些风险的能力取决于向责任人提供的信息以及他们需要采取的行动类型，满足某些标准。

当然，向负责人提供的信息必须包括所有必须由法律决定说明的事项，在“可行或实际可能的范围内，充分详细地说明”，考虑到攻击时的所有情况，及时性和任何其他可能合理预期会影响负责人在做出相关决策时利用该信息的能力的特征。

在运营过程中选择对给定发展做出正确反应的能力需要对因负责人的武器系统在这些条件下的行动和行为：

为了遵守国际人道主义法规则，特别是禁止无差别攻击、禁止无差别武器、相称原则和在攻击中采取预防措施的要求，人们必须能够限制其使用的武器的影响。然而，只有当他们能够合理预见武器在任何特定使用环境下的功能以及由此产生的影响时，他们才能做到这一点。因此，可预测性是确保武器使用符合国际人道主义法的关键。⁵⁸

可预测性要求将可能结果的范围以及将责任人的行动与这些结果联系起来的难度保持在可管理的水平。这些又取决于一系列针对具体情况的因素：武器系统的复杂性和作战环境、平民和敌方战斗人员的存在和行为、，负责人接下来能够指导武器系统的行动等的预期时间长度。

满足这些要求的具体安排将高度具体。然而，自主机器的某些重要风险因素提供了一些一般指导，说明在武器使用方面负有法律义务的人可能需要干预的能力直接在AWS操作中⁵⁹

A。逃跑失败

当手动操作武器时，用武器完成的每一个动作都由一个人发起，在该动作之后，武器停止操作，直到该人发起其他动作（当拉动步枪扳机时，步枪射击一次或直到释放扳机，然后停止）。如果武器在使用过程中出现错误或故障，从而违反了国际人道主义法的规定，那么这要么是人为故障，要么是操作人员可能立即知道的武器故障（如果射击击中了平民而不是敌方战斗人员，射手会立即知道）。在意识到故障后，操作武器的人员可以采取适当的行动。一般来说，这种失败不会持续到人们意识到它之后，除非是故意违法。另一方面，如果AWS在激活后发生故障，在人类无法快速干预的情况下，AWS的后续行为将属于故障机器，而不是行为错误的人类。如果故障属于允许武器继续运行的类型，例如自动火炮炮塔的瞄准系统错误，错误地将民用目标识别为军事目标，则武器可能会继续以被禁止的方式运行，直到有人干预。Horowitz和Scharre在AWS操作的“可控性”论证中提到了这一风险：

军事人员通常对开发他们无法控制的武器系统没有兴趣。然而，军队对风险的容忍度可能会有很大的不同……对战场优势的渴望可能会促使军队制造高度自主的武器，从而削弱人类的控制……尽管任何武器都有可能发生故障和事故，但[AWS]可以说增加了一个新的维度，因为理论上，导致武器系统不适当地选择和攻击大量目标。因此，一个潜在的问题是开发在正常运行时合法的武器，但如果它们出现故障或在战场上面临意外情况，则不安全且有可能造成巨大伤害⁶⁰

当武器系统发生故障时，操作员与他们操作的武器系统分离，并利用不同的感官、行为和信息源，能够充当故障安全装置。如果人类的某些角色被吸收到武器系统中，则必须考虑如何保持故障安全功能，以控制武器系统的错误和故障。当然，最先进的自动气象站很可能在设计和建造时采用了武器系统内的技术保障措施，只要它们运行正常，自动气象站就能检测到其自身的故障或战场条件的变化，而这些变化超出了武器系统的认证范围。然而，技术保障措施本身就是武器系统的一部分，容易失效。它们不一定在所有情况下都足够，因为假设武器系统发生故障，这意味着任何内置故障安全装置也可能发生故障

此类故障的可能性取决于国际水文法最基本的原则，AWS运营负责人必须遵守这些原则。当武器系统有可能选择民用目标时，区分原则就活跃起来。当袭击中预期的平民伤害程度可能意外增加时，这种可能性会影响相称性评估。当这种不必要的平民伤害的风险是由于一种只有人为干预才能合理克服的机器行为模式时，至少可以说，“持续关注”义务要求在任何时候都可以进行干预，或者在特定攻击的情况下尽可能接近。此外，干预能力应建立在获取有关武器系统硬件和软件组件的法律充分信息的基础上，并应赋予检测和纠正或以其他方式有效应对被监测武器系统故障的能力

B。脆性

这里的脆性指的是自动化系统在面临超出其控制系统明确开发来应对的挑战时通常遇到的故障问题⁶¹计算机只能执行安装在其上的软件；他们在任何情况下充分发挥作用的能力完全由他们的开发人员提供给他们的软件指令来定义。因此，他们能够在开发人员预见并编程的情况下可靠地运行，而不是在其他情况下运行。当面临超出其控制软件解决范围的情况时，他们很可能会失败；计算机不能像人类那样运用常识来处理不熟悉的情况⁶²这是“脆性”概念的核心；有一组严格定义的情况，在这些情况下，任何软件都可以成功运行，并且它无法“弯曲”自己以适应不在该组中的情况。虽然程序员自然会尝试预测他们的软件将面临的所有情况，但武器系统的复杂性及其操作环境往往限制了这些尝试的成功。脆性可能因各种原因而出现：

设计者无法预测和设计系统使用过程中可能出现的所有场景，设计者故意决定使用决策任务的过于简化模型（由于成本、时间或技术限制），设计者未能正确预测系统在某些情况下的行为，或者未能正确实现预期设计⁶³

因此AWS的成功运行取决于其内部（软件和其他组件）和外部（环境）状态的组合。如果其中一方偏离预期太远，或与另一方不兼容，则可能需要人为干预。如果AWS遇到其控制系统（即使正常运行）无法将其运行保持在负责人法定义务范围内的情况，该负责人必须能够纠正这种情况，以避免或减轻违法行为。与失控故障的风险一样，AWS中可能会出现的脆性，从而加强和塑造了在操作过程中与AWS进行人员交互的能力需求。然而，与失控故障问题不同的是，脆性表明责任人需要提供的信息包括AWS操作环境的信息，这些信息足以支持判断武器系统是否在与其测试、审查和认证的环境兼容的环境下运行

C。软件复杂性

最后一点是关于预期未来（和一些现有）武器系统的巨大复杂性以及它们将需要在其中运行的战场环境所带来的挑战的更一般性的问题。如上所述，有效干预AWS运营的能力要求负责人能够可靠地预见其干预或不干预决定的后果。这种可预见性受到AWS施工复杂性的负面影响，预计AWS施工复杂性将持续增加。与其他数字系统一样，现代武器系统包括大量的硬件和软件组件，其中许多组件本身很复杂，并且以复杂的方式与其他组件互连并依赖于其他组件。这种复杂性增加的趋势是武器系统功能性增加的自然结果：使其能够在更困难的环境中执行更复杂的任务意味着能够对更多的命令输入和环境刺激组合作出更多的反应，以执行更多、更复杂的作战。因此，即使武器系统按照设计运行，人类观察员也很难可靠地预测干预或缺乏干预是否可能导致符合法律要求的行为。当干预的后果可能取决于不完全理解的影响武器系统运行的环境因素或智能对手的反应时，尤其如此。一个相关的问题是查找和修复软件错误的困难⁶⁴

AWS依赖于非常复杂的大型软件应用程序，这些应用程序的编写和维护非常困难。可以通过考虑错误率来理解所提出的挑战的规模通常发生在软件中。尽管存在相当大的差异，但研究表明，软件行业的平均错误率约为每1000行代码中15–50个错误⁶⁵作为实践中可能遇到的错误数量的粗略指示，一种现代武器系统F-35联合攻击战斗机使用了超过2000万行代码⁶⁶此外，由于日益复杂的任务、困难和混乱的作战环境以及复杂对手经常无法预测的行动的综合影响，可靠预测武器系统行为的难度呈指数级增加⁶⁷

综合起来，该软件中始终存在的未发现错误的风险以及控制系统算法必须在其中运行的复杂和混乱的战场条件，表明需要对AWS在不允许及时人工干预的条件下运行的程度进行仔细限制

在最好的时候，如何最好地履行自己的法律义务，同时满足其他专业要求，这一决定可能会很困难。当决策涉及在困难的作战情况下操作高度复杂的武器系统时，非常重要的是，每个决策的范围应尽可能小，以便人类决策者能够确保他们符合国际人道主义法规定的严格标准。这表明，武装部队应采取一般谨慎的方法，允许AWS在不可能进行人为干预的情况下运行

结论

国际人道主义法没有明确处理人类干预武器操作的概念。它通过界定一系列法律义务来深入处理对武器的控制，遵守这些义务必然需要对使用武力进行高度控制，但不具体涉及在实施这种控制时必须采用的人为干预程度

本文试图确定国际人道主义法今天所要求的自主行动中直接人为干预的程度。委员会发现，情况相当不清楚，但可以从以下事实得出一些推论：对武器系统的操作负有法律责任的人必须保留履行这些义务的实际能力，这反过来要求他们获得关于武器及其行动的充分信息基础，以及根据这些信息有效行动的能力。自主控制带来了对武器实行高度控制的可能性，而不一定需要对使用这些武器负有法律责任的人直接干预。它还带来了新的技术故障风险和随之而来的悲剧后果。这些新挑战有助于确定必须保留的人类干预能力

尽管本文中的这些结论是关于现行法要求的陈述，但本文的研究结果也可被视为对一项规定AWS运行中仍可能存在的人为干预类型和程度的文书的贡献

从短期来看，这样的声明，无论是以法律或政治文书的形式，都可能足以解决对现代武装部队自主能力快速发展的担忧。从长远来看，也许有必要就人类在冲突中的角色提出更深入的问题，因为他们必须被问及人类在其他领域的角色，而这些领域正被自动化和机器自主重塑。当然，这不仅仅是一个法律问题。道德、政治、安全和其他方面的问题很多，也需要解决。然而，对于自主武器开发的不久的将来，希望本文中的讨论将有助于填补国际监管辩论中的一些空白

致谢

本文的研究获得了澳大利亚政府通过可信自治系统国防合作研究中心的资助。文章中表达的观点和意见是作者的观点和观点，不一定反映澳大利亚政府或任何其他机构的观点。作者希望感谢Rain Liivoja、Kate Devitt、Paul Jones和匿名审稿人的有益评论

脚注《禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》（1980年10月10日通过，1983年12月2日生效）1342 UNTS 137下一节将更详细地讨论武器系统中的“自主”。这里需要注意的是，AWS是一种武器，通常采用先进的计算能力，可以在一定程度上自行选择和攻击目标，而无需任何直接的人类参与。这与美国国防部“武器系统自主性”（第3000.09号指令，国防部负责政策的副部长办公室，2012年11月21日）13中给出的定义大致一致，无人军队——自主武器与战争的未来（诺顿2018）

4请参阅联合国主办的关于监管AWS:“《特定常规武器公约》中致命自主武器系统的背景”（联合国，日内瓦，2021）的讨论参与者提出的广泛意见；https://www.un.org/disarmament/the-convention-on-certain-conventional-weapons/background-on-laws-in-the-ccw/> 访问时间：2022年5月4日。另请参阅“制止杀人机器人运动”的活动，该运动是一个非政府组织联盟，自2012年以来一直活跃，并广泛参与了有关AWS监管的多边讨论<；https://www.stopkillerrobots.org> 访问日期：2022年5月4日。

5

致命自主武器系统领域新兴技术政府专家组，“指导原则国家评论中的共性”（2020年9月）第21（c）段<；https://documents.unoda.org/wp-content/uploads/2020/09/Commonalities-paper-on-operationalization-of-11-Guiding-Principles.pdf> 访问日期：2022年5月4日。

6

致命自主武器系统领域新兴技术政府专家组，《致命自主武器系统领域新兴技术专家组2019年会议报告》（2019年9月25日）CCW/GGE。2019年1月3日附件IV（c）

7

参见，例如，T Chengeta，“根据国际人道主义法规则衡量自主武器系统”（2016）5《法律与法律杂志》；网络战78.

8

参见，例如，“新武器，经验证的先例：杀手机器人条约的要素和模型”（人权观察，2020年10月20日）<；https://www.hrw.org/report/2020/10/20/new-weapons-proven-precedent/elements-and-models-treaty-killer-robots> 2022年5月4日访问；T Chengeta，“问责差距：国际法中的自主武器系统和责任模式”（2016）45丹佛国际法杂志；政策1.

9参见，例如B Laird，《自主武器系统在未来美国-俄罗斯对峙中的危机稳定和冲突升级风险》（兰德博客，2020年6月3日）<；https://www.rand.org/blog/2020/06/the-risks-of-autonomous-weapons-systems-for-crisis.html> 2022年5月4日访问。

10

本文参考了最近的报告：V Boulanin等人，《武器系统自主性的限制：识别人类控制的实际要素》（2020年6月）斯德哥尔摩国际和平研究所和红十字国际委员会。这里提出的论点的基础与该报告的结论大致一致，该论点本身可以被视为对报告第38页第三项建议的部分回应：“各国应澄清[国际人道主义法]下的规则已经对[AWS]的开发和使用设置了限制，可能需要标准和最佳实践指南。”

11

这里的“循环”指的是向武器发出命令、接收有关该命令效果的信息、根据该新信息制定新命令、发出新命令等的持续过程：例如，G de Boisbessel致命自主武器系统”（IEEE国际军事技术会议，2015年5月，布尔诺）

《1949年8月12日日内瓦四公约关于保护国际武装冲突受难者的附加议定书》（第一议定书）（1977年6月8日通过，1978年12月7日生效）1125 UNTS 3（API）

13

对于这个问题的不同方法，但并非完全不同的结论，请参见ET Jensen，《武装冲突法中人类判断（和错误）的（错误）要求》（2020）96国际法研究，《2021会议临时议程》（2021 7月14日）CCW/GGE。2021 1月1日[5]（a）

15参见，例如，制止杀人机器人运动，“关于自主武器系统规范和操作框架的建议”（致命自主武器系统领域新兴技术政府专家组，2021 12月，日内瓦）<；https://documents.unoda.org/wp-content/uploads/2021/06/Campaign-to-Stop-Killer-Robots.pdf> 2022年5月4日访问3B

16

参见，例如，S-S Hua，“机器学习武器和国际人道主义法：重新思考有意义的人类控制”（2019）51乔治城国际法杂志117；Chengeta（n 8）；人权观察，失去人性：针对杀人机器人的案例（人权观察，2012年）

17

参见，例如，R Crootof，《杀人机器人在这里：法律和政策影响》（2015）36Cardozo法律评论1837；C Jenks，《错误的魔方，道德恐慌》；概念性犯罪：批判与分析；《重新制定禁止致命自主武器的呼吁》（2016）44（1）《佩珀代因法评论》1；MN Schmitt，《自主武器系统和国际人道主义法：对批评者的回应》（2013）《哈佛国家安全杂志》特色4.

18

有关这一点的深入讨论，请参阅：T McFarland，自主武器系统与武装冲突法：与国际人道主义法的兼容性（剑桥2020）第3章。

19

有关“有意义的人类控制”所导致的控制的各个方面的概述，请参见M Ekelhof，《超越自主武器的语义：行动中有意义的人类控制》（2019）10（3）全球政策343。

20

哥斯达黎加共和国、巴拿马共和国、秘鲁共和国、菲律宾共和国、塞拉利昂共和国和乌拉圭东部共和国，“联合工作文件”（致命自主武器系统领域新兴技术政府专家组，2021 12月，日内瓦）<；https://documents.unoda.org/wp-content/uploads/2021/06/Costa-Rica-Panama-Peru-the-Philippines-Sierra-Leone-and-Uruguay.pdf> 2022年5月4日访问；'《菲律宾共和国关于杀伤性自主武器系统领域新兴技术规范和运作框架的评论》（杀伤性自主兵器系统领域新技术政府专家组，2021 12月，日内瓦）<；https://documents.unoda.org/wp-content/uploads/2021/06/Philippines-.pdf> 2022年5月4日访问。

21

阻止杀人机器人运动（n 15）

22

参见本文第4节中澳大利亚对2019年政府专家组会议的贡献摘要，了解其中一个系统的描述

23

这种分歧的最明显的例子可能是那些赞成颁布新的、具有法律约束力的规则来管理AWS的采纳的国家和组织与那些声称现有法律是充分的国家和机构之间的分歧。根据2021政府间专家组会议上关于AWS监管的声明，菲律宾、不结盟运动和红十字国际委员会等似乎属于前者，而俄罗斯、英国和美国等也属于后者。参见声明和与会者提交的工作文件：“特定常规武器公约——致命自主武器系统政府专家组”（UNODA会议地点）<；https://meetings.unoda.org/section/ccw-gge-2021_documents_14090_documents_14570/> 访问日期：2022年5月4日。

24

《关于铺设自动海底接触地雷的第八号公约》（1907年10月18日通过，1910年1月26日生效）[1910]ATS 8第1、3条。

25

<，储存、生产和转让杀伤人员地雷及销毁此种地雷（1997年9月18日通过，1999年3月1日生效）2056 UNTS 211第2条，《禁止或限制使用某些可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》（1996年5月3日通过，1998年12月3日生效）所附1996年3月3日修正的诱杀装置和其他装置2.

27

指导原则，原则（a）

28

API第51（4）（b）和（c）条

29

这一主张基于这样的观察，即许多与高度自主武器系统相关的非机密开发计划和专利表明，这些系统将严重依赖人工智能技术，以完成其设计的复杂任务

30

有关此问题的一般讨论，请参见J-C Pomerol，《人工智能与人类决策》（1997）99（1）《欧洲运筹学杂志》3。

31

<，《人工智能影响人类的杀戮决策：将数字量化目标与国际人道主义法合规性联系起来的挑战》（2019）15I/S:信息社会法律与政策杂志110.

32

参见API第51（5）（b）、57（2）（A）（iii）条

33

Schuller（n 31）109。

人权观察，失去人性：对抗杀人机器人的案例（n 16）31–32。

35

API第36条。

36

API第57（2）（a）（ii）条

37

这一索赔受到本文第5节讨论的风险管理的关注

38

参见，例如，R Geiss，“自主武器系统的国际法维度”（研究，弗里德里希·埃伯特·斯蒂夫通，国际政策分析，2015年10月）17；流行语，“自主武器系统：对人类尊严的威胁？”（红十字国际委员会人道主义法和政策，2018年4月10日）<；https://blogs.icrc.org/law-and-policy/2018/04/10/autonomous-weapon-systems-a-threat-to-human-dignity/> 访问日期：2022年5月4日。

39

参见，例如，R Sparrow，“对Robert Sparrow的自动武器系统和战争中的尊重的EIA采访”（伦理与国际事务，2016年8月）<；https://www.ethicsandinternationalaffairs.org/2016/eia-interview-robert-sparrow-autonomous-weapon-systems-respect-warfare/> 2022年5月4日查阅。

40

1949年日内瓦四公约共同第1条正式规定并扩大了这一义务：“缔约方承诺在任何情况下都尊重并确保尊重本公约。”

《维也纳条约法公约》（1969年5月23日通过，1980年1月27日生效）1155 UNTS 331，在J-M Henckaerts和L Doswald中引用的军事手册中，许多提到了指挥官在攻击中采取预防措施的责任-贝克（eds），《习惯国际人道主义法》（剑桥大学出版社，2005年）第2卷，第5章。

43

尽管对哪种等级可能有不同的看法。例如，瑞士对API第57条提出了保留意见，称“本条第2款的规定仅为营级或集团级以上指挥官规定了义务。”（n 12）431.

44

I Henderson，当代瞄准法则（Martinus Nijhoff 2009）160.

45

M Sassòli，《违反国际人道主义法的国家责任》（2002年）84《红十字国际评论》405。

46

，《国际人道主义习惯法》（剑桥大学出版社2005年）第1卷，530.

47

B Zimmermann，《第一议定书——第1条——一般原则和适用范围》，Y Sandoz，C Swinarski和B Zimmerman（编辑），1949年8月12日日内瓦四公约1977年6月8日附加议定书评注（Martinus Nijhoff 1987）35[38]–[40]

48

致命自主武器系统领域新兴技术政府专家组，“澳大利亚的自主武器系统控制和应用系统”（2019年3月26日）CCW/GGE.1/2019/WP.2/Rev。1 [3].

49

同上[7]-[40]

50

该条的文本是：“关于攻击，应采取以下预防措施：……如果目标明显不是军事目标或受到特殊保护，或攻击可能会造成平民生命意外损失、平民受伤、民用物体损坏或其组合，则应取消或暂停攻击，与预期的具体和直接军事优势相比，这将是过度的。”

51

C Pilloud和J Pictet，Y Sandoz、C Swinarski和B Zimmermann（eds）中的“第一议定书——第57条——攻击预防措施”，1949年8月12日日内瓦公约1977年6月8日附加议定书评注（Martinus Nijhoff 1987）686[2221]

52

《特定常规武器公约》第二号议定书所载的那些（实际上，《渥太华公约》所载的彻底禁止，因为这些禁止所产生的有害影响源于在杀伤人员地雷的整个生命周期内无法干预其运作）

53

或者，事实上，减少了这种结果的可能性：ET Jensen和A Hickey，《利用新兴技术促进LOAC合规》，RTP Alcala和ET Jensen（eds），《新兴技术对武装冲突法的影响》（牛津大学出版社2019）45；P Margulies，RTP Alcala和ET Jensen（eds）中的“自主武器的另一面”，新兴技术对武装冲突法的影响（牛津大学出版社2019）147。

54

因此，军事决策支持是一个活跃的研究领域：参见K van den Bosch和A Bronkhorst，“人类人工智能合作有助于军事决策”（NATO 2018）<；https://www.karelvandenbosch.nl/documents/2018_Bosch_etal_NATO-IST160_Human-AI_Cooperation_in_Military_Decision_Making.pdf> 访问日期：2022年5月4日。

55

参见，例如，Boulanin和其他人（n 10）21–22。

56

R Liivoja、M Naagel和A Väljataga，“国际法下的自主网络能力”（2019）北约合作网络防御卓越中心工作文件<；https://ccdcoe.org/library/publications/autonomous-cyber-capabilities-under-international-law/> 2022年5月4日访问

58

Boulanin等人（n 10）7.

59

以下小节中对风险因素的部分讨论借鉴了T McFarland《国际人道主义法下自主武器系统的地位》（墨尔本大学2017年博士论文）中的等效观点

60

MC Horowitz和p Scharre，《武器系统中的有意义的人类控制：入门》（2015年3月，新美国安全中心）8.

61

，“人工智能失败的7种揭示方式：神经网络在数学方面可能是灾难性的脆弱、遗忘和出乎意料的糟糕”（2021）（10月）IEEE Spectrum；https://www.cnas.org/publications/reports/autonomous-weapons-and-operational-risk> 2022年5月4日访问。

63

PJ Smith、CE McCoy和C Layton，《合作问题解决系统设计中的脆性：对用户性能的影响》（1997）27（3）IEEE系统事务，人类与控制论360.

64

有关风险和AWS可靠性的一般讨论，请参阅R Cordeschi，《机器人系统中的自动决策和可靠性：机器人武器案例中的一些含义》（2013）28AI&；社会431。

65

Scharre（n 62）13。

66

Scharre，fn 13.

67

McFarland（n 59）101。

©牛津大学出版社2022。

>这是一篇根据知识共享署名许可条款发布的开放获取文章(https://creativecommons.org/licenses/by/4.0/)，允许在任何媒体中不受限制地重复使用、分发和复制，前提是正确引用了原始作品

©牛津大学出版社2022。

简介