简介

谣言已经流传了一段时间，但在2020年8月7日，它正式成为：美国国防高级研究计划局（DARPA）负责探索最新的军事技术，宣布了美国空军飞行员与人工智能（AI）（DARPA 2020）之间的计算机模拟格斗。许多观察家原本预计人工智能会获胜，但人工智能以五比零获胜的明确结果仍然出人意料。尽管这不是一场“真正的”战斗，但大多数观察家对人工智能的侵略性和非常规行为印象深刻（Hitchens 2020）。彼得·W·。辛格是最有影响力的军用机器人书籍之一的作者，他甚至在推特上提出了“深蓝对卡斯帕罗夫63的战争时刻”的可能性，当然，他指的是1996年在位的世界象棋冠军第一次输给计算机程序。2021夏天，据报道，中国军方进行了一项类似的实验，结果相似：人类被人工智能打败（哈姆林，2021）

在现实世界中使用计算机算法飞行的无人机，能够识别并成功攻击人类对手，极有可能属于致命自主武器系统（LAWS）的范畴，这种系统将目标选择和交战的“关键功能”结合在一个系统中，无需人工干预，五角大楼（国防部2012年，第13页）和红十字国际委员会（红十字委员会2021，第2页）使用的定义。LAWS不局限于仅由预先确定或预先编程的敌对目标组成的环境，而是能够在“不受控制”的环境中运行，在这种环境中，LAWS由其周围环境触发，从而导致“使用结果的不可预测性”（Boulanin等人，2020，第ix页）。由于最近实验中的模拟空域受到高度控制，任何转移到现实世界任务都将是一个重大飞跃

如上所述，LAWS是一组更大、多样化的技术的一部分，这些技术在军事领域通常被描述为“新的”或“新兴的”。“新兴技术”涵盖了从现代导弹技术，尤其是高超音速导弹，到任何属于“网络”范畴的东西，以及人工智能和机器学习的军事用途。此外，增材制造（有时称为3D打印）、新生物技术工艺、纳米技术和LAWS也经常被贴上“新兴”的标签。这些新兴技术中的许多至少部分源自民间。然而，尽管有这种统一的分类，但从单一的军备控制角度来看，这些多样的技术并不是最好的处理方法。根据研究、开发、测试和部署的状态，需要不同的方法来控制技术

从理论角度来看，当涉及到新兴技术时，理想的解决方案当然是在技术成熟之前就决定军备控制措施。这种“预防性”军备控制甚至会在个别行为体获得重大优势之前限制武器系统（例如，Altmann 2006；Altmann等人1998），这些措施旨在“限制、中断或终止相关研发过程和/或禁止基于转化为武器（系统）的军事行动”（Neuneck和Mutz 2000，第109页）。在这种情况下，所有的州都会同意，最好的解决办法是把精灵放在瓶子里，而不是把它放出来，然后再装瓶。尽管预防性军备控制在理论上有许多优点，但在实践中很少得到实施。突出的例外是美国与苏联/俄罗斯之间于2002年终止的《反弹道导弹条约》，以及禁止“致盲激光”，这是一种旨在永久致盲而非杀死人类对手但几乎没有任何军事价值的武器（Sauer，2021，第243页）。由于所有相关国家都认为这种武器过于残忍，不适合在军事冲突中使用，并且认为没有军事需要，因此《特定常规武器公约》（CCW）禁止使用这种武器，该公约是一个总部设在日内瓦的联合国机构，重点关注军备的人道主义影响及其对国际人道主义法的遵守情况。目前，《特定常规武器公约》再次成为人们关注的焦点，自2014年以来，该公约一直在主办关于潜在的预防性禁止《法律武器公约》的讨论，并伴随着由180多个非政府组织组成的“制止杀人机器人运动”（Campaign to Stop Killer Robots）引发的相对激烈的公众辩论^{脚注2这引发了一个问题，即我们目前在新兴技术领域是否面临军备控制危机}

鉴于关于法律的辩论十分突出，本文着重于新兴的致命自主武器技术，并考虑了为证明或拒绝预防性禁令而提出的利弊。然而，与大多数现有文献相比，我们不是关注常见的法律和伦理论点，而是从结构和战略或安全导向的角度来处理这个问题。虽然这一观点并不完全新颖（参见Altmann和Sauer 2017），但它有助于我们从新的角度对非国家行为者在该领域使用的策略进行批判性评估。与文献主体相反，我们将认为，非政府组织施加的巨大压力既有利弊，Rosert和Sauer（2019）最近才提出这一论点。虽然法律和道德方面的争论有助于说服一些国家支持禁令，但那些技术更先进、专注于自身军事优势的国家仍然不为所动。毫不夸张地说，限制甚至禁止法律的过程正处于危机之中。我们同意，如果不是关键的非政府组织施加了巨大的压力（并提供了有力的论据），这个问题就不会列入国际议程，但这些非政府组织却忽略了在需要时提出与安全有关的论据。与Rosert和Sauer相反，我们基于安全观点的温和批评方法得出了一个不同的、更激进的结论：我们建议从更根本的角度转向以主要参与者为重点的军备控制和安全论点，而不是关注道德（而非法律）论点。这不仅有助于拓宽我们的视野，超越法律这一狭隘的话题，而且还将加速战争的更根本的危险纳入更清晰的焦点

因此，我们认为，首先，促进预防性军备控制需要批评和消除对特定系统军事优势的期望，以便让主要参与者参与辩论。这意味着，必须认真对待为研发辩护而提出的硬安全甚至军事论点。我们将进一步强调，在法律、道德和安全的三角中，后者是最重要的问题，因为安全问题独立于自治的任何具体定义（见下文）而产生，不取决于制度的杀伤力，并影响所有国家，无论其对国际法的解释和道德观点如何。不幸的是，与安全相关的论点不像伦理论点那样直观易懂。例如，在冷战期间，俄罗斯和美国的决策者必须“学习”军备控制、稳定甚至相互保证的销毁的逻辑，以接受军备控制作为减轻核末日危险的手段。了解建立信任和核查的重要性也很重要，这导致了“信任，但核查”这一口号被过度使用。在当前关于法律的辩论中忽视军备控制，使许多不熟悉军备控制逻辑或不了解军备控制逻辑的行为体无法充分参与辩论，并使我们失去了利用所有可用选项为禁令或其他预防措施进行辩论的宝贵机会。然而，关注安全和军备控制需要付出代价：我们必须努力应对这样一个事实，即特定武器系统的某些潜在应用可能遵循合理的（尽管是军事的）逻辑，不应被轻视，尤其是当作弊很容易，验证合规性很困难时。这可能最终导致一个结论，即全面禁止虽然可取，但目前是不可行的，必须作出妥协。至少，辩论必须集中在稳定和核查等经典的军备控制概念和目标是否以及如何能够在自主武器领域建立一个强硬和有韧性的军备控制制度，使其更具吸引力，并克服许多人认为的危机，或至少是僵持不下的局面

机器速度下的战争：军事期望和自动化和自主武器系统的影响

如上所述，预防性武器控制没有特别成功的记录。正如哈拉尔德·穆勒（Harald Müller）所言，“只要不能充分评估新武器技术的潜力，军事和民用军事规划者就不会准备放弃一个有利于军备控制的项目”（穆勒1996年，第403页；我们的翻译）。这在军事自动化领域尤其如此，因为自动化武器系统激发了军事幻想，同时唤醒了我们最严重的恐惧。正如我们将在下面看到的那样，自动化武器和网络化战争已经导致了军事行动，其速度明显更快、更“高效”，并且可能导致自己队伍中的伤亡人数更少。然而，致命和完全自主武器系统在更广泛的意义上是否已经存在的问题是一个解释问题。一些武器系统的使用方式已经满足上述法律的定义（红十字委员会，2021，第5页）。当切换到自动模式时，终端防御系统（如Phalanx和Sky Shield）可以根据预设的目标标准，在无需人工干预的情况下选择和攻击目标。在战场上徘徊数小时的哈普无人机可以攻击预先选定的目标，如雷达站，一旦它们探测到特定的雷达发射。尽管根据上述DOD/ICRC定义，所有这些系统都可以被理解为自主的，但它们并不是专门设计用来杀人的，除了哈比/哈普，它们目前都在相对受控的环境中运行，例如公海。尽管它们已经针对非常具体的场景进行了优化，但它们代表着朝着可能结束（可能是不可逆转的）自动化趋势迈出的重要一步，这一趋势始于“简单”和远程控制的无人机武器系统，例如无人机。因此，在本文中，我们将武器系统的自动化或“自动化武器系统”理解为未来可能具有更广泛应用的完全自主武器系统的先驱。诚然，这是一个灰色地带，我们很难确定某一特定系统在分类图上的确切位置，尤其是在讨论监管需求时

在过去二十年中，无防护系统的军事重要性显著上升可以用两个因素来解释：第一，使用这些系统不会直接危及自己士兵的生命（Mandel 2004；Sauer和Schörnig 2012）；第二，缺少机载操作员可以节省空间和重量，从而实现更紧凑高效的系统设计。因此，作为一个主要优势，这些系统可以用于所谓的“危险、迟钝和肮脏”任务，并且与相同尺寸的乘员系统相比，具有更长的续航时间和更高的武器有效载荷（Krishnan 2009；Singer 2009；Altmann和Sauer 2017，第122页；Scharre 2018）。一开始，很少有任务是自动化的，例如预先通过GPS坐标设置飞行路线。“关键功能”（红十字国际委员会2018年，第4页），如目标选择和武器释放，是由人类操作员通过无线电、直接传输或卫星链路提供的（并且仍然是），导致长达数秒的严重滞后和信号丢失的风险。由于这种滞后性，当今的无人武器系统在有争议的军事领域难以与有人系统竞争（Haider 2014）。如果要克服这一问题，并扩大其在竞争环境中的职责范围和用途，就必须使越来越多的任务自动化。这种自动化通常会导致流程的加速，这本身就代表了进一步的军事优势，实际上也是该技术的全部要点：“机器速度”已成为所有自动化努力的关键驱动因素（Doll and Schiller 2019，第3-4页）

最大处理速度通常与做出相关决策所需的“时间”有关，迄今为止，人类一直是这方面的限制因素。因此，人们一直在努力提高军事决策的自动化程度，并至少部分地将其与人类脱钩，从而获得速度优势。设计用于通过击落来袭导弹来防御军舰的系统不能等待操作员识别目标并确定其优先级，然后按下扳机。尽管它们只在危机中使用，范围非常有限，但它们仍然代表着最有可能的前进道路：速度和自动化的承诺意味着开辟各种新的军事活动领域，使协同作用发挥作用并提高效率，始终伴随着对技术领先地位的宣称，从而获得军事优势，所有这些都是以“机器速度”走向战争的全球军事自动化螺旋的先决条件（Doll and Schiller 2019，第4页）。将任何（或至少更广泛的）决策权转移到机器取决于它们是否满足必要的要求。然而，尽管面临挑战，军事研究与发展一直高度关注机器学习和人工智能，旨在提高机器决策的质量（Haner和Garcia 2019）

进一步的自动化、军事进程的加速以及未来LAWS的前景也提高了其他新的军事期望，包括提高武器系统的机动性和互操作性、指挥和控制过程的效率、军事应用的新领域以及节省成本的希望，仅举几个例子（Schörnig 2010，第8-13页；Dickow等人，2015；Altmann和Sauer 2017，第119页）。此外，自治系统不依赖敌后的稳定通信链路（Dickow等人，2015年），因此应不可攻击并抵抗外部干扰（Sauer，2021）。所有这一切都可能带来新的军事战略，但至少它将在军事结构和行动方面产生变革性影响（Zacharias 2019；Sauer 2021）。武器系统自动化程度不断提高，特别是军事指挥和控制链中的过程，进一步预测的影响包括加速军事分析、改进决策、改进某些过程的控制和执行以及整体作战管理（Schörnig 2014）。预计基于所谓“辅助系统”的机器增强指挥和控制将提高效率，产生和利用新的协同效应，监督和控制更多的系统，并大大加快军事行动。这种指挥和控制结构的未来使用将在很大程度上取决于计算能力，并且需要将大量决策权转移到所涉及的机器上

在较小的范围内，官员们越来越多地促进和提出了单个有人军事系统（例如作战飞机）与高度自动化和专业化的无人机武器系统（所谓的“有人-无人团队”或MUMT）之间的互动与合作（例如Barnes和Evans 2010）。例如，这可以采取一架载人作战飞机的形式，伴随着几架作战无人机充当前方传感器或攻击平台。由于飞行员忙于控制自己的飞机，因此无人机必须以高度自动化或自主的方式运行，尤其是在紧张的战斗情况或紧急情况下<此外，这可以采取机器-机器交互的形式，无论是涉及作为一个更大的实体（例如群）一起运行或交互的许多单独系统，还是构成一个能够执行新的或扩展的军事任务的更大系统的多个不同的高度专业化的系统。例如，这种蜂群可以在自主、自我协调的行动中击败敌人的防御周界或攻击掩体设施（Hurst 2017），甚至可以用于对核资产进行首次打击（Altmann和Sauer 2017，第131页）

LAWS的另一个可能应用领域是水下战争（Frandrup 2020）。迄今为止，我们缺乏技术手段，无法在水下远距离建立可靠的通信或控制连接。使用小型无声自主系统跟踪和攻击敌方（可能是核武装）潜艇的能力对许多国家都很有吸引力。事实上，俄罗斯已经宣布开发一种新型洲际核动力海底自动飞行器“波塞冬”（Poseidon），设计用于携带100公吨核弹头，代表一种新型“末日武器”（施耐德2019）

无论如何，军事流程的自动化对军队本身也是一个挑战。从军事角度来看，加快作战进程以取得优势并保持领先可能是可取的，甚至是必要的。另一方面，军方对失去或不再能够对自己的部队实施态势控制没有兴趣。然而，准确地说，这很可能是自动化螺旋式发展的结果。被迫采取越来越快的行动，人类可能会在某个时刻无意中失去对自动武器系统的控制。换言之：战争的加速与更大的自动化同步进行，反之亦然，这使得军事规划者在走向完全自治和战争失控的道路上滑落

批判视角

从科学批评到国际运动：ICRAC，联合国和制止杀手机器人运动对战争日益自动化和（致命）自主武器系统在战场上漫游的形象的批评始于2009年国际机器人武器控制委员会（ICRAC）由诺埃尔·沙基（机器人学家）、尤尔根·奥特曼（物理学家）和彼得·阿萨罗（Peter Asaro）和罗伯·斯派罗（Rob Sparrow）（两位哲学家）组成。ICRAC最初是一个专家网络。2010年，ICRAC在柏林举行了第一次国际会议“限制武装远程操作和自主系统的机器人军备控制”，^脚注4，并在同年特别报告员菲利普·阿尔斯顿发表了一份关于军队机器人化趋势的联合国报告后，学术专家对这个问题进行了越来越多的辩论。2012年，人权观察是第一个就这一问题发表开创性报告的主要非政府组织，向学术界以外的更广泛公众发表了报告（人权观察，2012年）。越来越多的非政府组织参与了这项事业，最终于2012年发起了制止杀人机器人运动，目的是以协调一致的方式将这一问题列入国际议程<多年来，参与非政府组织的数量从7个增加到165个（截至2020年8月），尽管一些观察家对其成功感到惊讶（Carpenter 2014），但该运动变得非常有影响力

从一开始，在对（致命）自主武器系统的批判中，就提出了三种不同的论点：（a）基于国际安全的论点，（b）基于国际法的论点，以及（c）基于伦理考虑的论点。虽然三人形成了一个相互支持的三角，但ICRAC的相关成员主要关注国际安全和国际人道主义法（IHL）（Bahcecik 2019），特别是区分战斗人员和平民的原则

联合国特别报告员阿尔斯通在其2010年8月的报告中阐述了非政府组织对这一问题的框架，他在报告中指出，“需要紧急考虑机器人技术的开发和使用，特别是但不限于战争用途的法律、伦理和道德影响”（阿尔斯通2010年，第21页；作者强调）。这些论点似乎与非政府组织产生了很好的共鸣，而安全论点或多或少被忽视了。一些观察家认为，将重点放在法律问题（即区别原则）和道德问题上，与以往成功的运动产生了很好的共鸣，特别是1999年禁止杀伤人员地雷运动、2008年禁止集束弹药运动和禁止致盲激光运动。因此，非政府组织坚持他们表面上获胜的策略，脚注6，一段时间出现了积极的动态。2013年，联合国人权理事会（HRC）举行了互动对话（Barbéand Badell 2020，第135页），讨论了自主武器问题的第一个官方论坛，与会者讨论了新的联合国报告，特别关注新任特别报告员Christof Heyns（Heyns 2013）提出的“致命自主机器人”。《海恩斯报告》再次刺激了该运动，该运动加强了对禁令的游说

一旦该问题进入大会，法国的一项倡议将其从人权委员会转移到日内瓦的《特定常规武器公约》，与会国决定从2014年起就法律问题展开非正式专家辩论。尽管巴贝和巴德尔辩称，从人权委员会到《特定常规公约》的这一转变构成了“在安全方面”的“重构”（巴贝和巴德尔2020年，第136页），鉴于《特定常规武器公约》对人道主义问题和国际人道主义法的高度关注，当时至少有一些观察家对《特定常规公约》是否是辩论《法律》的正确场所持怀疑态度，并对安全相关论点的稀缺性持谨慎态度<从非政府组织的角度来看，这一重点和较少限制的格式似乎非常适合他们论点的主旨。非正式会议不仅为国家代表，也为学术专家和非政府组织成员提供了辩论各自案件的机会。2016年，《特定常规武器公约》第五次审查会议决定从2017年开始继续成立一个正式的不限成员名额的政府专家组。政府专家组的任务是向缔约方提交一份报告。这份报告是否可以作为潜在禁令的依据尚不清楚，但这并没有阻止非政府组织庆祝：2012年，当许多国家专家对法律的问题和危险只有模糊的认识时，没人料到仅仅五年后，一个联合国官方机构实际上会讨论预防性禁令的可能性，这是非政府组织的最终目标。从表面上看，批判性的观察家们做了一切不折不扣的事情

从2017/2018年开始，在将非正式会谈的形式改为GGE之后，势头开始放缓。论点双方都很熟悉，但没有取得实质性进展。非政府组织变得不安和不安（Schörnig 2019）；非政府组织、这场运动以及科学家和IT界名人的几封公开信不断施加压力，这一话题一直在公众话语和媒体中出现，然而，日内瓦的局势开始如此活跃，变得越来越僵硬，活动家们公开辩论放弃《特定常规武器公约》进程的选择（Rosert和Sauer，2021，第20页）

今天，鉴于广泛的竞选活动，公开支持该运动的禁令呼吁的州数量已达到30个，相对较低。技术更先进的国家未能加入这一事业，中国是一个有争议的例外（Kania 2018）。然而，即使不包括中国，美国、俄罗斯和印度等其他主要国家也出于不同的原因不愿开始认真谈判禁令。介于两者之间的是德国和（在较小程度上）法国，这两个国家都主张达成一项具有政治约束力的宣言<虽然禁令的倡导者认为非约束性协议过于薄弱，但那些有兴趣推动技术限制的人也不支持

一些人认为，2019年《特定常规武器公约》通过了11项原则，其中包括国际人道主义法适用于法律和“必须保留人类对武器系统使用决定的责任，因为责任不能转移到机器上”（《特定常规武器公约》2019年，第9页）。虽然一些人（例如德国外交部）将这些原则视为进一步限制甚至达成协议的垫脚石，但其他人批评这些原则含糊不清、多余且本质上不必要（2019年第36条）。从那些至少旨在禁止法律的人的角度来看，《特定常规武器公约》的辩论似乎陷入僵局。最初是人道主义军备控制史上最具活力的运动之一，但现在却戛然而止。然而，为了理解这一转变，我们必须首先看看该运动的非政府组织提出批评的依据

批评者的主要论点

当谈到法律问题时，人们从辩论一开始就担心自主武器无法区分士兵和平民，诺埃尔·沙基是最直言不讳的批评者之一（沙基2009年；人权观察2012年；卡彭特2014年）。考虑到系统的感官和认知限制，以及识别投降的能力（Sparrow 2015），人们不仅对系统做出这种区分的能力表示怀疑，还对将机器学习和人工智能应用于关键目标功能时产生的“固有不可预测性”表示怀疑（红十字国际委员会2018，第2页）。最后，有人（现在也有人）认为，国际法过于柔软、复杂且依赖于上下文，无法在算法中可靠实施（Sharkey 2012）。总之：法律是否能够遵守国际人道主义法的规则是值得怀疑的（Geis 2015，第14页）

尽管非政府组织和批评者继续严重依赖不可能遵守国际人道主义法的假设，但值得一提的是一些突出的反驳。例如，罗恩·阿金（Ron Arkin）认为，完美的合规的确是不可能的，但最终可能会达到与人类判断相当或更好的合规程度（阿金2009年、2010年；卡彭特2014年），例如，美国代表团（Sauer 2021，第244页）就采用了这一推理路线。其他自主武器的支持者认为，未来的系统可以在有限的情况下使用，在这种情况下，违反国际人道主义法基本上是不可能的，或者没有后果。即使是罗伯特·斯派罗（Robert Sparrow）等直言不讳的法律批评者也接受这种可能性（斯派罗2015年，第701页），自主狩猎潜艇攻击敌方载人潜艇就是一个很好的例子。无论如何，双方都严重依赖对未来技术发展的预期，一些严格监管的支持者承认，技术进步可能会使这一论点过时（例如，Rosert和Sauer 2021，第21-21页；Sauer 2021，第244页）。事实上，一个有趣的问题仍然悬而未决：如果真的不可能建立符合国际人道主义法的法律，那么是否真的需要新的禁令，因为这些系统无论如何都会根据第一附加议定书第36条被禁止<另一方面，如果他们通过了第36条的审查，基于法律依据的批评将毫无根据

禁止法律的支持者通常提出的第二条论证本质上是道德的。核心主张是被自主武器系统杀死违反了人类尊严的基本原则（Asaro 2012；Heyns 2017；ICRC 2018；Amoroso等人2018，第32页）。一开始，这一论点与国际人道主义法密切相关，但很快就成为一个独立的论点。正如特别报告员海恩斯所说：“即使假设LARs（致命的自主机器人）……可以符合国际人道主义法的要求，并且可以证明，从总体上看，它们将拯救生命，但必须问一个问题，让自主机器决定杀谁和何时杀人，这是否不是固有的错误”（海恩斯2013年，第17页）。他自己的回答是，将生死决定权下放给机器“会进一步剥夺武装冲突的人性，并在可能可行的情况下排除一段时间的考虑”（Heyns 2013，第17页）。此后，许多其他人开始了这场争论，他们打着“把人的尊严放在第一位”等口号，并辩称“人的尊严往往会被忽视”（Rosert and Sauer 2019，第372页）。自主杀人是否确实侵犯了人的尊严是一个重要问题，因为这确实超越了基于国际人道主义法的论点（见Sauer 2021，第253-255页）。尽管算法是否能够区分士兵和平民是一个经验问题，但有人认为，被机器决定杀害侵犯了平民和战斗人员的尊严，这一事实本身就是对法律的断然拒绝（Rosert和Sauer 2019，第372页）。不出所料，一些人对最终做出杀人决定的是人还是机器的道德相关性提出了质疑（Birnbacher 2016）。在这里不展开辩论的情况下，只需指出某些形式的自动杀戮，例如用地雷或诱杀装置杀死士兵，以及其他形式的远距离杀戮都受到了严厉的批评，但很少基于这些特定的道德理由。这就提出了一个问题，即需要多少人力投入才能保持尊严。这也反映在《特定常规武器公约》内辩论的解决方案中，我们现在转向这些解决方案

有意义的人类控制：银弹、分心还是死胡同有意义的人的控制需要某些品质，包括认知意识（Roff和Moyes 2016，第1页）和获取决策所依据的所有相关信息。MHC不仅保证遵守国际人道主义法（至少在相关运营商熟悉该主题的程度上），而且还将确保一个人对任何杀戮决定负责，从而使道德问题变得不那么重要。MHC的一些支持者将该概念视为一颗银弹，不仅解决了与国际人道主义法相关的问题和伦理问题，还打破了定义上的争论（Sauer，2021）。该论点认为，与其定义必须禁止的内容，不如将MHC作为一项新的国际人道主义法原则在所有军事行动中达成一致，这将是对应该禁止的内容的积极描述，从而弥补漏洞和定义上的差异（Rosert 2017）。可以肯定地说，MHC的概念确实是一个许多国家似乎都同意的想法，一些国家认为《特定常规武器公约》已成为辩论的“结晶点”（Dahlmann等人，2021，第3页）

虽然这个想法起初看起来很诱人，但问题仍然存在。首先，即使是该概念的支持者也承认，“该概念的细节尚未明确”（Roff和Moyes 2016，第1页），并且要划定的界线“将是政治性的，而非纯粹的技术性的”（同上，第2页）。换句话说，各州现在必须定义“有意义”一词，而不是必须定义“自治”。此外，一些作者正确地指出，在某些情况下，军队似乎已经缺乏“有意义”的控制，至少当控制被理解为操作员和武器之间的关系时。例如，在她对喷气式飞机飞行员执行典型任务的分析中，Merel Ekelhof表示，飞行员“通常不会目视确认目标”，“即使在今天的常规空中行动中，发现、固定、跟踪、瞄准、参与和评估（动态瞄准过程）的大部分工作都不属于操作员的任务”（Ekelhof 2019，第345页）。虽然埃克尔霍夫的例子描述了空对地轰炸行动，但也可以添加在地平线以外的空对地战斗。在其他情况下，运营商已经严重依赖所谓的“辅助系统”，至少可以说，他们对情况的控制是有限的（Schörnig 2014）。根据她的例子，Ekelhof得出结论，“尽管有重大的政治支持，但目前人们所理解的有意义的人类控制可能不是正确的答案”（Ekelhof 2019，第347页）。然而，正如例子所示，这已经被现实所取代，至少在某些情况下是这样。该概念的一些支持者回答说，“没有一种适用于所有人的有意义的人为控制标准”（Sauer，2021，第242页），因为人为控制的需要取决于操作环境。他们认为，“武器的可控制性可以说已经是一种原始规范”（Sauer，2021，第257页），“这一共识的出现本身就是……相当大的进步”（Rosert，2017年，第1页），并且使MHC成为国际公认的国际人道主义法一般原则将“是走出僵局的一条途径”（同上）

然而，至少可以说，在如上所述的自动化已经扎根的安全相关情况下，国家或军方是否愿意再次接受人类的拖延，这是值得怀疑的。换言之，有一种危险是，国家可能会将有意义的控制概念视为过于激进，或者破坏非政府组织和支持者与之相关的意义

低估了安全政策后果，这是军备控制的杠杆

如前一节所示，虽然在更广泛的辩论中（Dickow等人，2015；Altmann和Sauer 2017；Scharre 2018；Sauer 2021）甚至在《特定常规武器公约》的讨论中（见上文），法律和道德问题都将与安全相关的论点放在了次要位置。即使是那些处于战役中心的人，如Jürgen Altman（ICRAC联合创始人）和Frank Sauer（ICRAC成员），也同意“一个特别重要的方面（例外情况除外）证实了该规则得到的系统关注相对较少：自主武器系统对全球和平与战略稳定的潜在影响”（Altmann和Sauer 2017，第118页）。从那些不参与该运动但支持军备控制而非裁军的人的角度来看（这是我们将在下面采用的观点），与安全相关的批评可能是那些对其他方法不信服的行为体最能产生共鸣的途径，尤其是那些拥有强大的现代技术基础和对自动化战争寄予厚望的国家，如第2节所述，导致新的军备竞赛，危及国际稳定，增加意外冲突升级的风险，降低战争的门槛？GGE内部的规范性讨论和关于潜在安全影响的定性考虑都与上述法律带来的军事优势有关。它们只是同一枚硬币的不同方面：军事进程的加速和对人类直接控制的需求的减少。高度自动化的武器和LAWS将改变战争，一方面使其更快、更高效（如上所述），另一方面也模糊和不可预测

军备控制协议寻求实现的最重要目标是遏制破坏稳定的军备动态、降低风险、防止战争以及减少损害和成本（Schelling和Halperin 1961）。从历史上看，稳定与对等有关，因为相等的数字使双方的突袭风险相等。某些军备控制文书也旨在减速，即限制某一地区的部队人数。由于存在可验证的限制，常规部队集中将需要时间，引起注意并做好准备，从而减少突袭的机会

事实上，自动化和自主武器系统为军方提供的所有优势如上所述，这与这些雄心壮志背道而驰。更快的决策周期给对手施加了压力，要求其通过自身的自动化努力来平衡竞争环境，从而导致军备竞赛（Altmann和Sauer 2017，第118页）。在一个战略局势中，有传言称一方正在享受自动化战争或技术军事自主的优势，光是谣言就足够了。此外，鉴于部队倍增效应，在这种情况下，网络化系统的有效性不太明确，因此有必要降低透明度和提高认识水平。这些关系相当于不受管制的军备竞赛造成的不稳定（Altmann和Sauer 2017，第120-121页）

除了军备竞赛稳定外，危机稳定也至关重要（Altmann和Sauer 2017，第121页；Sauer 2021，第249-251页）。在时间敏感、复杂的军事行动和危机情况下，火花足以引发爆炸，对机器生成的态势图片和分析的信任可能是危险的，并可能导致意外的军事行动、伤亡甚至更大范围的危机升级。即使是高度自动化的武器系统和法律的广泛使用，其技能外人很难预测，也可能引起怀疑，并普遍增加危机局势和武装冲突中国家之间误解和误解的风险

即使决策最终以某种方式取决于人类，基于大量（实时）数据的计算机生成的态势感知（这些数据经过算法预处理和分析）本身也会对任何人类决策产生强烈影响。鉴于所需的时间，人类很难甚至不可能理解或验证复杂的情景图片或法律在时间紧迫的情况下提供的建议行动。此外，自动化系统可能容易受到外部干扰和黑客攻击（Dickow等人，2015；Sauer，2021，第247页）。最后，高度复杂的技术，尤其是软件，可能会成为故障或错误的牺牲品，这些故障或错误只会在某些情况下发生（Sauer，2021，第248页），有时会带来毁灭性的后果。因此，简单地“信任机器”并对决策责任不屑一顾的做法是否明智似乎成了问题

需要注意的是，这些问题中的许多问题与LAWS无关，而是与自动化和网络化战争有关。这一点很重要，因为迄今为止，特别是在《特定常规武器公约》内的辩论几乎完全集中在致命自主武器系统上。这是可以理解的，因为人道主义和道德问题几乎完全是在致命武器系统的背景下出现的。另一方面，这种关注阻碍了关于战争加速的更广泛和更普遍的辩论。尽管人们一直在讨论指挥和控制结构中的人工智能对威慑、稳定等的影响（例如Horowitz 2018），但迄今为止，这两次辩论仍然是分开的

然而，

LAWS可能会给问题增加另一层。法律的潜在扩散和相关的“技术扩散”（Sauer，2021，第237页）可能会促使各国之间的安全政策互动。当面对此类武器所提供的军事优势时，各国必须仔细考虑其应对措施。这种反应可能是不对称的（例如，涉及其他攻击手段，如网络战和混合战或加强威慑，如使用核武器），也可能涉及采购和部署LAWS，以匹配对方的能力。鉴于相关的军事优势和缺乏自主武器系统的国际监管，许多国家可能很快就会陷入两难境地，因为担心在军事上落后，被迫投资开发和采购这些速度越来越快的武器系统（美国空军首席科学家，2010年）。这种“自动化螺旋”的直接后果可能包括军备竞赛以及这些武器和相关技术的大规模扩散。此外，由于相应的两用技术和专门知识的扩散，即使是非国家行为者也可能在未来获得自动化或自主武器系统。在行为体不希望遵守国际人道主义法的情况下，这些行为体使用这些系统的门槛甚至低于国家

这一观点基于更广泛的武器系统自动化和自主性的安全政策利益，迄今为止已被规范性考虑所掩盖。重点是道德辩护，而不是计算理性。尽管预防性遏制这些安全政策的影响相关风险符合所有国家的共同利益，鉴于迄今为止所采取的道路，讨论的方向是否仍能改变是值得怀疑的。尽管最近的一系列贡献指出了这一方向（Altmann和Sauer 2017；Sauer 2021），但这些安全政策效应和相关风险似乎已经失去了对许多州的相关性；一些人甚至认为它们是可管理的，并认为技术驱动的军备是保持或获得军事优势的首选解决方案。在大多数情况下，持这种观点的国家都是技术领导者，不想放弃相关的军事优势。从冷战中吸取的关键教训是，在军备竞赛中，只有不稳定的平衡才能实现，这一点似乎已经被遗忘了，合作管制军备往往符合共同利益，创造了长期稳定的平衡，并带来了巨大的经济利益。至少可以说，忽视这些教训似乎有问题。

>

对LAWS和其他“新兴技术”的军备控制

基于共同的安全认知，总体上军备控制是国家之间出于共同利益而采取的一项合作性且具有法律约束力的措施。由于这是所有参与者的附加值，它并不代表零和游戏（Müller 2017）。军备控制协议既可以在国际社会内部达成多边协议，也可以在国家之间达成双边协议（Schörnig 2017）。国际上越早认识到新兴技术和相关未来武器系统的潜在风险，就越能有效地在国际一级遏制安全政策的影响。如导言所述，已经被视为关键的未来武器系统应通过预防性武器控制进行预防性管制，即在其甚至被开发、采购或用于军事之前进行管制（如Altmann等人，1998年）。核查措施是确保遵守军备控制协定的必要信心的首选手段。高度关注安全问题的国家显然重视防止欺骗，即秘密违反军备控制条约。然而，还必须承认，如何验证军事部门（不）使用两用技术和软件的概念和方法仍处于初级阶段。技术人员和计算机科学家需要更多的参与，以打开新的视角并达成必要的军备控制解决方案，尤其是在LAWS（Gubrud和Altmann 2013）的情况下。

不幸的是，冷战的关键教训，包括军备控制的共同安全好处，似乎已经被遗忘。许多对军备控制至关重要的概念，例如威慑、稳定、相互保证的销毁和核查，绝不是凭直觉就能理解的，必须重新“学习”（Nye 1987）。世界上一些最重要的行动者还没有接触到这些概念，中国和印度就是最好的例子。此外，如上所述，强大的民间社会的崛起将国际军备控制辩论的焦点转移到人道主义问题上。毫无疑问，这是一个有价值和重要的发展，但这意味着安全政策的观点已经淡出了背景。事实上，这两种观点都很重要，但在辩论的不同时间。

因此，我们发现自己在预防性控制新兴技术（如LAWS）方面处于困难境地。只要技术先驱国家在开发和使用越来越自主的武器系统方面保持领先地位，他们很可能会继续只考虑这些武器的军事承诺和优势，未来法律所带来的安全政策风险将继续受到很少关注。特别是在技术先进的国家，伦理和国际法问题主要被视为国家考虑的问题，《特定常规武器公约》的讨论迄今已表明。需要的是，技术先驱国家更加意识到，其他国家和非国家行为者有朝一日会在发展和使用此类武器方面迎头赶上，最终对每个人的安全构成威胁。考虑到在这种情况下关键的支持技术是软件（而不是硬件），这一点更为可能，众所周知，软件的扩散难以控制。目前尚不清楚是否会达到LAWS的门槛，LAWS被理解为能够以法律允许的方式以最低限度的人力投入行事的系统，但技术已经使人们有可能至少非常接近于制造自主武器。在此背景下，鉴于上述不稳定因素和普遍缺乏透明度，所有国家都有兴趣监管自动化武器系统，尤其是未来的法律。虽然人道主义和法律问题是启动辩论并引起公众关注的必要因素，但现在是时候转向与安全相关的争论了。安全影响虽然并非完全没有，但却被法律和道德考虑所掩盖，这可能是为更富有成效地讨论法律的风险和军备控制在维持稳定与和平方面的好处奠定基础的最佳机会。民间社会应大力支持这些努力，以及解决是否以及如何调整或重新思考军备控制的经典特征（明确定义、明确目标、可核查的遵守情况）的问题（Alwardt 2020）。有一点是明确的：单靠传统的军备控制已经不够了。重新思考军备控制将是一个刚刚开始的持续过程，但最终取决于对经典概念的理解（在某些情况下，还需要重新学习）。由于为这些问题提供完整的答案将使我们超出可用空间，因此这里只提供两个考虑因素。

通过减速决策和军事行动来获得人类控制

在关于MHC的辩论中，一个隐含的假设是，它会降低军事行动的速度，并应成为进一步限制的核心因素（Boulanin等人，2020，第x页）。然而，军事行动的减速不一定与人类控制有关，也不一定与控制特定武器系统有关。因此，我们建议将减速作为军备控制措施的主要目标，将MHC作为一个受欢迎的结果而不是目的。这有几个优点：如果决策过程和军事行动的自动化和加速主要是假定的军事限制的结果，那么就一项旨在减缓军事决策和行动或为某些军事行动设定有约束力的速度限制的国际条约达成协议可能会更容易。在核武器领域，这种努力的目标是解除武器系统的待命状态，例如通过分离运载系统和弹头（东西研究所，2009年）。在危机中，这些措施将为人类决策提供额外的空间，与重新组装系统并准备发射所需的时间相等。当涉及到任何自动化或自主武器系统时，时间关键的决策和操作程序通常应人为放慢。不应根据未经测试的纯计算机分析和建议采取军事行动。只有可验证的军事行动减速才能保证MHC，反之，人为控制的实施必然会减缓军事行动。因此，如果所有国家都同意在某些军事行动领域减速，比如与LAWS的行动，这将给人类必要的时间做出更负责任的决定。从减速而不是“人类”因素开始，还有一个好处，那就是防止人类增强的发展，尤其是认知增强，这可能会导致不稳定（Henschke 2017）。例如，如果某些药物或植入物能使增强的人类更快地思考和行动，尽管可能促进MHC，但这会产生不稳定的影响。仅仅指出“有意义的人类控制”（Rosert 2017）这一新的抽象法律原则的必要性而不定义可验证的参数可能是不够的。

通过交战规则规范LAWS的使用

国际社会可以就专门的“白名单场景”达成一致，在特定指令下允许使用AWS，例如，在明确定义的战场环境中进行周界防御，或在与其他无装甲武器系统的空战中。反过来，应严格禁止在城市和高度动态的环境中、在破坏稳定的危机场景中或在有针对性的杀人中使用任何AWS。为了获得国际认可，这些场景必须具有普遍的有效性，AWS的使用必须以适当的方式进行验证和监控需要可靠的核查，以及所涉及的困难。迄今为止，还没有解决软件验证问题的办法，这最终将决定有关系统是远程操作、“仅仅”自动化还是自主操作。核查问题构成了重大挑战，特别是鉴于当今武器系统的质量（相对于数量）的特殊重要性，尤其是当自动化武器系统的品质由难以评估和控制的软件决定时（Schörnig 2015）。虽然似乎看不到简单的解决办法，但关于如何实施核查的初步考虑是有希望的，不幸的是，这些考虑没有得到应有的重视。2019年，国际自主武器监管小组（iPRAW）发布了一份简要概述，阐述了与核查法律法规相关的机遇和挑战（iPRAW2019）。关于通过验证人的控制来减速和限制自主性的一个更具体的例子是Gubrud和Altmann（2013）采取的方法，他们提出了在所有未加防护的武器系统中包括一个国际认证的“玻璃盒”的想法，该系统将记录特定的操作细节，如遥测数据。这些数据将被记录、存储，如果有人怀疑是否涉及人类控制，国际检查员将对其进行分析

总而言之，在这类“新军备控制”的道路上，必须在三个关键问题上实现国际和解：（a）自动化和自主武器系统的安全政策影响。这不是一项容易的任务。显然需要更多的技术专长，如果我们要在国际社会内找到这些问题的共同答案，就需要更长的谈判进程。然而，启动此类谈判本身就具有建设性，应由国家和民间社会尽快进行。为此，一个新成立的与《特定常规武器公约》无关的论坛可能会有所帮助，该论坛只关注致命的自主性

结论：该怎么办？处理停滞不前的进程

这一切对我们当前的军备控制危机有什么启示？在这篇文章中，我们认为法律应该受到监管甚至禁止，但大多数批评者提出的理由可能还不够，即违反道德原则和可能不遵守国际法。我们同意埃尔维拉·罗斯特和弗兰克·绍尔的观点，即阻止杀手机器人运动所采取的策略迄今为止“不够理想”（罗塞特和绍尔，2021，第21页）。关注国际安全、稳定和战争加速的论点可能是最好的前进道路。人权观察等主要非政府组织施加的巨大压力以及该运动随后的成立，已将军事自动化和自治问题列入国际议程，并将继续这样做。然而，现在似乎是时候找到一种方法，更好地包括那些仍将自动化和自主武器视为解决安全问题的灵丹妙药的主要技术参与者。关注安全还将增加一个在当前辩论中被遮蔽的更重要的方面：低于致命自主门槛的危险事态发展，即总体上战争的加速

这将我们引向一个更广泛的问题：当涉及到大多数新兴技术时，包括更广泛意义上的人工智能军事应用、人类增强、网络等，专家们意识到预防性军备控制的必要性。然而，当军事和民用规划者对特定的新技术抱有很高的期望时，很难阻止他们研究、开发和评估该技术。两个因素似乎对最大限度地扩大预防性军备控制的机会很重要：第一，在专家圈和科学期刊之外提高对具体问题的认识；第二，从系统内部解构这些期望。至少在这个领域，关注与安全相关的经典论点似乎是合理的，正如我们的标题所示，这似乎是回到过去的必要一步。似乎必须重新学习冷战时期的军备控制概念，并在我们当前的背景下进行辩论。例如，什么是稳定性，为什么某些系统有助于稳定性，而其他系统没有？一些演员更重要的是，他们根本没有接触过军备控制思想，应该更深入地参与关于这一主题的学术和外交辩论。专家对话、双轨制和更利于辩论的小型论坛可能是必要的

正如我们上面所讨论的，专注于加速和军备控制可能会促进达成一致，而不是加深分歧。从减速的主要目标中衍生出MHC的概念将满足以安全为导向和以法律/道德为导向的阵营。总而言之：在军事力量和军备被视为符合国家利益的时候，把安全放在次要位置可能不是最好的前进方式，可能会加深当前的军备控制危机。然而，把安全和军备控制放在中心位置需要付出代价。从安全角度处理预防性军备控制也意味着接受各国的个别安全利益，并以令人信服的战略加以解决。这可能意味着解决第二好的解决方案（即限制而不是硬禁令），也可能意味着投入更多的精力来建立可靠的核查机制。这似乎是新兴技术领域的最大挑战：即使国家在政治上愿意接受军备控制措施，它们是否会简单地接受其他国家的承诺，还是会被诸如“有意义的人类控制”之类的模糊原则所打动，这是值得怀疑的。这不是军备控制的工作方式。那些真正对新兴技术监管感兴趣的国家需要核查才能接受军备控制，而那些没有隐藏在当前缺乏核查背后的国家。在开发新的、可靠的、透明的和有效的验证措施方面付出更大的努力似乎是最好的方法