编者按：对于对武器法律审查这一主题感兴趣的人，建议阅读Netta Goussac的这篇文章以及达斯汀·刘易斯最近的文章，他列举了16个元素，这些元素可能会被各国视为涉及人工智能相关技术或工具的法律审查的一部分

***

人工智能（AI）的进步，特别是在机器学习领域，已经进入了武器设计和战争，就像它们进入了我们日常生活的许多方面一样。人工智能的军事应用迅速扩大，包括控制机器人的软件，以及支持与目标定位相关的决策过程的软件。使用人工智能来执行人类以前执行的任务可能会从根本上改变战争中做出杀戮、伤害、破坏或破坏决定的方式。主要关注的是，人类可能失去对这些决定的控制，以及结果的不可预测性，这引发了独特的法律和伦理问题

像人工智能这样的技术可能“决定了战争的方式”，但限制战争方式的是国际人道主义法（IHL）。军方正在转向人工智能和自主性，以加强决策和行动。与此同时，关于自主武器系统的法律和道德可接受性[1]以及监管必要性的讨论仍在继续。毫无疑问的是，战争中使用的所有武器都必须按照国际人道主义法使用并能够使用。这意味着，每个开发或获取利用人工智能的武器的国家都必须确信这些武器可以按照现有的战争规则使用。但人工智能武器的合法性如何在使用前得到验证

法律审查：建立打击非法武器的安全网在部署新武器之前审查其合法性是《日内瓦公约》第一附加议定书（第36条）缔约国的义务。对其他国家而言，这种法律审查是一种常识性措施，有助于确保该国武装部队能够根据该国的国际义务开展敌对行动，更不用说避免批准和采购可能被限制或禁止使用的武器所带来的代价高昂的后果

今天在如何对抗冲突方面的技术进步意味着，强有力的法律审查现在与冷战军备竞赛期间第36条被构思时一样至关重要。虽然第36条没有规定确定合法性的程序，但红十字委员会认为，该义务显然意味着一项强制性的常设程序，根据一国的国际义务，包括国际人道主义法，评估所有武器及其正常或预期的使用方法。根据红十字委员会的《法律审查指南》，这需要在武器研究、开发或获取的最早阶段对武器的技术描述和实际性能进行多学科审查

法律审查可以成为防止开发和使用人工智能武器的有力保障，因为人工智能武器无法按照国际人道主义法关于敌对行为的规则使用，特别是区分、相称和攻击预防规则。这些规则适用于在武装冲突中策划、决定和实施袭击的人。人类适用这项法律，并有义务尊重它。一个超出人类控制范围的人工智能武器系统就其本质而言是非法的——这一结论将在法律审查期间变得显而易见

明确地说，各国的法律审查不能取代国际商定的对武器系统关键功能的自主性的限制，即选择和攻击目标（包括使用人工智能的目标）的功能。尽管如此，人们对法律审查作为防止非法武器发展的安全网的重新兴趣值得欢迎。拥有对新武器进行法律审查的常设机制的国家太少，对如何进行这种审查知之甚少。例如，在去年开发或获得武器的100多个国家中，已知有正式法律审查机制的国家不到20个。提高认识、遵守和透明度是一个良性循环，有助于确保遵守国际人道主义法

***

但对人工智能武器进行法律审查也会带来挑战。为了使法律审查有效，开发或获取包含人工智能的武器的国家需要应对这些复杂性

应审查哪些内容
包含在武器系统关键功能中的人工智能组件并不是唯一需要法律审查的人工智能应用。人工智能的其他一些军事应用，例如，如果决策支持系统构成武器系统的一部分（“作战手段”）或系统的使用方式（“作战方法”），则需要对其进行审查，以正确评估在某些或所有情况下是否禁止使用武器。由于不能孤立于武器的使用方式来评估武器，因此在法律审查中也必须考虑武器的正常或预期使用

审查中使用什么标准

在确定合法性时，审查员必须适用适用于该国的现有国际法规则，无论是基于条约的还是习惯的。就国际人道主义法而言，这包括国际人道主义法律的一般规则（包括旨在保护平民免受武器滥杀滥伤和战斗人员免受多余伤害和不必要痛苦的规则），以及禁止或限制使用特定武器或方法的特定规则。如果国际人道主义法现行规则未涵盖武器，审查当局应考虑拟议的武器是否违反人道原则和公众良知

武器系统关键功能的任何自主性，无论是通过使用人工智能还是其他手段，都会使评估遵守这些规则的情况变得困难，因为由环境触发的武器会产生不可预测性。审查人员需要确信，拟议的人工智能设计及其使用方法不会妨碍操作员或指挥官行使国际人道主义法要求的判断。如果这样做，审查人员可能无法允许武器的使用，或者可能需要采取缓解措施，以确保人类对武器系统的关键功能有足够的控制，从而限制武器的自主性

这是因为国际人道主义法的规则，特别是区分规则、相称规则和攻击预防规则，内在地要求人类控制武器系统的使用。红十字委员会一直敦促各国就法律兼容性（和道德可接受性）所需的人类对自主武器系统的控制类型和程度达成共识

如何应对不确定性

AI将不可避免地为武器的功能引入不确定性，这意味着审查人员无法以合理的确定度预测使用武器的所有结果。这种不可预测性可以通过武器的设计或系统与使用环境之间的相互作用而产生。随着武器系统变得更加复杂，或在任务中获得更多的行动自由，预见效果可能变得越来越困难，因此变得不可预测。武器在战场上表现如何的不确定性损害了进行法律审查的能力，因为审查员无法确定在某些或所有情况下使用武器是否会受到国际人道主义法或其他国际法规则的禁止

完全消除武器中的不确定性可能是不可能的，但在武器中使用人工智能需要多少最低水平的可预测性和可靠性？这是一个国际人道主义法没有提供明确答案的关键问题

应遵循什么流程

对使用人工智能的武器系统进行法律审查的能力需要充分了解武器的能力并预见其影响，尤其是通过验证和测试。但人工智能武器系统的技术性能可能很难评估，尤其是使用机器学习的武器系统。传统的测试制度将不适用于将人工智能纳入其关键功能的武器系统，这不仅是因为机器学习将不可预测性引入到系统的功能中，而且是因为系统与动态环境的相互作用，在使用前无法模拟。此外，开发和测试依赖于机器学习的系统依赖于数据数据，这些数据可能包含关于预期使用环境的偏差或假设

人工智能（尤其是机器学习系统）如何运行缺乏透明度，这使得测试任务变得复杂，从而进一步评估合法性。在缺乏对系统如何从给定输入中获得其输出的解释的情况下，很难（如果不是不可能的话）评估系统的可预测性和可靠性，并预测其使用的后果。因此，测试制度需要适应人工智能的独特特性。审查过程可能需要新的测试和验证标准

***

武器系统自主化的趋势，包括使用人工智能，要求采取稳健和警惕的方法来确保法律合规。法律审查在这一努力中至关重要，因为法律审查是打击非法武器的堡垒，也是制定武器行动限制的基础，旨在对抗人工智能带来的不确定性并确保法律合规

在武器系统中使用人工智能，尤其是机器学习，对法律审查提出了独特的挑战，因为与武器系统的物理元件不同，它们的功能尚不清楚。正如达斯汀·刘易斯（Dustin A Lewis）所写，各国需要面对并克服这些挑战，以便对人工智能武器进行有效的法律审查，并确保遵守国际人道主义法

脚注
[1]红十字国际委员会将自主武器系统定义为：“任何在关键功能上具有自主性的武器系统。也就是说，一种可以选择（即搜索或检测、识别、跟踪、选择）和攻击（即对目标使用武力、压制、破坏或摧毁）目标而无需人工干预的武器系统。”参加致命自主武器系统政府专家组的许多国家和利益攸关方都依赖于类似的理解

***

编者按
这篇文章是AI博客系列的一部分，源自2018年12月在哈佛法学院举办的关于国际法前沿与武装冲突的人工智能研讨会，该研讨会由哈佛法学院国际法与武装冲突项目联合主办，红十字会美国和加拿大地区代表团国际委员会和美国海军战争学院斯托克顿国际法中心

系列中的其他博文包括
系列简介和人工智能与冲突前沿的专家观点
Dustin Lewis，涉及人工智能的武器、战争手段和方法的法律评论：16个需要考虑的因素
Ashley Deeks，在军事环境中需要明确的预测算法治理框架
Tess Bridgeman，武装冲突拘留中依赖数据的预测系统的可行性>
Suresh Venkatasubramanian，<算法决策与法律之间的结构性脱节
李强和谢丹，国际人道主义法对人工智能武器的法律监管：中国视角另见红十字国际委员会，《武装冲突中的人工智能和机器学习：以人为中心的方法》，2019年6月6日
Merel Ekelhof，《自主武器：操作有意义的人类控制》，2018年8月15日，国际人道主义法的人性，2018年8月23日，红十字国际委员会，尼尔·戴维森，《自主武器系统：人类控制的伦理基础？2018年4月3日
我们的自主武器系列