各国已同意一项原则，即机器不能对违反国际人道主义法的行为负责，但如何在实践中确保责任？

在这篇文章中，斯德哥尔摩国际和平研究所（SIPRI）的Vincent Boulanin和Marta Bo认为，看看国际法目前如何规定违反国际人道主义法的责任，为AWS的监管提供了有益的教训

红十字国际委员会人道主义法；政策博客·关于AWS监管的3个教训，以确保对违反国际人道主义法的行为进行问责

如果在武装冲突期间使用自动武器系统（AWS）导致平民伤亡或民用物体损坏，该怎么办？虽然根据国际人道主义法（IHL），并非所有对平民的伤害都是非法的，但对平民或民用物体发动袭击就构成了违法行为。但如何确保对此类违规行为的责任

我们认为，研究国际法目前如何规定违反国际人道主义法的责任，不仅对确保问责制至关重要，而且对确定AWS开发和使用的更明确限制和要求也至关重要

政府专家小组辩论中的人的责任和问责

自2013年以来，自主武器系统带来的风险一直是《联合国特定常规武器公约》（UN CCW）政府间讨论的焦点。各国对于是否以及如何（进一步）监管自动武器系统的开发和使用仍存在分歧，但除其他原则外，各国已认识到，必须保留人类对武器系统使用决策的责任，因为责任不能转移到机器

这一原则所涉及的问题对于AWS政策进程的持续至关重要。迄今为止，专家辩论主要阐述了应如何行使人的责任——预防性地——以确保遵守国际人道主义法。在涉及AWS的违反国际人道主义法的情况下，在实践中如何确保问责制的关注较少。政府专家组（政府专家组）认识到，关于国家对国际不法行为的责任和个人对战争罪的刑事责任的规则是相关的法律框架，但仅从表面上讨论了其在AWS中的适用

我们认为，这是政策对话中的一个重大差距，首先是因为防止和制止违反国际人道主义法行为是各国根据《日内瓦公约》第一附加议定书和习惯法承担的义务的一部分。我们还发现，审查这些规则如何适用于涉及AWS的违反国际人道主义法行为，可以为AWS监管的政府间辩论提供重要的经验教训

我们在最近一份关于《在开发和使用自主武器系统中保留人的责任：对涉及AWS的违反国际人道主义法行为的责任》的报告中总结了三个教训

AWS监管的三个教训

第1课。如果不进一步澄清国际人道主义法允许、要求和禁止的内容

，识别AWS开发和使用过程中的违反国际人道主义法律行为仍然具有挑战性。第一个教训是，需要进行法律澄清，以确保能够有效地触发管理责任的法律框架

关于国家对国际不法行为的责任和个人对战争罪的刑事责任的规则与国际人道主义法有关。国家对违反国际人道主义法行为的责任和个人对战争罪的刑事责任的确定都取决于国际人道主义法律规则所确立的规范标准。在这方面，关于AWS开发和使用过程中遵守国际人道主义法的争论仍然悬而未决，这是一个根本挑战。关于国际人道主义法的要求、允许和禁止，例如在人机交互方面，还有许多问题。这意味着，在某些情况下，确定一个国家或个人违反国际人道主义法的依据仍然不明确，或至少受到不同的解释

AWS还带来了围绕行为标准的新的、轻的和未解决的法律纠纷，这些行为标准将引发国家对战争罪的责任或个人刑事责任（或两者兼而有之）。例如，有人争论在多大程度上，违反区分原则必须是“故意”的，才能产生国家责任。鲁莽或疏忽是否满足犯下或参与犯下战争罪的精神和物质要件，这是一个悬而未决的问题。AWS是预先编程的武器，最终由与环境的交互而不是直接的用户输入触发，这一事实给了这些争论新的共鸣，也给了应对新的场景。例如，如果未能中止涉及预计会伤害平民的AWS的攻击，是否会被视为蓄意攻击平民并构成战争罪

这些问题和争议凸显了AWS政策流程需要实现更高的精度和对国际人道主义法合规性的共同理解。特别是，他们邀请政府专家组详细阐述AWS用户所要求的意图、知识和行为标准。明确AWS的用户应该能够合理预见并采取哪些措施，以确保AWS攻击针对特定军事目标，并且武器的效果按照国际人道主义法的要求受到限制，这将更容易确定是否存在故意违反行为，或者用户参与了可能导致国家责任的冒险行为，个人刑事责任或两者兼而有之

第2课：阐述“负责任的人的指挥链”的构成，有助于责任的归属

第二课是政策过程需要解开“负责任人的指挥”的概念。详细说明这种链条的外观可以极大地促进责任的归属，无论是国家还是个人

一些国家和专家表示关切，例如，在涉及AWS的有害事件中，由于AWS的运行、性能和效果部分取决于参与系统开发和使用的多个人的决定和行动，因此很难确定谁的行为应受谴责；以及系统与环境的交互

在这方面，我们认为，如果各国能够详细说明AWS开发和使用的责任计划是什么样的，这将是非常有用的。这样一个计划将更加明确国际人道主义法合规的角色和责任在实践中如何分配，也可能不分配：不同个人的角色和职责在何时何地开始和结束，以及这些角色和责任如何相互作用。这样的努力将是双重有益的。一方面，它将通过为AWS的用户提供更明确的期望来加强对国际人道主义法的遵守。另一方面，它可以更容易地发现谁从事了可能导致国家责任或个人刑事责任（或两者兼有）的非法行为

第3课。可追溯性是AWS监管的一个重要组成部分

第三个教训是，可追溯性——这里理解为将AWS的操作、性能和影响追溯到参与其开发和使用的人员的能力——应被视为AWS进一步监管的关键组成部分。它应告知AWS设计和使用的新限制和要求的确定——原因有二

首先，可追溯性是遵守各国国际法义务的一项实际要求。根据《第一行动纲领》，各国有义务镇压战争罪行，包括寻找责任人，并制止任何其他违反国际人道主义法的行为。为了能够履行这些义务，各国需要能够确定是否发生了非法行为，如果发生了，还需要查明应受谴责的个人。第二，评估和施加国家责任、个人刑事责任或两者兼施也是一项实际要求

如果涉及AWS的攻击导致平民死亡，则对事件具有管辖权的国家[1]以及有权调查事件的其他国家和机构，如国际刑事法院或事实调查委员会，需要确定死亡是否由AWS用户和/或开发者的技术故障或非法行为造成。这需要一种实际的能力来仔细检查AWS的运行、性能和效果，并追溯这些是否以及如何来自参与AWS开发和使用的人员所做的决定和行动

AWS领域的某些新兴技术，例如人工智能和机器学习的某些方法（ML）可能会使调查事件原因的任务变得困难。机器学习方法，如深度学习，可能会带来军事上的好处，但它们的功能也不透明。目前，目标识别软件中使用的当前ML技术无法解释，这意味着程序员或用户无法完全理解他们如何学习识别目标类型。这种不透明性可能会导致在事后很难确定是什么导致系统袭击平民或民用物体。即使在可以排除技术问题的情况下，归因问题也可能出现，因为AWS的操作、性能和效果由多人在不同时间点做出的决定决定，部分取决于AWS与环境的互动。追查谁的行为应受谴责可能很困难

AWS监管的要点有两个方面。如果各国决定明确禁止与国际人道主义法不兼容或对平民和其他受保护人员构成不可接受风险的AWS，则此类禁令应明确规定，不允许使用技术特征和人机交互形式来追溯有害事件的原因。这可能包括无法解释的机器学习算法。另一方面，编纂AWS合法使用的努力可能会使可追溯性成为AWS设计和使用的关键要求。在技术方面，这可能意味着目标定位功能所依据的算法应该足够透明、可解释和可询问，以识别合法/非法行为和应受谴责的个人。在组织方面，如所建议的，这可能需要制定和使用责任计划，但也需要记录和追溯AWS开发和使用过程中的决策的机制

探索如何确保对涉及AWS的违反国际人道主义法行为的问责，对于某些行为者来说，似乎为时过早，如果不是无关紧要的话，因为AWS的使用——取决于人们对AWS的理解——还不是一个可操作的现实。通过这篇文章，我们希望能够证明，这是AWS政策过程中一个非常有用和迫切需要的练习，因为它提供了一个视角来探索AWS开发和使用中的要求、允许和禁止

[1]基于属地、积极人格和普遍管辖原则

另请参见劳拉·布鲁恩（Laura Bruun），《自主武器系统：法律对人类在使用武力中的角色的规定》，2021 11月11日？，2019年9月26日

ICRC，尼尔·戴维森，《自主武器系统：人类控制的道德基础》2018年4月3日

简介