*编者按：在这篇文章中，Tess Bridgeman继续讨论了拘留和预测算法在武装冲突环境中的潜在用途，**是AI博客系列的一部分*

她特别研究了《国际人道主义法》关于在绝对必要时仅实习人员的要求，并提出了使用预测算法进行风险评估的可能陷阱。

***

预测算法是否有助于确定在武装冲突中拘留谁以及谁继续构成安全威胁？或者，在可能缺乏数据、快速变化的冲突环境中，这些新兴技术的使用是否与国际人道主义法（IHL）的要求不可调和？随着机器学习工具越来越先进，政府越来越广泛地使用这些工具来决定在现代冲突中拘留谁以及拘留多长时间，现代军队将需要解决这些问题
在武装冲突的背景下，有几种方法可以将关于个人的统计预测纳入关于某人是否可能被拘留或拘留是否可能继续的决策中。例如，《日内瓦第四公约》规定，在国际武装冲突中，如果受保护平民是冲突一方领土上的外国人，“只有在拘留国的安全绝对必要的情况下”，才可以拘留他们。如果“出于必要的安全原因”，占领国也可以拘留受保护人员。在任何一种情况下，以及其他保障措施中，必须定期审查拘留（至少每6个月一次），以确定拘留是否仍然必要。这些审查通常需要对个人构成的安全威胁（如果有的话）的程度进行风险评估，以及释放他们是否会对平民或拘留国或占领国的武装部队构成威胁。（这与基于身份的拘留正规武装部队成员形成对比，直到现役敌对行动停止，不需要定期审查，这些威胁评估也无关紧要。)
审查委员会也被用于非国际武装冲突中，以确定被拘留的人是否继续构成重大安全威胁，除非通过持续拘留，否则无法缓解，因为他们的战斗人员身份可能不如国际武装冲突时清楚。例子包括关塔那摩湾的定期审查委员会和阿富汗早期的行政审查委员会，尽管美国将这些程序视为自由裁量而非国际人道主义法的要求。这些审查过程也经常涉及对被拘留者构成的风险（如果有的话）的评估，评估的依据是关于其先前行为、当前环境和态度以及未来潜在互动的一系列因素

在她深思熟虑的文章《预测敌人》中，阿什利·迪克斯分析了为武装冲突环境中的国内刑事拘留相关目的而开发的预测算法的潜在军事适应性。鉴于军方正在探索这些技术的用途，她呼吁我们注意这些技术在被引入冲突环境时可能用于评估风险的方式是正确的。Deeks提出了关于算法偏差（在警务环境中有充分的记录）、算法决策的透明度和算法问责制的几个重要问题。她还借鉴了预测技术在美国国内刑事司法领域的类似应用，探讨了在武装冲突拘留环境中可能加剧这些问题的方式。但真正的问题仍然存在，即在这些情况下，使用这些技术目前是否可行

与武装冲突拘留最相似的国内刑法情况可能是法官对已被拘留的个人进行风险评估，例如在作出保释或假释决定时，以确定是否（或在何种条件下）释放他们。虽然在评估预测技术的潜在军事应用时，我们不能借鉴执法方面的经验，但我们也必须意识到，出于一系列原因，这种类比远不够完美（Suresh Venkatasubramian和他的合著者在他们最近的论文《社会技术系统中的公平与抽象》（Fairness and Abstraction in Socialtechnical Systems）中提到，忽略使模型起作用的背景是“可移植性陷阱”）

国内犯罪背景下的预测算法旨在基于对大量数据的分析来预测结果，通常在同一地理区域收集。当我们完全理解上下文，可以仔细选择模型中包含哪些特征（或变量），以及它们可能导入的偏差时，它们的工作效果最好。这些情况在武装冲突中是否适用

大数据模型中有限和不稳定数据的问题
我们知道算法对偏差、规范和值进行编码。算法偏见和不透明问题已被正确地确定为刑事司法领域的主要问题，在冲突领域可能会成为更大的问题。但是，在我们讨论这些问题之前，我们首先需要问，在当前武装冲突更加混乱的情况下，是否有可能建立一个可用的预测模型

在底部，预测算法使用历史数据预测未来事件。历史数据用于构建具有“特征”（统计中称为变量）的统计模型，然后根据当前数据运行该模型以进行预测。对于监督机器学习，如果测试数据是从训练模型的相同数据分布中提取的，则构建的模型会产生关于新个体的正确结果（在指定的误差范围内）。通常，测试数据涉及数百万个数据点（如果不是更多的话），提供了算法可能学习的可靠信息基础

对于这种类型的机器学习工具，从不断变化的复杂或理解不足的环境中提取的数据，其中历史数据本身随着时间的推移是不稳定的或不可靠的，通常不适合训练预测模型，该预测模型预计在未来会产生可容忍的误差。如果我们忽略这个问题，我们可以期望我们的算法系统地生成错误的答案

从数据收集开始。构建和训练模型的过程通常需要相对大量的可靠且易于理解的数据。拘留国或占领国是否能够在敌对行动或占领期间收集足够数量的准确数据，并确保其正确编码？考虑到即使在国内，一些社区也对向当局提供信息持谨慎态度，我们可以想象，当所需信息来自武装冲突另一方的信息时，这是多么困难（我们也可以想象，如果有任何值得使用的信息，拘留国很可能无法获取有关社区的现有数据来源）

接下来，在快速变化的环境中，选择特征（或变量）也会带来困难。关于威胁指标的情报可能会迅速变化，或者联盟可能会改变，使早期的指标变得不可靠，因为它们可能完全指向错误的人。创建预测性风险评估算法的人是否有可能知道在给定的社会文化背景下应该使用哪些特征，或者应该如何加权

此外，数据收集、培训和模型验证的过程需要时间、专业知识和资源，这就提出了一个问题，即耗时且资源密集的过程在冲突环境中是否合适或有用。为了甚至开始建立一个模型，我们需要让一些人已经被捕，了解拘留当局逮捕他们是正确的还是不正确的（或者他们是否构成安全威胁），并了解他们的一系列特征，这些特征可以推广到更广泛的人群

最后，如果在数据贫乏、快速变化的环境中开发的模型充其量可能不完美，则错误率可能很高。在某些情况下，这可能是一个可以容忍的结果。但是，在对自由和安全作出重大决定的背景下，这是一个巨大的、潜在的无法克服的问题。特别是当国际人道主义法要求只有在绝对必要/或出于必要的安全原因时才允许继续拘留时，过分依赖于可能产生关于个人是否构成安全风险或其程度的不准确结果的预测模型可能被视为不符合国家的国际人道主义义务

向前看

提出这些使用预测算法的潜在陷阱，并不是为了消除这样一种想法，即预测算法可能在冲突环境中作为拘留相关决策的一部分有用。相反，它们旨在提出两个基本问题。首先，考虑到武装冲突背景下可能存在的局限性和障碍，我们是否有能力构建预测算法工具，以产生足够准确的结果以符合一国国际人道主义法义务的方式依赖这些结果

如果是这样，第二个问题是，基于现有技术的这条路线是否值得花费大量的时间和资源来收集必要的数据，确保其准确性，并创建指导决策自由裁量的预测工具。简单地说，使用这些技术会比依赖现有的决策系统更准确、更便宜或更快吗？如果没有，这些技术可能仍在为可能使用它们的军队寻找可解决的问题

***

编者按

这篇文章是AI博客系列的一部分，源自2018年12月在哈佛法学院举办的关于国际法前沿与武装冲突的人工智能研讨会，该研讨会由哈佛法学院国际法与武装冲突项目联合主办，红十字会美国和加拿大地区代表团国际委员会和美国海军战争学院斯托克顿国际法中心

系列中的其他博文包括

系列简介和人工智能与冲突前沿的专家观点
Dustin Lewis，涉及人工智能的武器、作战手段和方法的法律评论：16个需要考虑的因素

在军事环境中需要明确的预测算法治理框架

Suresh Venkatasubramanian，算法决策与法律之间的结构性脱节
李强和谢丹，AI武器在国际人道主义法下的法律监管：中国视角，安全网或纠结的网络：武器和战争中人工智能的法律审查

另请参见

ICRC，《武装冲突中的人工智能和机器学习：以人为本的方法》，2019年6月6日，2018年
Eric Talbot Jensen，《国际人道主义法的人性》，2018年8月23日？2018年4月3日

有关更多帖子，请参阅我们的自主武器系列

免责声明：关于人道主义法和人道主义法的帖子和讨论；政策博客不得被解释为以任何方式定位红十字国际委员会，博客的内容也不等于正式的政策或理论，除非特别指出

>

简介