编者按：作为本AI博客系列的一部分，有几篇文章关注拘留和预测算法在武装冲突环境中辅助决策的潜在用途。开始讨论的是阿什利·迪克斯

***

军方可能很快开始开发和部署用于武装冲突期间的预测算法，以帮助他们评估出于拘留目的哪些行为体是危险的，以及出于巡逻和瞄准目的未来可能发生的袭击。美国刑事司法系统已经转向预测算法，以帮助其对羁押谁作出更客观的判断，并对部署警察资源作出更有效的决定。在最近一篇名为《预测敌人》的文章中，我谈到了这种可能性，并讨论了军事方面的目标与美国刑事司法系统的目标之间的相似之处。在这里，我以这篇文章为基础，强调了军队在评估预测算法如何帮助他们执行任务时应考虑的重要附加因素

***

在我的长篇文章中，我建议，中国和美国军方将重点放在扩大其人工智能和机器学习能力上，这意味着刑事司法系统中使用的工具很快就会出现在军事环境中。（事实上，军方可能已经在机密环境中使用它们。）刑事司法系统算法受到了各种批评，我的文章认为，美国军方可以从这些批评中吸取重要教训，因为它为武装冲突环境开发了类似的工具。这些批评包括担心算法依赖于有偏见的数据，担心算法的创建和使用缺乏透明度，担心其用户会受到过度自动化偏见的影响（即，过度愿意接受系统的建议）

自从我写这篇文章以来，我与其他正在思考这些问题的人（包括军事官员、计算机科学家和关注个人权利的人）进行了几次交谈。这些对话强调了军方在评估预测算法如何帮助他们执行拘留、巡逻和瞄准任务时应考虑的一些重要附加因素。这些对话还充实了一些额外的理由，需要谨慎地将刑事司法环境中开发的各种算法应用到军事环境中。这篇文章确定并讨论了这些额外的考虑因素，并提供了一些关于如何应对这些挑战的初步想法

首先，军方在将“危险”或“威胁”等刑事司法背景下的概念翻译为军事背景时应谨慎，因为这两种背景如此不同。Suresh Venkatasubramanian及其合著者将此描述为“可移植性陷阱”，他们将其定义为“未能理解为一种社会环境设计的算法解决方案在应用于不同环境时可能会产生误导、不准确或其他危害”

在目前的情况下，如果计算机科学家建立一种算法来预测武装冲突背景下的个人危险性，决定采用美国刑事司法算法利用的相同因素来确定刑事被告未来是否可能犯下其他罪行，则可能会出现可移植性陷阱。计算机科学家用于刑事司法算法的数据来源于我们自己的文化，我们对此相当了解：联邦和州执法官员知道什么是犯罪行为。此外，量刑、保释和假释算法是根据相对客观和可证实的数据（如年龄、婚姻状况、就业状况和家庭背景）进行训练的。过去的定罪通常是评估危险性的一个重要因素，这是在政府提供了该人犯罪的重要证据后产生的。即使是过去的逮捕，与算法相关的另一个因素也必须基于可能的原因

相比之下，尽管美国军队已适应跨文化能力的需要，并相应地训练其部队，但这是一项艰巨的任务。军人需要努力和仔细地工作，了解在外国环境中使用哪些数据来开发可靠的拘留算法，并需要确保他们的计算机科学家也接受了跨文化培训。此外，军方需要根据构成“威胁”的人的数据训练算法以及那些构成“非威胁”的人，但这些数据不太可能像刑事定罪那样受到严格的测试。简言之，尽管在高度普遍性的情况下，刑事司法算法所依据的概念可能很好地转化为军事用途，但刑事司法算法有几种不易移植的方式。此外，如果军方试图从刑事司法环境中引入算法概念，那么它应该适应部署一类算法的光学特性，这些算法在最初的环境中受到了一些尖锐的批评

其次，与之相关的是，数据很重要。如果没有高质量、可靠的数据，就不可能产生可靠的预测算法。美国军方可能拥有大量数据，但与军官的非正式对话表明，这些数据分布在一系列系统中，可能有多种格式。如果军方致力于开发先进的人工智能和机器学习系统，无论是用于拘留、瞄准还是其他行动，那么现在就应该认真对待以可用于未来算法的形式保存所有相关数据。（2019年2月发布的关于人工智能的行政命令和美国国防部的人工智能战略表明，国防部确实将关注这一点。）在拘留期间，军方还应记住，执法数据也可能既相关又有价值，例如一个州在拘留某人后提起刑事案件，在这个过程中，它积累了更多关于人的行为的数据。此外，美国军方可能还希望不仅从自己的数据库中，而且从盟友的数据库中提取信息。随着北约整合其数据中心，北约成员国不仅应该考虑共享数据如何提高算法的质量，还应该考虑一个国家对其数据最终可能被使用（即，帮助训练拘留或目标算法）的担忧如何阻碍这一整合

第三，有几个人向我辩称，拘留算法从根本上讲是不公平的，因为它们根据别人的所作所为而不是被考虑者自己的所作所为来提出建议。在某种程度上，这是真的。这些算法预测了一个拥有（比如）八个特征的人如果被释放，可能会做出危险行为的可能性。这种预测是基于他人的行为，而不是个人的（未来）行为。一位法官向我辩称，这种做法是不公平的，并指出，在判刑时，他只考虑眼前人的具体特征。这一批评也与武装冲突期间的安全拘留有关，因为《国际人道主义法》规定，一国只能根据个人活动拘留一个人（不得以集体惩罚的形式拘留人）

至少有三个论点反对这一担忧。首先，如果经过测试，该算法证明它更可靠地预测了具有这八个特征的人会做什么，我们可能仍然希望将其用于被考虑的人，即使我们的决定是基于统计概率的。事实上，该算法的建议很可能是，法官应将此人释放为低风险人员，或者军官应释放此人，因为她不会对安全构成严重威胁。并非所有建议都将继续拘留。其次，我预计军方官员会使用这些算法来帮助指导他们的决策，但不允许算法为他们做出决策。这将允许外部因素（例如，被拘留者的悔恨）与最终决定保持关联。当然，“自动化偏见”可能仍然存在担忧，即人们严重依赖机器推荐，即使他们的个人经验给出了不同的答案，我的文章建议军方需要适应这种偏见。第三，即使法官说他们只考虑站在他们面前的人的特征，但许多法官肯定仍会隐晦地将他们过去的经历与其他具有类似特征的被告联系在一起。也就是说，法官们使用自己的“算法”。让某人依靠他人的所作所为来预测你自己会做什么，这在直觉上是一件令人不安的事情。但是，我认为，这一反对不应阻止这一领域的所有发展

最后，军方应该清楚其制定的任何预测算法的政策目标和参数，以告知拘留决定。军方对释放或拘留被拘留者的风险容忍度如何？什么级别的错误它所选择的算法会产生积极的结果吗？这些错误的结果会阻碍它的反叛乱或其他军事目标吗？它能确定它的算法有助于它遵守国际人道主义法吗？它所部署的任何算法必须比人类的预测更准确吗？军方将如何进行人工/算法比较？军方是否应该在特定的“预测”分数上附加默认假设，这样，除非官员提出令人信服的相反理由，否则将释放那些获得“低威胁”算法排名的被拘留者？尽管这些都是困难的问题，但制定算法的过程可以帮助军方阐明其拘留政策目标及其对国际法律标准的解释

尽管许多人对战争中的自主性、人工智能和机器学习感到不安，但五角大楼及其高级研究机构国防高级研究计划局（DARPA）正在加紧扩大美国对这些工具的使用。DARPA的一个新项目是“试图确定对手想要做什么，他的意图；一旦我们了解了这一点……然后确定他将如何执行他的计划——时间安排是什么，将使用什么演员”。如果美国军方已经或很快将考虑使用预测算法进行拘留、瞄准和其他行动，那么它现在应该考虑如何解决这里提到的问题

***

编者按

这篇文章是AI博客系列的一部分，源自2018年12月在哈佛法学院举办的关于国际法前沿与武装冲突的人工智能研讨会，该研讨会由哈佛法学院国际法与武装冲突项目联合主办，红十字会美国和加拿大地区代表团国际委员会和美国海军战争学院斯托克顿国际法中心

系列中的其他博文包括

系列简介和人工智能与冲突前沿的专家观点
Dustin Lewis，涉及人工智能的武器、作战手段和方法的法律评论：16个需要考虑的因素

在军事环境中需要明确的预测算法治理框架

Tess Bridgeman，武装冲突拘留中依赖数据的预测系统的可行性>
Suresh Venkatasubramanian，<算法决策与法律之间的结构性脱节
李强和谢丹， 国际人道主义法对人工智能武器的法律监管：中国视角
Netta Goussac，安全网或纠结网：武器和战争中人工智能的法律审查，2019年

研讨会参与者先前的帖子

Merel Ekelhof，《自主武器：有意义的人类控制的操作》，2018年8月15日
Eric Talbot Jensen，《国际人道主义法的人性》，2018月23日？2018年4月3日

有关更多帖子，请参阅我们过去的自主武器系列

免责声明：关于人道主义法和人道主义法的帖子和讨论；政策博客不得被解释为以任何方式定位红十字国际委员会，博客的内容也不等于正式的政策或理论，除非特别指出

>

简介