编者按：在这篇文章中，是人工智能博客系列的一部分，Lorna McGregor继续讨论了拘留和预测算法在武装冲突环境中辅助决策的潜在用途，并带来了人权视角

***

越来越多地使用算法来预测未来可能的结果，从而支持信用、社会保障和保释等问题的决策。这种使用通常是基于提高效率、战略资源分配和加强基于证据的决策方法。然而，如下文所述，预测算法的使用日益面临挑战，包括与国际人权法的兼容性在本系列博客和一篇随附文章中，阿什利·迪克斯（Ashley Deeks）辩称，使用预测算法来“帮助[军队]评估哪些行为体出于拘留目的是危险的，以及未来可能发生的出于巡逻和瞄准目的的袭击”尚未但可能很快就会扎根。在这篇帖子中，我建议，在将算法引入决策之前，军方需要为算法是否、何时以及如何用于决策制定明确的治理框架，特别是在拘留等领域，以避免与国际法发生冲突

为什么在其他领域出现的挑战对军队来说很重要

在建议军队应该制定关于算法使用的明确治理框架时，我建议他们应该研究其他领域中出现的问题，特别是在没有明确的法律、政策或治理框架的情况下，在决策中部署了算法的情况下。当然，人们会对与其他领域进行类比表示担忧。事实上，即使在拘留等领域，刑事司法系统中管辖拘留的法律也与国际武装冲突中拘留的法律不同，后者与非国际武装冲突的拘留合法性和合法性规则仍有不同。正如Ashley Deeks所指出的，在一种环境中使用算法的社会含义在转移或重新使用到另一种环境时也可能不同，因此不可能进行直接的比较。相反，每个人都必须根据自己的优点进行评估

与此同时，我所关注的风险的性质，尤其是人权风险，往往贯穿于决策中算法的大多数使用。鉴于国际人权法和国际人道主义法的共同适用，人权风险在武装冲突中是重要的。然而，当在新的环境中使用时，这些风险的规模和性质可能会有所不同。武装分子应以其他领域的经验为出发点，然后分析这些问题在国际或非国际武装冲突中的表现。在这样做的时候，他们应该提前进行具体的影响评估，以确定在新情况下使用预测算法可能如何影响个人和群体的权利

算法如何影响其他领域的人权

公司行为体和国家机构越来越多地将预测算法纳入其决策，包括警务和刑事司法系统。正如我在最近一份报告中与ESRC人权、大数据和技术项目的同事们讨论的那样，在警务和刑事司法中使用预测算法有可能放大或在决策中引入新形式的偏见和歧视。例如，在上个月发布的一份题为“机器警务——预测性警务和对我们权利的威胁”的报告中，英国人权组织Liberty发现，“警察算法正在根深蒂固现有的歧视，引导警察巡逻已经过度警察的地区”

由于算法依赖于输入数据，并且这些数据通常是不完整的和歧视性的，因此存在根深蒂固的歧视风险。这些数据可能不仅与个人有关，还可能包括对个人的家庭、朋友、“相似”特征的人以及该人居住的社区的评估。除了输入数据，算法过程还可以以歧视性的方式运行，这取决于它如何权衡系统内的因素，因此可以产生歧视性的结果。事实上，算法基于相关性而非因果关系，并在群体或群体层面上产生输出，但这些输出与特定个体无关。正如Benvenisti最近所说，这可能会削弱“理解法律必须将每个人视为独一无二的”。这在关于是否拘留和是否释放人员的决定方面尤其令人关切，因为国际人权法和国际人道主义法都要求这些决定是个人化的，因此，正当程序、公平审判和自由的权利受到威胁。在武装冲突的背景下，这也可能会削弱对军队的信心和当地居民的信任。

这些担忧往往被以下说法淡化：预测算法所支持的风险评估只是一个证据，最终人类仍然“在循环中”，将是做出决定的人。然而，当今算法的性质和复杂性，以及拥有算法且不希望完整代码公开的公司的所有权主张，意味着人类决策者很难仔细检查风险评估结论的有效性和强度。还有一种风险是，人类决策者由于感知到算法证据的科学性，而过度推迟或给予算法证据更大的权重。这种风险在“更高风险”的决定中可能特别严重，例如拘留，法官或主管当局可能担心违反建议拘留或不释放人员的评估所产生的影响，如果他们错了，该人员再次犯罪，或者在武装冲突情况下，攻击发生了。

在部署算法之前建立法律和治理框架

引入算法作为支持决策的手段并不总是伴随着明确的法律或治理框架。这可能是因为算法可以被视为一种技术工具，因此，将算法引入决策过程对组织运作方式的影响可能无法完全理解。我在《欧洲国际法杂志》最近的一篇文章中认为，在决策中使用算法应该被视为一种治理选择。这是因为算法即使用于支持决策也会从根本上改变决策的方式。它们的引入也可能意味着它们成为收集证据或评估风险的主要方式之一，可能会取代或削弱传统方法。例如，关于警察使用算法，人们经常问的问题是，在一个削减开支和成本驱动效率的时代，预测算法的集成对情报收集和建立社区关系的资源和传统方法的可用性（如在社区工作的警察人数）有什么影响？警方有效开展工作的总体能力有何变化？有趣的是，我的HRBDT同事Pete Fussey和Daragh Murray进行的访谈表明，在警务环境中使用预测算法可能会削弱警官的自主性，并模糊他们为什么被派往某个特定地区进行警务，从而削弱他们的效力。实际上，算法可能会否定军官自己的直觉和经验。

这些问题对于在武装冲突中作战的军队来说显然意义重大。因此，我建议，在没有充分了解和评估算法将如何影响特定组织运作的情况下，不应将算法引入决策过程。不能孤立地检查这项技术，而是需要评估它如何影响传统的决策和证据收集方法，以及它是否是最有效的决策方法监督和问责制度到位。如果他们不在，这可能会导致下游的一系列困难，包括诉讼和对关键行为体所做选择的公众监督。由于缺乏对技术引入方式的信任和信心，计划的失败也可能会阻碍或减缓算法在作战中的有效整合。对于军方等可能尚未在拘留等决策中使用算法的机构来说，他们有机会批判性地评估，在技术进入系统之前，算法何时以及如何支持决策，以及如何避免和减轻风险。

在《国际与比较法季刊》即将发表的一篇文章中，我与我的合著者Daragh Murray和Vivian Ng争辩道，在部署算法之前，应该对其进行评估在构思和设计阶段对人权的影响。我们建议，如果该算法的目的或效果是为了规避IHRL，则不应使用该算法，除非并直到这些效果可以消除。Ashley Deeks在她的博客文章中指出，在特定武装冲突中，输入数据的可用性和质量受到严重限制，测试算法面临挑战。这就提出了一个问题，即算法是否能够得出在武装冲突中有用的可靠结论。除了无法做出个性化决策的风险之外，数据质量差和算法测试困难也会在这种情况下造成歧视的风险，可能导致任意拘留和削弱对军队的信心。例如，她指出，

尽管美国军队已适应跨文化能力的需要，并相应地训练其部队，但这是一项艰巨的任务。军人需要努力和仔细地工作，了解在外国环境中使用哪些数据来开发可靠的拘留算法，并需要确保他们的计算机科学家也接受了跨文化培训。此外，军方需要对构成“威胁”的人员和构成“非威胁”的人的数据进行算法训练，但这些数据不太可能像刑事定罪那样受到严格的测试。，如果没有“循环”中的人类决策者，这将与IHRL不兼容。这是因为算法通过相关性而不是因果关系得出结论，因此无法提供个性化的决策。有一个人“在循环中”本身是不够的。但是，问题是这个人是否有效。这将取决于理解算法的能力等因素，考虑到现代算法的复杂性和此类算法的权重，理解算法越来越困难。至关重要的是，建立治理框架，以防止人类决策者最终在实践中服从算法的结论，从而使“循环中的人”成为多余的风险。
在讨论算法风险评分可能对军事行为体在武装冲突中释放人员的倾向有何影响时，有人向我提出这样的论点，即军方比文职法官更不可能服从某一算法。有人认为，这是因为军事行为体在风险环境下运作，因此可能更容易做出此类决定。同时，它们仍然是高风险的决定，当军事法官无法理解算法得出结论的情报基础时，仍然会出现问题。因此，从治理的角度来看，它应该仍然是一种被监测和测试的风险。
最后，我们建议，如果没有足够的监测和监督系统来识别任何潜在或实际的危害，特别是对人权的危害，并有效地防止或结束这种危害，则不应在决策中使用算法。设计和建立适当的监督机制，以及这是否需要外部和内部系统，目前正在相关领域进行大量辩论和分析。在决策中部署算法之前，军队评估这些问题尤为重要，包括如何确保正当程序以及受拘留令约束的个人在做出此类决定时质疑算法影响的能力。
***

编者按
这篇文章是AI博客系列的一部分，源自2018年12月在哈佛法学院举办的关于国际法前沿与武装冲突的人工智能研讨会，该研讨会由哈佛法学院国际法与武装冲突项目联合主办，红十字会美国和加拿大地区代表团国际委员会和美国海军战争学院斯托克顿国际法中心。该系列中的其他博客帖子包括《人工智能和冲突前沿》系列简介和专家观点Dustin Lewis，《武器法律评论》，涉及人工智能的作战手段和方法：16个要素需要考虑
Ashley Deeks，通过算法拘留>
Tess Bridgeman，武装冲突拘留中数据依赖预测系统的可行性
Suresh Venkatasubramanian法律
李强和谢丹，国际人道主义法对人工智能武器的法律监管：中国视角>Safety net or tangled web：武器和战争中人工智能的法律审查
另见红十字国际委员会，《武装冲突中的人工智能和机器学习：以人为中心的方法》，2019年6月6日
研讨会参与者先前的帖子
Merel Ekelhof，《自主武器：有意义的人类控制的操作》，2018年8月15日
Eric Talbot Jensen，《国际人道主义法的人性》，2018月23日
有关更多帖子，请参阅我们过去的自主武器系列
免责声明：关于人道主义法和人道主义法的帖子和讨论；政策博客不得被解释为以任何方式定位红十字国际委员会，博客的内容也不等于正式的政策或理论，除非特别指出