算法偏差长期以来一直被认为是影响集成人工智能（AI）技术的决策过程的关键问题。在做出与使用武力有关的军事决策时越来越多地使用人工智能，这引发了人们对这些技术中的偏见以及人类用户如何根据分层的社会文化规范、知识和注意力模式进行编程和依赖数据的质疑

在这篇文章中，南丹麦大学战争研究中心教授Ingvild Bode博士和帕德博恩大学“有意义的人类控制：在调节和反射之间”项目的博士研究员Ishmael Bhila，结合基于人工智能的决策支持系统（AI DSS），解开了算法偏见的问题。他们在人工智能DSS的四个生命周期阶段检查了三类算法偏差——预先存在的偏差、技术偏差和紧急偏差，得出的结论是，在军事领域正在进行的关于人工智能的讨论中，利益相关者应该更认真地考虑算法偏差对AI DSS的影响

红十字国际委员会人道法和；政策博客·基于人工智能的军事决策支持系统中的算法偏见问题

随着国际上关于军事领域人工智能技术的争论多样化，基于人工智能决策支持系统（AI DSS）日益成为一个重要的焦点。Klonowska定义的AI DSS是“使用AI技术分析数据、提供可操作建议并协助位于指挥链不同级别的决策者解决半结构化和非结构化决策任务的工具”。人工智能技术更广泛地融入军事决策引发了人们的担忧，从而增加了这些过程受到算法偏见的可能性——“应用一种算法，加剧了社会经济地位、种族、民族背景、宗教、性别、残疾或性取向方面的现有不平等”

这个问题在军事领域的人工智能国际辩论中得到了解决。例如，2023年REAIM（军事领域的负责任人工智能）行动呼吁提请注意“数据中的潜在偏见”，这是军事人员需要注意的问题。这是一个良好的开端，但偏见现象远远超出了其在数据中的存在

此外，尽管侧重于自主武器系统（AWS），但《特定常规武器公约》政府专家组（GGE）2023年的报告使用了“意外偏见”而不是“算法偏见”。这种语言可能有一个技术原因，因为所有的人工智能系统都是基于偏见工作的，即对特定的调制给予不同程度的强调/对一种模态比另一种模态给予更多的强调。然而，这种纯粹的技术理解低估了偏见作为一种政治和经验现象的重要性，这种现象对特定群体的影响比其他群体更为不利，因此严重影响了整合人工智能技术的决策过程

习惯国际人道主义法第88条（关于不歧视，第五部分，第32章）和《第一附加议定书》第85条第4款（c）项明确禁止在适用国际人道主义法律时进行不利区分，即基于种族、肤色、性别、语言、宗教或信仰、政治或其他见解、国籍或社会出身、财富、出生或其他身份，或基于任何其他类似标准（如种族隔离和其他不人道或有辱人格的做法）的（军事）做法。这种做法往往定义了算法偏见。因此，预先存在的偏见是人工智能系统固有的，并且可能是系统性的。这是因为人工智能系统通过其处理数据的方式，仍然植根于社会机构和社会。因此，偏见不需要是有意的、明确的或有意识的，也不需要被视为非法和道德上应受谴责的

为了开始掌握这个问题的全面性，考虑算法偏见是如何在AI DSS的整个生命周期中发生的，从预开发到重用/退役。我们将偏见的说明集中在AI DSS的四个生命周期阶段：（1）管理数据集，（2）设计和开发，（3）使用中，以及（4）使用后审查。我们首先描述这四个阶段偏见的基本发生情况，然后分析偏见引起的问题，特别是与军事使用武力有关的人工智能决策支持系统决定。示例来自作战和战术层面的武力使用决策，因为这是我们发现大多数（当前）用例的地方

偏见是一个广泛的类别，一些一般类型发生在各种人工智能系统中，而另一些则特定于图像识别。为了更好地理解这些不同阶段的偏见，我们区分了预先存在的、新兴的和技术性的偏见，并将我们的例子主要集中在以图像识别为特征的AI DSS所表现出的偏见上

（1）数据集中的偏差

数据中的偏差可能是记录得最好的，多方面的研究确定了显性和隐性形式。这种预先存在的偏见是“社会制度、实践和态度”的一部分，因此也是数据集的一部分。提供给算法的训练数据基于开发人员设定的某种统计标准（例如，假设某个类别/身份群体更有可能成为威胁），这在道德、伦理和法律上可能是不可接受的。然而，只有通过这个整理数据集的过程，原始数据才能转化为可操作的信息

这些数据集及其包含的假设没有透明度，特别是在军事领域。显性偏见包括数据集中的直接刻板语言或图像。隐式形式通常更难解决和减轻，以过度或不足表示特定数据点的形式引入偏见。这种形式的抽样偏差导致据报道，深色皮肤的人与浅色皮肤的人的错误识别率更高

此外，开发人员对数据的选择、收集和准备可能会给系统带来偏见。这包括为训练准备数据集的预处理，这一步骤涉及删除被认为不重要的数据点。这样，预处理容易在数据中引入偏差。一般来说，算法的好坏取决于它所提供的数据，数据收集、存储和使用实践可能会导致歧视性结果

就人工智能决策支持系统而言，制定“杀人名单”是一个很大的问题，因为这一过程已被证明取决于符合先前存在的社会偏见的数据输入。这些数据将包含标签，例如识别恐怖主义嫌疑人的特定特征。这些特征可能包含先前存在的偏见，如种族和身份刻板印象，无论是明示还是暗示。例如，人工智能决策支持系统的开发可能会带有偏见，即任何虔诚的穆斯林都是“极端的”，因为整个反恐理念与其种族和民族起源密不可分

（2）设计和开发中的偏差

设计和开发阶段的选择和实践会加剧数据中的偏差。在这个生命周期阶段，先前存在的偏见形式与“来自技术约束或技术考虑”的技术偏见相结合。这类偏见既延伸到人类执行的数据工作，也延伸到神经网络等内部通常不透明的技术过程

人工引导过程的一个有用例子是迭代数据注释、标记、分类以及评估整个训练过程中产生的输出的过程。在执行这些任务时，人类的认知偏见（通常是无意识的）会出现。在更基本的层面上，构建人类和社会类别以使其易于计算机处理的过程也可能产生偏见。通过这种方式，人工智能算法也可能强化偏见，例如，通过过度拟合到过于“粗糙”的类别中，当与数据集中的高方差相结合时，可能会使人工智能模型无法识别相关趋势

此外，神经网络处理数据的不透明功能很可能会插入自己的偏差集，从而可能放大数据集中已经存在的偏差。一个例子是类不平衡偏差，即AI算法对数据集中出现频率较低的数据点类表现出较低的识别率。这种偏差的发生是众所周知的，但需要积极的缓解技术，例如用合成数据补充数据集

上述两个偏见的具体例子，过拟合和类不平衡，都与军事决策中使用的AI DSS有关。军事决策环境的特点是高度的不确定性和混乱因素。在这种情况下，AI DSS的比较点太少，因此缺乏相关类别或使用错误的类别来正确识别情况。缺乏适当的定性许多军事决策背景下的定量训练数据已被认为是一个特殊的问题

人工智能决策支持系统旨在识别特定人群，这意味着开发人员必须评估文化、宗教、种族和其他身份偏见，这些偏见不仅影响系统的决策，也影响他们自己的决策。例如，美国Maven项目最初是为了帮助击败ISIS运动的数据标签工作而开发的，这意味着它是在考虑到某些群体或人的身份的情况下开发的。该系统在识别正确目标方面的有效性受到了质疑，事实上，有必要质疑这些不同的偏见来源如何告知这些系统的设计和开发，特别是在涉及人类目标的情况下

（3）使用中的偏见

在使用时，已经嵌入AI DSS的现有和技术形式的偏见与新出现的偏见相结合。这源于特定用户在特定使用环境中如何与AI DSS交互。在使用武力的情况下，这认识到使用人工智能决策支持系统涉及军事战略、作战和战术决策者之间基于价值的意义构建，所有这些决策者都可以将他们的价值判断注入到与系统输出的交互中

在这个使用阶段引入的一类众所周知的偏见是自动化偏见，它描述了人类用户对AI DSS产生的输出的无条件信任。这种无条件的信任在实践中会助长算法偏见，允许那些如果仅由人类做出可能会有问题的决定，仅仅是因为机器被认为更值得信赖和可靠

此外，AI DSS中的偏差可能会自我强化，导致系统在未纠正的情况下产生偏差增加的循环。例如，如果人工智能DSS一致地将某个社区中具有特定外表的特定性别的人识别为可疑威胁，它可以通过假设该社区中所有符合这些特征的人都是“威胁行为者”来强化其偏见。该系统非但没有纠正偏见，反而加强了自身，特别是在决策者没有及时发现偏见的情况下

许多数据驱动的人工智能技术最独特的特征之一是能够从上下文中不断“学习”，并与技术和社会环境互动。例如，考虑科技公司收集的营销数据。计算机系统根据识别模式、搜索和吸引用户注意力的内容收集数据，随着用户与平台的接触越多，推荐的频率和强度就越高

虽然这种算法功能可能是特定于营销环境的，但在军事使用武力决策的背景下，人工智能决策支持系统可用于增加潜在目标的数量。因此，此类系统可能从识别少量疑似威胁行为者开始，但其目的是通过联系和连接越来越多的人来增加数量。因此，即使在使用过程中，人工智能DSS也可能继续由人类用户学习和训练。这一过程既会强化旧的偏见，也会学习新的偏见。当人类与最终输出交互、解释数据并向系统提供反馈时，偏差可能会重新进入系统

谁参与了这一过程，如何监控这一过程以及由谁来问是关键问题。连续学习算法的基本适应性使这些选择在军事决策中具有吸引力，但从根本上来说也很难预测

（4）使用后审查中的偏差

使用后审查AI DSS包括检查特定系统在设计阶段是否按照系统开发人员的预期和期望运行，以及包括前瞻性的改进建议。这既可以被视为一个独特的生命周期阶段，也可以被认为是一个持续的活动，应该在每个用例之后和每个用例之前进行，特别是在使用持续学习AI DSS的情况下

原则上，这一阶段对于识别和减轻偏见导致的错误决策至关重要。然而，如果在这个阶段没有发生这种情况，AI DSS在整个生命周期中产生的有偏差的输出将成为用于维持进一步决策过程的数据。重要的是，最近的研究发现，有证据表明人类可能继承了AI DSS所表现出的偏见。即使在人类不再与AI DSS交互的情况下，他们也可能因此复制从AI DSS中学到的偏见

结论

总之，人工智能DSS风险扩散算法偏差对军事决策过程中使用武力的影响。先前存在的和技术形式的偏见从生命周期的早期阶段开始进入人工智能DSS，并在整个生命周期中发挥其影响，而新兴的偏见则出现在使用点。需要做很多工作来提高人们对人工智能决策支持系统中这些偏见、其潜在的灾难性影响以及缓解方法的认识。例如，这些可能包括使用后开发AI DSS的标准化方法，并在其中实施偏差缓解策略

作者注：我们非常感谢Thea Riebe就算法偏差的技术维度提供的反馈和意见。这项研究得到了两个资金来源的支持：Ingvild Bode根据第852123号拨款协议（AutoNorms）获得了欧盟地平线2020研究和创新计划的资助 Ishmael Bhila已获得锡根大学合作研究中心（CRC）1187“合作媒体”的资助

简介