许多国家，尤其是拥有庞大且资源丰富的军队的国家，正在探索将人工智能 (AI) 用于目标决策的潜力，因此迫切需要了解这些系统的相关风险，其中之一就是偏见风险。然而，虽然在军事人工智能政策辩论中经常提到对偏见的担忧，但很少深入探讨偏见如何表现为危害以及如何解决它。这在确保合法使用军事人工智能的努力中存在一个关键的差距。

为了弥合这一差距，斯德哥尔摩国际和平研究所 (SIPRI) 的 Laura Bruun 和 Marta Bo 阐述了军事人工智能偏见的人道主义和法律影响。它们表明，军事人工智能中的偏见可能以比政策辩论中所描述的更复杂、更微妙的方式表现出来，如果不加以解决，它可能会影响对国际人道法中区分、比例原则，特别是攻击时的预防措施的遵守。

红十字国际委员会人道主义法与政策博客 · ‘持续关注’必须解决军事人工智能中的偏见问题

在战争中使用人工智能 (AI) 进行目标决策已不再是未来之举。虽然速度和规模的提升通常被认为是使用人工智能进行目标决策的驱动力，但速度和规模的提升也加剧了与军事人工智能相关的风险，其中之一就是偏见。

军事人工智能中的偏见指人工智能系统（通常是无意的）以系统性和不公平的方式倾向于或反对某些个人或群体的现象。如果军事人工智能系统在训练数据集上过度或低估某些年龄、方言、性别或肤色，则可能存在偏见。军事人工智能中的偏见表现形式多样，但其隐患始终如一：它会增加意外伤害的风险。随着越来越多的国家对使用军事人工智能来提供信息、支持甚至执行目标决策表现出兴趣，我们迫切需要了解并应对偏见的风险。

老问题，新维度

偏见在军事环境中并非新问题。纵观历史，军事组织和人员曾因无意识或潜意识的假设和倾向而做出过造成严重人道主义后果的决策（例如，参见此处和此处）。然而，人工智能在军事决策中的应用加剧了与偏见相关的现有担忧。首先，人工智能系统的设计和编程不可避免地会反映社会、开发者和用户的偏见。其次，这些系统的速度、规模和不透明度的提高可能会放大出现有害偏见的风险。它们的使用加速了目标推荐出现缺陷的可能性，并减少了用户发现和纠正潜在偏见的时间（如果有的话）。

参与军事人工智能政策制定的国家越来越关注偏见问题（例如，参见此处、此处和此处），并经常强调性别和种族偏见。即便如此，各国才刚刚触及问题的关键。问题的表面：人工智能军事应用中的偏见如何体现为危害，以及具体可以采取哪些措施来解决，迄今为止，相关讨论相对较少。为了支持理解并更好地缓解军事人工智能中的偏见，斯德哥尔摩国际和平研究所 (SIPRI) 本周发布了一份报告，探讨其人道主义和法律影响。该报告以专家访谈和与来自政府、工业界和民间社会等各方参与者的现场研讨会为基础，其主要发现如下：

人工智能中的偏见可能导致平民和民用物体被视为威胁，甚至完全不被重视

军事人工智能中的偏见通常表现得比政策辩论中描述的更为复杂和微妙。除了性别和种族偏见之外，军事人工智能系统还可能存在残疾状况、年龄、社会经济阶层、语言和文化等方面的偏见。如果这些偏见得不到解决，可能会损害对国际人道法主要原则的遵守，这些原则包括区分、比例原则，尤其是攻击时的预防措施。军事人工智能的偏见可能导致有害甚至非法后果，其方式可归结为两种主要风险途径：

风险途径 1：军事人工智能的偏见可能导致将非威胁误认为威胁

用于目标识别的军事人工智能系统可能——由于其对敌人特征的偏见假设——将平民或其他受保护人员和物体误认为威胁。例如，一个人工智能系统可能在编程时假设使用预付费电话卡是敌方状态的指标，而没有考虑到人口中的某些群体（例如流动工人）大量使用预付费电话卡。或者，它可能被训练将武装人员群体归类为目标，而没有考虑到持有步枪可能表明特定文化背景下的狩猎或节庆活动。如果使用人工智能识别非制服战斗人员，则导致错误识别的偏见风险尤其严重。与其依赖制服和敌方符号等清晰的视觉线索作为战斗状态的指标，不如基于对敌方行为、功能和特征的假设来构建目标轮廓。

此外，军事人工智能的偏见也可能导致错误识别民用物体。尤其当人工智能被用于攻击军事目标时，这些目标的合法目标本身并非军事性质，而是取决于具体环境，包括这些目标内部和周围的人类活动。例如，如果用于识别临时指挥中心的人工智能系统没有使用能够充分反映当地宗教或文化习俗的数据集进行训练，它可能会将和平集会误解为敌方活动。

需要注意的是：对于自主武器系统 (AWS)，系统会同时选择目标并攻击目标，错误识别将导致直接伤害。对于人工智能决策支持系统 (AI-DSS)，损害风险是间接的——仅当用户根据有缺陷的目标建议采取行动时才会显现（详见此处）。

风险途径 #2：军用人工智能的偏见可能导致平民和民用物体完全无法被探测到

军用人工智能的偏见也可能导致无法探测到目标区域内的平民和民用物体。如果使用人工智能来探测、预测和/或评估袭击附近的平民存在，这种风险尤其重要。平民并非一个同质群体：他们在种族、社会经济阶层、文化习俗、语言或残疾状况方面各不相同。然而，如果用于检测平民的人工智能系统没有使用能够充分反映当地人口复杂性和多样性的数据集进行训练，该系统可能无法检测到那些外观、移动或行为方式在数据集中未体现的人或物体。例如，如果坐轮椅的人在数据集中的代表性不足，那么用于评估目标区域平民存在的人工智能决策支持系统可能无法检测到这部分人群，因为它没有接受过这方面的训练，最终，如果没有考虑到他们的存在，他们可能会面临更大的伤害。ted for。

如果未能发现，军事人工智能的偏见可能导致违反国际人道法

未能考虑到军事人工智能的偏见可能会破坏对国际人道法的遵守，特别是区分、比例和攻击预防措施原则。依赖人工智能系统进行目标识别可能会违反区分和攻击预防措施原则，因为军队依赖过度概括的目标概况，而没有尽一切可能核实要攻击的目标是否是军事目标。同样，在攻击中未能考虑到所有平民群体，会增加某些群体遭受更大伤害的风险，从而可能违反比例原则。这也可能违反攻击预防措施原则，该原则要求各方在军事行动中始终谨慎以避免伤害平民。可以说，这项义务要求冲突各方考虑到整个平民人口的多样性，包括性别、年龄、种族和残疾方面的差异，以确保所有群体都得到平等保护（参见此处和此处）。

军事人工智能中的偏见可能构成违反国际人道法禁止歧视的规定，该规定禁止基于种族、宗教和性别等因素的歧视。然而，虽然该规定明确适用于对受一方权力控制人员的待遇，但它是否也适用于目标设定尚不明确（一些评论员认为，它确实适用于目标设定）。这项禁令的潜在适用性可以指导各国履行其与区分、比例原则和攻击预防措施相关的义务，尤其是在使用军事人工智能时。

解决军事人工智能中的偏见问题可能不仅仅是“良好实践”，而可能是一项法律义务

与其致力于消除军事人工智能系统中的所有偏见（这几乎是一项不可能完成的任务），不如努力——而且应该——减轻其风险。事实上，解决偏见问题的措施可能不仅仅是自愿的“良好实践”，而且是源于国际人道法积极义务的法律要求，即最大限度地减少对平民的伤害。如何将偏见缓解措施转化为军事人工智能系统开发和使用中的具体要求和限制，仍有待各国和专家探讨。然而，关键要素围绕着代表性数据集以及人为的控制和判断：

代表性数据集：底层数据集对作战环境的代表性越高，人工智能系统导致威胁识别错误或无法识别受保护人员和物体的风险就越低。要确保数据集充分代表使用环境，军事人工智能系统的开发者需要在数据收集和处理阶段就考虑预期用途，并且需要数据收集和标记团队的多元化。然而，更具代表性的数据集的一个主要缺点是，数据越具体，收集当地人口信息的需要就越大，这可能会扩大监控措施并侵犯隐私权。
人为的控制和判断：偏见不能仅通过技术手段来解决；使用过程中的人为控制和判断是发现、减轻和防止军事人工智能中有害偏见的关键措施。在人工智能决策支持系统 (AI-DSS) 中，用户需要进行多层验证，以确保他们能够发现并纠正有偏见的人工智能输出。与此同时，对于人工智能赋能的AWS，用户可能无法在系统启动后验证输出，因此需要提前对系统的行为和效果进行控制和判断。这意味着将其使用限制在偏见造成损害风险较低的情况，即不依赖于对人类活动和特征评估的情况。一个偏见造成损害风险较低的用例是针对可清晰识别且位于无平民区域的军事目标的攻击。</li>

减少偏见应成为政策工作不可或缺的一部分确保在军事人工智能的开发和使用中遵守国际人道法

军事人工智能中的偏见所带来的人道主义风险众多且复杂。如果不深入了解偏见的本质及其表现形式，各国降低风险的愿望将无法实现。事实上，未能解决军事人工智能中的偏见问题可能构成违反国际人道法的行为，尤其是在军事行动中始终谨慎行事，避免伤害平民的义务。因此，解决军事人工智能中的偏见问题不应被视为边缘问题——它应成为确定国际人道法对军事人工智能的限制和要求的重要组成部分。

作者注：本文基于斯德哥尔摩国际和平研究所（SIPRI）的新出版物“军事人工智能中的偏见与国际人道法的遵守”

另请参阅：

Maria Haas, 人工智能如何学习及其缺失：数据选择为何在人道主义行动中至关重要，2025年8月14日。
Joanna Wilson，人工智能、战争与（非）人道：人类情感在军事决策中的作用，2月20日2025年。
Elke Schwarz，负责任的军事人工智能治理的（不）可能性，2024年12月12日。
Erica Harper，人工智能会从根本上改变战争的发起、进行和结束方式吗？，2024年9月26日2024.
Matthias Klaus，超越武器系统：人工智能在军事决策支持系统中的伦理挑战，2024年9月24日。

简介