上周，缔约国举行了2024年政府专家组关于致命自主武器系统的第一届会议。这场辩论是政府专家组迄今为止在“减轻风险和建立信任”专题下就偏见问题进行的最具实质性的讨论，包括围绕加拿大、哥斯达黎加、德国、爱尔兰、墨西哥和巴拿马关于偏见的工作文件

在这篇文章中，战争研究中心（南丹麦大学）副教授Ingvild Bode博士认为，偏见既是一个技术问题，也是一个社会问题，因此解决它需要超越技术解决方案。她认为，随着GGE的工作转向围绕操作化的思考，算法偏见的风险需要得到更多的关注。这些论点是基于作者在2024年3月6日裁研所组织的专家小组会外活动“解决军事人工智能中的性别漏洞：减轻意外偏见和应对风险”上的陈述；颜色：#cccccc；换行：任意位置；分词：正常；溢出：隐藏；空白：nowrap；文本溢出：省略号；font-family:州际，LucidaGrande，LucidaSans Unicode，Lucida Sans，Garuda，Verdana，Tahoma，Sans-serif；font-weight:100；>红十字国际委员会人道主义法；政策博客·雷达下：人工智能的算法偏见和军事应用

算法偏见，可以定义为“一种算法的应用，加剧了社会经济地位、种族、民族背景、宗教、性别、残疾或性取向方面的现有不平等”，长期以来在关于人工智能社会影响的学术研究和政策辩论中占据了重要空间。也许令人惊讶的是，这并没有延伸到军事背景下关于AWS和人工智能的研究和辩论。除了一些值得注意的例外，主要是裁研所2021年的报告《军事人工智能有性别吗？》，以及观察员研究基金会和制止杀人机器人运动发布的政策简报，偏见问题没有得到详细报道

尽管如此，我们还是可以借鉴民用领域已有文献的见解，思考AWS和人工智能其他军事应用中的偏见，原因有两个。首先，人工智能技术的大部分创新潜力来自民用科技公司，它们越来越多地与军事行为者合作。其次，更根本的是，人工智能民用和军事应用中使用的技术类型是相同的，如机器学习，因此也会受到类似的偏见问题的关注

人工智能技术中的偏见及其后果

我们可以通过三种主要方式来看待算法偏见：1）数据偏见，2）设计和开发偏见，以及3）使用偏见。这意味着，从数据收集、培训、评估、使用到归档/处置，偏差可能会在算法模型的整个生命周期中发生

用于机器学习模型的数据中的偏差任何潜在的训练数据都是社会世界的有限快照。这张快照可能既包含直接偏见，例如刻板的语言和图像，也包含出现频率形式的间接偏见。例如，一个图像集可能包含的物理学家照片中男性多于女性。因此，数据中的偏差是由于不具代表性的数据导致了不具有代表性的产出。换言之，“当某些类型的数据缺失或比其他类型的数据更具代表性时，就会出现偏差，这通常源于数据的获取和采样方式”。代表人数过多和不足都是关键问题。考虑数据中的偏差是一个很好的起点，但算法偏差的问题超出了这个阶段。例如，这在“垃圾输入，垃圾输出”的流行概念中得到了表达，其中输入的质量决定了输出的质量。无论偏见是隐含的还是明确的，训练数据都将“在模型开发的其余过程中产生连锁反应，因为训练数据本身是受监督模型可以学习的唯一信息”
设计中的偏差&；开发。例如，作为机器学习模型的一部分，数据中的偏差可以在处理数据的各个阶段被放大。人工智能技术的训练过程是一个充满价值的过程。人工任务工作者、程序员和工程师在这里可以做出多种选择，例如对数据样本进行注释/标记/分类、特征选择、建模、模型评估和培训后的后处理。因此，算法偏见也可能是人类带来的偏见的结果，这些偏见往往是无意识的通过机器学习生命周期中执行的不同任务。但偏见也可能通过与算法功能相关的“黑匣子”过程产生。在这一点上，人工智能技术反映了训练数据中固有的偏见及其开发者的偏见
使用中的偏差最后，人工智能技术通过反复使用并以越来越广泛的方式获得了新的含义和功能，以及潜在的偏见。这可以通过两种方式发生：首先，简单地通过使用以人工智能技术为特色的系统，这些技术所包含的任何偏见都会被放大。其次，人们将对人工智能系统产生的输出采取行动。他们可能会“根据一个已经存在偏见的系统的决策，创建更多的数据”。因此，人工智能技术的用户可能会发现自己处于“负反馈循环”中，这将成为未来决策的基础。通过这种方式，人工智能技术产生的有偏见的输出也可以被用作继续现有（有偏见）做法的进一步理由。在使用方面，我们还必须考虑到人类如何与人工智能技术互动的偏见，最突出的是自动化偏见。这描述了人类过度依赖自动化系统并听从此类技术产生的输出的趋势。军事领域以外的研究有相当多的证据表明自动化存在偏见。因此，不幸的是，我们很容易想到在军事背景下，人类用户对人工智能系统过于信任的情况

知道AWS和人工智能的其他军事应用可能包含算法偏见会带来严重后果。偏见可能会导致法律和道德上的伤害，因为特定年龄组、性别或肤色的人可能会被错误地评估为战斗人员。例如，裁研所2021年的报告很好地总结了这些危害，提到了这种错误认识带来的一系列问题后果。偏见也会影响系统功能和可预测性。这与缺乏透明度和解释有关。通常不清楚机器学习算法将数据的哪些特征分配给其输出：“这意味着无法解释为什么会做出特定的决定”。此外，用于人工智能军事应用的数据集中的偏见可能会加剧。这是因为适用于训练军事应用的可用数据在范围上可能比用于训练民用应用的数据更受限制。例如，可用的数据可能只是代表一种特定的冲突和操作类型，不适用于更广泛的应用程序。换句话说，人工智能军事应用所能训练的数据的数量和质量可能都是有限的

偏见作为一个社会技术问题

关于算法偏见，特别是性别偏见的研究可以分为专注于偏见持续存在或偏见缓解的研究。Joy Buolamwini和Timnit Gebru进行的性别阴影项目是记录性别偏见长期存在的一个突出例子。作者研究了三种面部识别软件，发现这三种软件都能比女性更准确地识别男性面部，而且通常更能识别肤色较浅的人。表现最差的模特有三分之一的时间认不出深色皮肤女性的脸。其他研究考察了如何以及通过什么方法可以减轻偏见。这项研究主要是技术性的，侧重于可用于机器学习模型和面部识别系统的特定技术，如通过更多的风险和危害分析以及（甚至）更严格的测试和审计来重新平衡数据或规则化或设计“公平”算法。这种技术性缓解战略并不简单。例如，在关注性别偏见长期存在的研究中，后来被确定为有问题的系统在测试过程中以功能方式运行。算法偏差的问题不容易解决

围绕偏见的思考再次强调，技术不是中立的。技术是“时代的产物”，它们反映了我们的社会。我们需要认识到技术及其发展过程本质上是社会性的，而不是将技术视为一个对象，将技术发展视为一种在不同于我们社会的轨道上发生的过程。换句话说，“偏见是社会固有的，因此它是人工智能固有的”。因此，技术解决方案不足以解决偏见

解决算法偏见问题需要从根本上改变歧视态度。例如，即使在设计阶段，缓解策略也必须纳入人工智能的主流程序员考虑（初始）建模参数。在这里，重要的是要仔细了解主导人工智能技术投资和开发的科技公司及其特殊利益，因为这些利益可能会对设计阶段的选择产生直接影响。为了改变这一点，我们需要解决和改变“工作文化中嵌入的偏见”或在人工智能技术设计中特别关键的职业——换句话说，STEM职业。目前，STEM职业由有限的一部分人主导，这些人不能代表我们更广泛的社会：“科技公司很少雇佣女性、少数族裔或40岁以上的人”。解决这一代表性和多样性问题需要在代表性不足的群体中进行能力建设。但这也需要对工程和it等专业文化进行根本性的改变，例如，这些文化建立在技术知识和专业知识与男性气质以及特定种族背景之间长期且往往隐含的联系之上

总之，算法偏见已被公认为军事背景下与人工智能技术相关的主要风险因素。例如，在军事领域许多新兴的负责任人工智能原则清单中，都列出了偏见和减轻伤害。与此同时，在更广泛的军事背景下，推动各国将人工智能技术融入武器系统的许多逻辑似乎都基于这样一种论点，即使用这些技术可以使战争的进行更加合理和可预测。但这种认为人工智能技术可能“比人类的判断更好”的想法忽略了潜在用于武器系统的人工智能技术是由（人类）决策塑造和塑造的。算法偏见的问题表明，我们不应该将人工智能技术视为与人类判断分离的东西，而应该将其视为在人工智能技术的整个生命周期中深深融入人类判断的形式——无论好坏

作者说明：这篇论文的研究得到了欧盟地平线2020研究和创新计划的资助（根据第852123号赠款协议，AutoNormals项目）

另见：

Roxana Radu，Eugenia Olliaro，非儿童游戏：保护人道主义人工智能生态系统中的儿童数据s，2023年12月14日
Nivedita Raju，空间安全治理：限制外层空间军事行动人力成本的步骤，降低军事反空间行动的民事成本，2023年8月17日
Wen Zhou，战争、法律和外层空间：降低军事空间行动人力成本的途径

简介