自动决策算法目前正在全球社会传播性别和种族歧视。主要的罪魁祸首是使用大数据的机器学习。根据经验教训，这里提出的问题是，我们能否取消有意义的人类控制，并信任人工智能（AI）来选择目标并用暴力攻击它们为了回答这个问题，我们将进入致命性较低的应用程序领域，在这些领域中，此类系统的偏见显而易见。在途中，我们将研究使用大数据进行机器学习时固有的偏差的原因，以及为什么缺乏透明度会使偏差问题难以解决。最后，讨论了与目标捕获相关的自动人脸识别使用中的类似偏差问题

最近关于自主武器系统（AWS）的许多讨论都集中在仔细的军事规划、维护更广泛的人类控制回路和人类监督上。虽然常规军事规划很重要，但我们必须考虑到该技术可能被使用的其他方式的严峻现实。现代武装冲突很少涉及高密度的军事人员在战场上相遇，目的是尽可能多地杀死对手。这里到处都是未穿制服的战斗人员，他们在平民中穿行和躲藏一些人认为AWS将能够识别出可能成为合法攻击目标的特定人群或阶层（抛开过多的国际人权问题）。但这是一场人道主义灾难吗

决策算法中的偏差

人工智能商业化的加速在很大程度上是两个主要因素的产物：（i）计算机的功率、内存和速度的增加，以及（ii）关于我们生活的许多方面的大量数据的可用性。这些因素使得机器学习工具能够以前所未有的方式用于创新的商业应用。其中包括将影响人们生活的决策委托给算法，认为算法会比容易出错和有偏见的人做出更客观、更公平、更少偏见的决策。不幸的是，越来越多的证据表明，决策算法正在使许多人的不公义长期存在。许多案例表明，邮政编码、种族、性别、协会和贫困对授权给机器的决策产生了负面影响。谷歌和微软等科技巨头公开承认存在偏见问题，他们一直在尽最大努力寻找解决方案，但迄今未果。暴露出的不公正领域包括：保险风险、抵押贷款决定、入围、招聘和面试、招聘广告、保释和累犯风险、评估、监禁判决、机场安全和预测性警务

决策偏见的常见原因之一是程序员或数据样本分类人员的种族或性别偏见，通常是无意识的。另一个主要原因是机器学习算法的应用，如深度学习，以及它们的训练方式。我将在下面介绍两个内在原因，然后解释为什么缺乏透明度使它们难以修复

机器学习如何忽略少数群体

在工程环境中使用机器学习系统的一个好处是可以减少或消除训练数据中异常值（数据规范之外的示例）的影响。例如，通过机器学习训练，机器人摇晃的手臂动作可以转变为平滑的动作。然而，在决策算法的背景下，“异常值”可能是数据中的少数群体。这些人可能来自不同种族群体或代表性较低的性别。谷歌通过训练一个带有鞋子图纸的系统来说明这个问题。大多数样本是大多数人画的便鞋或运动鞋。但有些人画高跟鞋。因为这是少数人，训练后测试错误地将高跟鞋归类为“非鞋子”。这是一个简单的例子，可以清楚地看到错误分类。在针对目标的情况下，无法知道哪些少数群体可能会错误地落入合法目标的范畴。在冲突中，很难获得有关人员伤亡以及他们是否是合法目标或附带损害的明确信息

数据中的偏见问题

我们的社会价值观和规范在过去50年中不断演变，在媒体或工作场所可以接受的言论以及歧视性做法。然而，似乎大多数旧的价值观都被锁定在互联网上，在那里，机器学习算法的大部分训练数据都是从互联网上获得的。例如，研究表明，“男人”与老板、总裁、领导和董事联系在一起，而“女人”与助手、助理、员工和助手联系在一起。谷歌搜索Leroy和Keisha这样的黑人名字会产生与犯罪相关的广告，而Brad和Katie这样的白人名字会产生带有联系方式的网站。搜索专业头发会得到白人女性的照片，而搜索不专业的头发会得到打扮整齐的黑人女性的照片。然后，在发生频率造成的数据中存在潜在的偏差——例如，在谷歌图片上搜索伟大物理学家的照片，得到的大多是男性的照片。大数据中僵化的关于贫困、性别和种族的历史价值观阻碍了社会对更大公平和正义的推动。没有理由相信目标数据的偏差会有任何不同或更容易发现

缺乏透明度和解释

在上面描述的谷歌鞋分类示例中，通过过滤放大的数据可能包含平底鞋、小跟鞋、高跟鞋、鞋带、无鞋带、条带、光泽材料等。当算法完成学习后，很难或可能不可能确定选择了图纸的哪些特征来触发鞋子/非鞋子决定。缺乏透明度是因为学习的最终结果是用于生成决策的大量数字矩阵。到目前为止，还没有人找到一种通用的方法来探索矩阵，找出它赋予决策的数据特征。这意味着无法解释为什么做出了特定决定。想象一下，这会给目标决策带来什么样的危险，因为我们无法分辨哪些特征负责将人或物体归类为合法目标。这是偏见存在的黑暗角落

武装冲突中偏见的后果

所有这些不公正现象都发生在民用领域，那里有足够的时间来测试、审视和构建这些系统。它强调了我们多年来一直在讨论的武器自动化的问责和责任问题

当涉及武装冲突时，数据管理将更加困难。如果民间社会存在偏见，试想一下，在冲突地区，当我们对所涉及的文化了解甚少或根本不了解的情况下，被赋予生死决定权的算法中会产生什么样的偏见。鉴于我们在努力开发公平公正的人工智能系统方面已经面临巨大挑战，在平民密集的冲突地区伸张正义的机会微乎其微

自动人脸识别甚至存在偏差

自动武器系统的支持者可能仍然会认为，自动人脸识别可以为城市战争中的自动杀伤决策提供客观、公正的基础。他们甚至可能暗示，这是追踪和杀死“高价值目标”的理想工具。毕竟，它已经在实验室中被证明是准确的，它已经由亚马逊、谷歌和微软等主要科技公司开发和销售。但也存在问题

首先，非政府组织Big Brother Watch利用信息自由请求获取英国警察使用NEC的NeoFace Watch在人群中寻找犯罪面孔的准确数据。他们随后的报告结果令人震惊。平均假人脸识别率为95%。是的，这意味着只有5%的被识别者是那个人。最糟糕的结果是，大都会警察局在大型非加勒比海诺丁山狂欢节上使用该技术，一个周末的正确识别率仅为2%。试想一下，如果这是AWS选择目标的话，人道主义后果会如何。其次，美国公民自由联盟（ACLU）对亚马逊的Rekognition系统进行了一系列测试，该系统在美国警察部门中越来越流行。他们的一项测试将美国国会议员的照片与25000张公开的罪犯“面部照片”数据库相匹配。该系统错误地将28名国会议员与被捕人员进行了匹配。这导致美国议员对警方使用这项技术提出质疑，亚马逊和微软（他们自己开发面部识别软件）都呼吁制定新的法规。从偏见的角度来看，值得注意的是，美国公民自由联盟（ACLU）的测试显示，国会中非裔美国人和拉丁裔美国人的比例不成比例被误认为罪犯

据报道，人脸识别的最佳结果是白人男性，这是许多学术研究的结论。性别、年龄和肤色对自动人脸识别确实很重要。麻省理工学院的乔伊·布奥兰维尼（Joy Buolamwini）讲述了她使用电脑头像的研究如何受到阻碍的故事，因为人脸识别软件甚至找不到她的脸，更不用说识别出是失踪的脸问题了。她必须戴上白色口罩才能被看见

Buolamwini随后对用于性别分类的三个主要商业人脸识别系统进行了全面的研究：IBM Watson视觉识别、Microsoft face Detect和face++。面部照片是来自三个北欧国家和三个非洲国家的议员。代表了一系列肤色。结果是，所有系统在男性和女性身上的表现都更好，皮肤越浅，结果越准确。所有人在深色女性脸上表现最差，错误率从20.8%到34.7%

总之

从上述证据可以清楚地看出，对于肤色较深的人和女性来说，AI决策算法和人脸识别算法都可能存在惊人的偏差或不准确。随着时间的推移，这些情况可能会有所改善，但尽管付出了巨大努力并发布了几项声明，但仍没有灵丹妙药的解决方案。许多开发软件的公司，特别是警察软件的公司坚称，他们的内部测试做得很好。其他组织，如非政府组织，仍然需要收集数据并证明偏见，但系统仍在不断推出。这是一个耳熟能详的老故事，一旦对一项技术进行了巨大的投资，尽管它失败了，但它仍在继续使用。让我们不要在瞄准技术上犯同样的错误

在平民世界，歧视制度已经够糟糕了，几乎每周都会出现对女性和肤色较深的人不公正的新案例。但尽管那些怀疑歧视的人很难采取法律行动，但至少有可能推翻这种不公正的决定。在处理暴力技术时，情况就不同了。一旦有人被不公平的偏颇决策过程错误分类并以致命武力作为目标，就不会推翻该决定

技术，尤其是人工智能，总是以超越成就的雄心壮志走在前面。在我长期从事该课题的工作和审查许多研究提案的经验中，雄心壮志往往会赢得胜利。事实上，雄心壮志往往是迈向成功的积极一步。在许多情况下，即使成就远未达到雄心壮志，它仍然是值得的。然而，当涉及到暴力技术时，我们需要更加谨慎地对待那些可能导致我们走上错误道路的投机技术的野心勃勃的说法

就像一匹退休的警马一样，现在是时候摘下眼罩，看看科技的现状及其与暴力技术的问题关系了。我们不能简单地忽视平民世界中出现的各种歧视性算法偏见，并假装我们可以在武器开发和使用时让它们消失。这些只是自从社会上越来越多地使用人工智能以来暴露出来的一些问题。我们不知道未来会出现什么问题，也不知道目标技术可能会出现什么进一步的偏差

这个故事的寓意很简单。我们必须采取预防措施，在武器技术尤其是AWS中使用人工智能。我们不能依赖于未来修复的可能性，而是要根据当前技术的能力做出决定。现在是民族国家加紧努力，开始谈判一项新的具有法律约束力的国际文书的时候了，以确保维护人类对武器系统的有意义的控制

***

相关博文

国际人道主义法的人性Eric Talbot Jensen
自主武器：有意义的人类控制的操作Merel Ekelhof
战争中的人类判断和致命决策Paul Scharre自主武器和人类控制Tim McFarland自动武器系统：人类控制的伦理基础？尼尔·戴维森
自主武器系统：对人类尊严的威胁？阿里亚德娜·波普
道德作为法律的来源：马滕斯条款和自主武器罗伯·斯派罗
自主武器迷你系列：武装冲突中的距离、武器技术和人性亚历克斯·莱夫林豪斯迷你系列简介：自主武器系统和道德style=文本对齐：居中；>***

红十字委员会关于AWS的主要文件
- VOX新闻/IRC关于自主武器的视频剪辑，2018年5月
- 红十字委员会对联合国特定常规武器公约政府专家组（GGE）的声明，2018年4月，2018年4月
- 关于国际人道主义法下的自主武器系统的论文，2017年11月
- 红十字委员会专家会议报告，2016年
- 红十字委员会专家报告，2014年
免责声明：关于人道主义法和；政策博客不得被解释为以任何方式定位红十字国际委员会，博客的内容也不等于正式的政策或理论，除非特别指出
>

简介