2017年10月5日，联合国裁军研究所（裁研所）在纽约联合国总部主办了一场会外活动“自主武器系统：学习算法和偏见”。活动欢迎一个由四名专家组成的小组参加关于机器学习中存在数据偏差及其对日常技术和军事化武器系统的潜在影响的高级别专题讨论高度=246大小=（最大宽度：412px）100vw，412px-src=https://www.un.org/disarmament/wp-content/uploads/2017/10/autonomous-weapon-systems-300x179.jpgsrc集=https://front.un-arm.org/wp-content/uploads/2017/10/autonomous-weapon-systems-300x179.jpg300w，https://front.un-arm.org/wp-content/uploads/2017/10/autonomous-weapon-systems.jpg600w

由裁研所业务主任兼所长副科斯汀·维格纳德主持，小组讨论开始时，维格纳德评论了人们对算法偏见的日益认识，或者人们通常认为算法中使用的数据不客观或中立的现实。事实上，维格纳德解释说，最近的研究表明，机器学习不仅反映了机器从中获取信息的数据集中固有的偏差，而且还放大了这些偏差。维格纳德还讨论了算法固有偏差的方式以及偏差在自主武器系统中的表现

哈佛大学毕业的数学家兼作家凯西·奥尼尔（Cathy O'Neil）对算法偏差这一主题进行了概述。奥尼尔认为，算法最重要的要素是算法定义的成功结果或其处理数据的输出。在确定算法如何达到这一成功输出的过程中，程序员对算法应该如何处理数据点进行价值判断。奥尼尔观察到，“数据是不完美、有缺陷的人类的反映”，成功是由人类在机器甚至开始计算提供的数据之前定义的。这就提出了关于程序员可接受的偏见水平的伦理和道德问题

David Danks，宾夕法尼亚州匹兹堡卡内基梅隆大学哲学与心理学系主任，他的研究主要集中于哲学、认知科学和机器学习的交叉点，通过将它们应用于自动驾驶汽车等当前技术，进一步推动了奥尼尔的论点。丹克斯特别谈到自主武器系统时，强调了对这些系统进行编码的复杂性，指出与战争和人权有关的国际法和公约毫无疑问是含糊不清的，导致在算法上定义成功的适当方式缺乏明确性

最后，印度常驻代表团大使阿曼迪普·吉尔（Amandep Gill）具有工程背景，他告诫不要对决定良好成功标准的因素妄下结论。吉尔大使指出，当在战场上处理自主武器系统的复杂性时，人类用户必须对自主武器的编程方式以及武器以特定方式做出反应和反应的原因有深刻的了解。如果没有这样的理解，人类用户就无法保护机器的输出免受不明原因的算法偏差或其他故障的影响。印度大使表示，这种加强的关系只能源于对自主武器系统的进一步测试和对其用户的更多培训

Emily Addison的文字和照片

简介