阅读我们的Oppenheimer系列

作者Larry Lewis|2020年1月10日

<源尺寸=（最大宽度：1024px）100vw，1024px srcset=https://thebulletin.org/wp-content/uploads/2020/01/DARPA-Sea-Hunter-autonomous-ship-1024x540.jpg.webp1024w，https://thebulletin.org/wp-content/uploads/2020/01/DARPA-Sea-Hunter-autonomous-ship-300x158.jpg.webp300w，https://thebulletin.org/wp-content/uploads/2020/01/DARPA-Sea-Hunter-autonomous-ship-768x405.jpg.webp768w，https://thebulletin.org/wp-content/uploads/2020/01/DARPA-Sea-Hunter-autonomous-ship-1536x810.jpg.webp1536w，https://thebulletin.org/wp-content/uploads/2020/01/DARPA-Sea-Hunter-autonomous-ship-2048x1080.jpg.webp2048w，https://thebulletin.org/wp-content/uploads/2020/01/DARPA-Sea-Hunter-autonomous-ship-600x316.jpg.webp600w，https://thebulletin.org/wp-content/uploads/2020/01/DARPA-Sea-Hunter-autonomous-ship.jpg.webp1920w type=images/webp> 海上猎人，一艘自主船。高度=540尺寸=（最大宽度：1024px）100vw，1024px

海上猎人，一艘自主船。高度=540尺寸=（最大宽度：1024px）100vw，1024px

世界各地的军队正在将更大的自主能力发展为武器系统。美国国防高级研究计划局建造了“海洋猎人”号，这是一艘自主船的原型。资料来源：DARPA

美国、俄罗斯和中国都在发出信号，表明人工智能是一项变革性技术，将成为其国家安全战略的核心。他们的军队已经宣布了迅速推进人工智能应用的计划。这促使一些人团结起来，支持国际上禁止人工智能驱动的自主武器。我明白了。从表面上看，谁会不同意推翻所谓的杀人机器人的想法呢

首先是我

自主武器禁令的问题在于，其支持者往往依赖于关于战争性质和此类技术状态的不准确论点。六年来，各国的活动家和代表一直在联合国就致命的自主武器问题举行会议。但在呼吁社会禁止此类武器之前，我们有必要了解我们真正在谈论什么，真正的风险是什么，以及可能失去的潜在利益。简而言之，我们需要讨论杀手机器人，这样我们才能做出明智的决定

不幸的是，对许多人来说，自主武器的概念是由好莱坞对机器人的描述组成的，比如终结者或机器人警察——也就是说，不受控制或不受控制的机器决定制造灾难并杀害无辜者。但这张照片并不能代表人工智能技术的现状。虽然人工智能在银行、医学和许多其他领域的应用已被证明是强大的，但在解决非常具体的问题（如识别特定疾病的迹象）方面，这些应用范围很窄。目前的人工智能并不像人类那样做出决策。许多人工智能专家，如斯坦福大学《人工智能百年研究》的作者，认为所谓的通用人工智能——科幻小说中设想的更类似于人类智能并能够自己做出决策的人工智能——不会很快发展起来

联合国禁令的支持者在某些方面发出了错误的警报

我应该知道。作为奥巴马政府国务院的平民保护高级顾问，我是联合国审议致命自主武器系统的美国代表团成员

作为该代表团的一员，我在《特定常规武器公约》范围内为关于自主武器问题的国际辩论做出了贡献。《特定常规武装公约》是一个联合国论坛，根据国际人道主义法，即战争法的要求，审议对武器设计和使用的限制。自2014年以来，国家代表每年都会开会讨论未来自治系统的可能性使用致命武力。撇开杀人机器人的话题不谈，几个国家已经提到他们有兴趣在武器中使用人工智能来更好地保护平民。所谓的智能武器——比如地面发射的传感器引信弹药——可以更准确、更有效地瞄准敌方战斗机，如果它没有探测到预定目标，就可以自行失效，从而降低传统空中轰炸等更密集攻击所固有的风险

十多年来，我一直致力于帮助减少冲突中的平民伤亡，考虑到大多数在战争中丧生的人都是平民，这是一项迫切需要的努力。我非常详细地研究了武器系统自动化实际上可以保护平民的可能性。通过分析1000多起真实世界中平民被杀的事件，我发现人类会犯错误（这并不奇怪），而且人工智能有一些特定的方法可以用来帮助避免这些错误。一般有两种错误：要么是军事人员错过了平民在场的迹象，要么是平民被误认为战斗人员，并在这种信念中受到攻击。基于现实世界事件的这些伤害模式，人工智能可以用来帮助避免这些错误

尽管争论通常集中在自主武器上，但事实上，人工智能在军事中有三种可能的应用：自动化处理的优化（例如，改进检测中的信噪比）、决策辅助（例如，帮助人类理解复杂或庞大的数据集）、，以及自主性（例如当满足某些条件时采取行动的系统）。虽然那些呼吁禁止杀手机器人的人关注的是自主性，但所有这些应用程序都存在风险，应该加以理解和讨论

风险分为两大类：与人工智能的内在特征相关的风险（例如，公平性和偏见、不可预测性和缺乏可解释性、网络安全漏洞和易被篡改），以及与人工智能特定军事应用相关的风险，例如，在致命的自主系统中使用人工智能。解决这些风险——尤其是涉及人工智能内在特征的风险——需要军方、工业界和学术界成员之间的合作，以确定和解决关注的领域

就像谷歌员工敦促公司放弃为五角大楼开发计算机视觉项目一样，许多人担心人工智能的军事应用是否公平或有偏见。例如，种族因素是否会导致某些群体更有可能成为致命武力的目标？拘留决定会受到不公平偏见的影响吗？对于军事人员本身来说，晋升决定是否会包含并延续关于性别或种族的历史偏见？这种担忧可以在人工智能已经被用于安全相关决策的另一个领域看到：执法

虽然美国市政当局和其他政府实体不应该歧视人群，特别是基于种族的歧视，但司法部对密苏里州弗格森警察局的调查等分析表明，偏见仍然存在。美国的执法并不总是公平的

许多调查引发了人们的担忧，即警方或法院使用的人工智能驱动程序——例如，确定被告是否应该被假释的风险评估程序——存在偏见或不公平。许多人担心，刑事司法系统中已经存在的普遍偏见将偏见引入了人工智能驱动程序执行自动化任务的数据中。使用这些数据的人工智能方法可能会受到这种偏见的影响

学术研究人员一直在研究人工智能方法如何成为更好地理解和解决现有偏见的工具。例如，人工智能系统可以预处理输入数据，以识别流程和决策中存在的偏见。这可能包括识别有问题的做法（如拦截和搜身），以及似乎做出可能因偏见而受损的决定或逮捕的官员和法官，减少这些过程或人员的数据在风险评估中的作用。还有一些方法可以调整人工智能工具的使用，以帮助确保公平：例如，以与被认为不受偏见影响的特定群体的处理方式一致的方式处理来自不同群体的案件。通过这种方式，人工智能——通常被认为与偏见无望地绑定在一起——实际上可以成为识别和纠正现有偏见的工具

同样，五角大楼可以分析哪些人工智能应用在军队中本质上是不安全或不可靠的背景然后，国防部可以利用学术界和工业界的专业知识，更好地描述并减轻这些类型的风险。这种对话可以让社会更好地确定什么是可能的，什么应用程序应该被视为不安全的军事用途

美国国防部2018年的人工智能战略承诺，它将在军事道德和人工智能安全方面处于国际领先地位，包括开发能够降低平民伤亡风险的特定人工智能应用程序。目前还没有明显的证据表明国防部开始采取行动来履行这一承诺，但其他国家已经开始了发展这种能力的实际工作。例如，澳大利亚正计划探索这项技术，以更好地识别冲突地区的医疗设施，鉴于近年来发生的许多此类袭击，这是一项急需的能力

五角大楼已经采取了一些措施来优先考虑人工智能的安全。例如，美国国防高级研究计划局（DARPA）有一个旨在开发可解释人工智能的项目。人工智能系统可以做出决策或产生结果，即使这些决策或结果背后的方式和原因对人类用户来说完全不透明。解决这一“黑匣子”问题的步骤是受欢迎的，但它们没有达到可能的水平：一种识别和系统解决人工智能安全风险的全面方法

当谈到致命的自主武器时，有人说谈判的时间已经结束，是时候实施禁令了。毕竟，有人认为，联合国自2014年以来一直在开会讨论致命的自主武器系统，取得了什么成就？然而，事实上已经取得了进展：国际社会对关键问题有了更好的了解，包括遵守国际法的要求以及在管理人机关系时背景的重要性。联合国政府专家小组已经同意了一些原则和结论，以帮助制定集体理解和方法。但还需要对细节进行更实质性的讨论，包括自主武器系统的具体风险和好处

还有时间。2012年，五角大楼制定了一项关于自主武器的政策（第3000.09号指令），要求在开始开发之前进行高层审查。尽管如此，八年后，还没有一次高级审查被要求，这表明部署甚至发展这种能力并不迫在眉睫

人工智能可能会使武器系统和战争的未来对平民的风险比今天相对较小。现在是讨论这种可能性的时候了

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：人工智能，《联合国特定常规武器公约》，附带损害，杀人机器人，致命自主武器系统

AI限制杀伤区域的论点，因此上级是对古代军队应该与城市交战还是与军队交战的问题的重申。在第一次世界大战中，至少在西线，人们倾向于在城市之外建立杀戮区，不包括德国最初入侵比利时时占领的城市。杀戮区是如此致命，以至于战争实际上摧毁了一代西欧人，产生了直接导致二战的文化政治危机。尽管人工智能杀伤区是移动的，但它们或多或少创造了与第一次世界大战战壕战相同的血雨腥风。他们的论点…阅读更多»

啊，但作为一名计算机技术人员，我知道在这个阶段人工智能很容易受到黑客攻击，更不用说如果你让它从错误中学习，或者在它前进的过程中，它很可能会学到一些东西，让它偏离任务！问题是在这个阶段，我们只是知道得不够

博士。拉里·刘易斯率先提出了在冲突中保护平民的第一种基于数据的方法，结合。。。阅读更多

版权所有©2023原子科学家公报。所有权利保留。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介