阅读我们的Oppenheimer系列

作者：Ariel Conn|2019年5月9日

<源尺寸=（最大宽度：1024px）100vw，1024px srcset=https://thebulletin.org/wp-content/uploads/2019/05/laws-1024x576.jpg.webp1024w，https://thebulletin.org/wp-content/uploads/2019/05/laws-300x169.jpg.webp300w，https://thebulletin.org/wp-content/uploads/2019/05/laws-768x432.jpg.webp768w，https://thebulletin.org/wp-content/uploads/2019/05/laws-410x230.jpg.webp410w，https://thebulletin.org/wp-content/uploads/2019/05/laws-600x338.jpg.webp600w，https://thebulletin.org/wp-content/uploads/2019/05/laws.jpg.webp1920w type=images/webp> Matt

马特·菲尔德插图。部分基于glouster2gaza和Julian Hertzog通过维基媒体共享的照片。CY乘以SA 2.0/CC乘以4.0。风格化

致命的自主武器

当我向大多数不熟悉这种武器的人提到这句话时，他们的即时反应几乎总是排斥。这通常是一个问题：像无人机一样

没有。无人机由一个人远程控制，它们不能独自对人类目标发动攻击——控制者必须做出决定。致命自主武器，顾名思义，就是可以自主杀人的武器。这些武器可以选择并攻击目标，而无需有人监督决策过程——如果看起来出了问题，随时准备中止攻击

这些也是技术上不存在的武器。然而

毫不奇怪，联合国内的许多国家都担心，如果研制出致命的自主武器，战争可能会变成什么样子。同样令人惊讶的是，世界各地的大多数人甚至没有意识到各国正在进行这场辩论，更不用说联合国这些讨论的结果可能会影响人类的未来了

联合国发生了什么？2013年，为联合国提供咨询的法学教授克里斯托夫·海恩斯向联合国人权理事会提交了一份关于这些武器带来的挑战和威胁的报告，围绕致命自主武器的讨论愈演愈烈。《联合国特定常规武器公约》（简称《特定常规武器条约》）开始讨论这些武器是什么以及是否应该开发这些武器。《特定常规武器公约》也是监管或禁止被认为对战争过于不人道的常规武器的组织，包括杀伤人员地雷和致盲激光

Heyns将致命自主武器系统定义为“一旦启动，就可以在没有进一步人类干预的情况下选择和攻击目标的武器系统。”六年来，《特定常规武器公约》的代表每年举行两次会议，进行为期一周的辩论，以确定该定义中到底包含了什么

争论仍在继续

这场定义致命自主武器的关键性总体辩论还包括其他重要主题：这些武器能否在有意义的人类控制下部署？它们能被合乎道德和人道地使用吗？它们是否需要被禁止，或者根据国际人道主义法（也称为战争法），它们是否已经受到管制或非法

从本质上讲，《特定常规武器公约》正在考虑机器或算法决定杀人是否合乎道德和合法。如果这样的武器是合乎道德和合法的，它需要多少有意义的人类控制和监督

这些问题很难回答，在这方面，《特定常规武器公约》的辩论已经持续到第六年，这是可以理解的。但有两个问题尤为突出。首先，拥有最先进人工智能和自主武器系统的国家似乎是最受定义困扰的国家。这些国家，比如美国，坚持认为这些问题没有得到足够令人满意的回答，无法继续谈判一项正式条约。美国、俄罗斯、英国、以色列、韩国和澳大利亚最强烈反对禁止致命的自主武器。事实上，俄罗斯成功地主张减少各国甚至可以在《特定常规武器公约》正式框架内讨论该问题的时间，2019年成为各国举行7天而不是10天会议的第一年。此外，《特定常规武器公约》是以协商一致为基础的。除非所有参与国都参与进来，否则该组织无法走上任何道路。因此，这少数几个国家有可能无限期地阻止有关禁令的谈判

第二个问题，也许更重要的问题是技术进步的惊人速度。设计能够选择和打击目标的武器所需的技术已经存在，尽管能力水平各不相同。雷达传感器、激光雷达传感器、热探测、面部识别、GPS/导航功能等——这些都存在。其中许多已经用于当今的武器系统，而其中一些需要改进才能在战斗中可靠部署——这在技术上可能可行，也可能不可行。但是，无论是否做好战斗准备，致命的自主武器的早期阶段已经到来

人工智能专家和技术领袖担心，一旦这个精灵完全从瓶子里出来，就无法阻止它。他们坚持认为，必须先发制人地禁止这些武器。如果《特定常规武器公约》的讨论继续以目前的速度进行，各国将错过这一先发制人的禁令窗口

致命自主武器的当前状态。今天，许多武器系统都具有自主能力。例如，使用各种技术和传感器，精确制导弹药可以自主地停留在目标上，但目标应该是什么，首先由个人决定。像IAI Harpy 2这样的机动弹药更具自主性，因为它们可以侦察区域，寻找无人目标，如军用雷达信号，并可以攻击这些目标。还有像SGR-A1这样的岗哨枪，部署在朝鲜和韩国之间的非军事区。这些武器使用热传感器探测人。虽然SGR-A1具有无监督模式，可以识别目标并向其开火，但它们目前仅在监督模式下使用，如果检测到有人离得太近，就会通知人类指挥官。从那里，监督武器的人决定该做什么。

需要明确的是，这些武器都没有被用来自主瞄准人。当这些武器需要致命武力时，人类监督是强制性的，没有人主张将这些系统纳入致命自主武器禁令。然而，少数国家正在越来越多地推动武器系统的发展，这些系统可能很快就会跨越自动化和人工智能从可接受到不可接受的界限。

欧洲和平组织PAX最近发布了一份报告，重点介绍了拥有最先进人工智能和自主武器计划的七个国家的活动——美国、中国、俄罗斯，英国、以色列、韩国和法国。该报告强调了这些国家是如何加强其武器的自主功能的

例如，在美国，阻碍自主武器（包括致命武器和非致命武器）使用的问题之一是指挥官不信任这些系统。这是可以理解的，因为自主系统本质上更不可预测。为了解决这一问题，美国国防高级研究计划局（DARPA）正在开展可解释人工智能项目，PAX报告称该项目旨在“让人类用户‘理解、适当信任并有效管理新一代人工智能合作伙伴’。”，报告中列出的所有国家都在开发越来越自主的无人驾驶航空系统，基本上是无人驾驶飞机，俄罗斯正在投资水下自主系统。自主式坦克在各个国家也越来越受欢迎

也许最令人不安的军事技术发展之一是群体技术。成群的机器人正是它们听起来的样子：大量的机器人协同工作以实现某个目标。军事人员对这项技术特别感兴趣，因为它可以为战场增加“质量”，而不需要更多的人。正如虚构的屠杀机器人电影中所预期的那样，成群的坦克、飞机、潜艇甚至小型无人机可以攻击多个目标，而且由于数量众多，对手很难阻止它们

DARPA，例如，已经启动了OFFSET计划（OFFensive Swarm Enabled Tactices），以解决部队在城市中安全机动时遇到的困难。DARPA网站解释道：

“无人飞行器（UAV）和无人地面飞行器（UGV）长期以来被证明在如此困难的城市环境中是有益的，执行空中侦察和建筑清理等任务。但是，如果部队能够同时控制数十个甚至数百个机器人部队，它们对地面部队的价值可能会大大提高。实现这一目标的主要瓶颈不是机器人车辆本身，它们的能力和价格越来越高。相反，美国军队目前缺乏管理和与此类蜂群互动的技术，也缺乏快速开发和共享适用于各种不断变化的城市情况的蜂群战术的手段。”

DARPA将该项目描述为向军事人员提供援助，而不是发动攻击，但从侦察和识别目标到与目标交战的步骤并不重要。更重要的是，采取这一步骤更多的是决定在杀人决策中应该有多少人为控制，而不是克服技术限制

目前，所有参加《特定常规武器公约》的国家都公开表示，他们打算始终确保人类对其致命武器系统进行有意义的控制和监督。然而，魔鬼在定义中

什么是有意义的人类控制2016年，人工智能专家Heather Roff和Richard Moyes向《特定常规武器公约》提交了一篇论文，他们在论文中概述了有意义的人类控制。除其他外，他们发现，为了让人类对武器系统保持有意义的控制，该系统必须“可预测、可靠和透明”。它必须“为用户提供关于所寻求的结果、技术的操作和功能以及使用背景的准确信息”。它还必须允许“及时的人类行动和及时干预的潜力”。它必须提供“一定标准的问责制”。

2019年3月，《特定常规武器公约》会议上，绝大多数发表声明的国家一致认为，人类必须始终对致命的自主武器系统进行一定程度的控制，所有武器的行动方式都必须使人类始终对夺取生命的决定负责。然而，目前尚不清楚人类是否能够对移动过快、分析过多数据而无法跟上的武器群保持有意义的人类控制

最近波音737 Max喷气式飞机的悲惨坠毁事件提供了一个例子，说明为什么很难确保有意义的人为控制。根据《纽约时报》对事故的报道，飞行员可能只有不到40秒的时间来修复系统的错误。人类根本反应不够快

然后是人类在紧急情况下信任机器的偏见。在佐治亚理工大学的一项研究中，学生们独自在一个房间里参加考试时，火警响起。学生们可以选择从旁边有明确标记的出口离开，也可以跟随引导他们离开出口的机器人。几乎每个学生都跟着机器人，远离安全出口。事实上，即使学生们从以前的经历中知道这个机器人是不可信任的，他们仍然会跟着它离开出口

这一切都引出了一个问题：如果人类监督着军队想要开发的大量武器，他们真的能有意义的控制吗

即使只有一个武器系统，如果一个人无法跟上机器的速度或武器正在处理的数据量，如果这个人天生倾向于相信机器的建议，那么当机器选择杀死谁时，这个人能有足够的有意义的人类控制来承担责任吗

致命自主武器的道德和合法性在《特定常规武器公约》讨论致命自主武器的法律和道德后果时，经常会抛出一些短语。其中包括：国际人道主义法、国际人权法、马滕斯条款、第36条、《日内瓦公约》、问责制差距、人的尊严、可核查性、区别、相称性和预防措施

这些单词和短语，以及这里没有列出的许多其他单词和短语都与一个问题有关：致命的自主武器能否以符合现行国际法并在战争中维护人类尊严的方式使用

也许倡导围绕致命自主武器制定新法律的一个原因正是因为在这个问题的答案上存在太多分歧

目前反对禁止这些武器系统的少数几个州表示，这些武器将比人更准确，从而减少平民伤亡。正因为如此，各国争论这些武器实际上更合乎道德。这些国家还表示，由于国际法的制定方式，在无法首先证明这些武器是可靠和可预测的情况下部署这些类型的武器已经是非法的

那些支持禁止或宣布禁止致命自主武器的国家和非营利组织认为，机器决定夺走人类生命的行为本身就是不道德和不人道的。他们认为，目前的法律还不清楚，如果自动驾驶机器杀死了错误的人，谁将承担责任，而目前的法律是围绕着更可预测的武器系统设计的。完全有可能的是，一个致命的自主武器系统——它基于机器学习，并随着经验的增长而发展——可以预见地通过所有测试，但当它遇到军方没有预料到的敌人自主系统时，却在战斗中灾难性地失败了。在这种情况下的其他问题中，各国担心现行国际法不足以处理在这种情况中谁将被追究责任

CCW的限制。韩国和以色列这两个使用自主武器最多的国家，在世界上最具争议的两个边界部署了这些武器：朝鲜和韩国之间的非军事区，以及以色列和巴勒斯坦控制的加沙地带之间。一些专家担心，这些将不是未来唯一由自主武器巡逻的边境

随着全球气温的升高，预计世界各地将变得越来越不适合居住，从而在全球范围内引发移民潮。难民将别无选择，只能在气候更稳定、更适合居住的国家寻求庇护，但鉴于最近边境冲突，许多人担心气候更稳定的国家可能不欢迎难民。对于那些想要保卫边境的国家来说，廉价、无处不在的自主武器系统可能比大量地面部队更容易部署

不难想象，在未来，成千上万、数万甚至数百万的自主武器被部署在世界各地的边境，瞄准试图越境的无辜平民

这突出了《特定常规武器公约》的两个局限性：《特定常规公约》是为谈判武装冲突期间的武器使用而设立的，《特定常规弹药公约》不包括大规模杀伤性武器。由于上述情况下的武器将由边境巡逻队在武装冲突之外用于对付非战斗人员，因此即使禁令获得通过，这种情况也不在禁令范围内

幸运的是，如果《特定常规武器公约》确实同意不允许算法做出伤害或杀害人类的决定，或不适当地影响决定，这将成为一个强有力的规范。仅凭这样一项协议的耻辱感，公司就更难制造这些武器，各国也更难将其用于任何人和任何目的

对国家安全的影响围绕致命自主武器的问题和争论有时看起来是无限的，但有最后一点需要考虑：尽管许多致力于研制这些武器的国家相信这些武器会使其军队更加强大，但事实上，致命自主武器可能会对国家安全构成非常严重的威胁

今年早些时候，英国国防与安全加速器向蓝熊系统研究公司授予了300多万美元，“用于开发无人机集群技术”。蓝熊系统公司董事总经理表示，“部署低成本自主系统集群的能力为战场作战提供了一种新的模式。”

然而，大群人将成为大规模杀伤性武器，从某种意义上说，它们将使极少数人能够杀死极少数人

这与Matthew Meselson博士的话形成了鲜明对比，他帮助领导了让美国禁止生物武器的努力。20世纪60年代初，在参观德特里克堡时，梅塞尔森被告知，美国正在制造炭疽病，因为生物武器比核武器便宜得多。Meselson后来解释道：

“我不认为我花了很长时间就意识到‘嘿，我们不希望毁灭性的大规模杀伤性武器真的很便宜，也不想为我们省钱。我们希望它们太贵了，除了我们，没有人能买得起，或者根本没有人买得起。’想要一种超便宜的大规模毁灭性武器是荒谬的。”。“

正是这一论点促成了生物武器禁令，因为世界一致认为，除其他外，廉价大规模杀伤性武器的威胁不值得冒险服用

今天，有一个非常现实的威胁，如果《特定常规武器公约》不迅速采取行动，如果这些武器不尽快被禁止，致命的自主武器可能会成为超便宜、易于获得的大规模杀伤性武器。这是人类可以摆脱的命运

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：《特定常规武器公约》、《特定常规武装公约》、DARPA、IAI Harpy 2、LAWS、SGR-A1、屠宰场、致命自主武器系统、群集无人机
主题：Artificial Intelligence，颠覆性技术未来生活研究所传播和外联主任。她的作品涵盖了一系列领域，包括致命。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介