人类最早的武器可以追溯到 40 万年前——简单的木矛在德国 Schöningen 发现。到 48,000 年前，人类开始制造弓箭，然后毕业于青铜和铁剑。火药时代带来了燧发枪、大炮和加特林机枪。在现代，人类制造了装甲坦克、F-16 战隼和能够蒸发城市的核武器。

今天，人类正在进入一个新的武器时代，一个自主武器和机器人时代。

此类技术的发展正在迅速推进，并提出了关于如何管理其使用和扩散的难题。 2020 年初，无人机可能用于首次自主攻击人类，这是一个里程碑，表明能够杀人的机器人迟早会被广泛部署。现有的军备控制制度可能会为如何管理自主武器提供一个模式，国际社会必须迅速解决一个关键问题：我们应该更害怕杀手机器人横冲直撞，还是更害怕放弃它们的不安全感？

自治的现状

第一次使用自主武器杀人被认为发生在 2020 年 3 月的利比亚，但实际发生的事情仍然不明。根据一份联合国报告，据报道，一架土耳其制造的 Kargu-2 无人机自主“猎杀”了利比亚国民军。如果制造商的声明是正确的，Kargu-2 可以使用机器学习对对象进行分类，显然允许它“自动触发并忘记。” 土耳其否认使用 Kargu-2 以这种方式，虽然似乎承认 Kargu-2 可以自主使用。不管 Kargu-2 在利比亚的事件中是否是自主使用的，从表面上看，Kargu-2 可以自主的说法是有道理的。

联合国关于卡尔古二号的报告引起轩然大波。耸人听闻的头条新闻比较了 Kargu-2 到“没有接到命令就可以猎杀人类目标”的“终结者式人工智能无人机”。这些故事让人联想到失控、有知觉的机器人在他们认为合适的时候杀戮的画面。说白了，那是无稽之谈。尽管人工智能——从技术上讲是一种超级智能的狭义人工智能——可以击败世界上最好的人类国际象棋和围棋玩家，这远非一般化，像终结者这样的人类智能。事实上，便利贴足以让尖端机器视觉系统相信苹果是 iPod。

但简单的自主并不难，自主武器几个世纪以来一直是战争的一个特征。自治是关于机器在没有人为控制的情况下运行。该武器只需要一个传感器，一种处理传感器信息并激活有害有效载荷的方法。在美国内战期间，同盟军部署了“

现代自主武器在军事行动中发挥着真实但相对有限的作用。渥太华会议ntion 禁止杀伤人员地雷，但仍在使用反车辆和水雷。游荡弹药介于无人机和导弹之间，盘旋在战场上空，打击符合各种指定的目标。美国密集阵近程武器系统，以色列铁穹，以及各种主动防御系统以不同程度的自主性抵御来袭导弹和其他近距离风险。沿着韩国和朝鲜之间的非军事区，韩国部署了 SGR A-1 炮塔，据报道，该炮塔具有可选的完全自主模式。这仅仅是个开始。

尽管炒作在一些人看来，人工智能作为下一个伟大的军事技术已经赢得了世界军事大国的青睐。美国国家人工智能安全委员会最近得出结论： “正确设计、测试和使用人工智能和自主武器系统将带来巨大的军事甚至人道主义利益。” 中国人民解放军相信人工智能可以从根本上改变战争的性质。俄罗斯总统弗拉基米尔普京的声称——世界人工智能领导者“将成为世界的统治者”——已成为陈词滥调。

这种兴奋已经转化为新的研究、原型和越来越先进的自主武器。国防高级研究计划局——美国军方的高风险、高回报研发中心，帮助互联网和 GPS 的诞生——运行了去年 F-16 战隼和人工智能之间的虚拟混战。人工智能在五轮中的每一轮中都击败了人类。中国也在做同样的事情，结果也差不多。美国，中国，和俄罗斯都在开发忠诚的僚机无人机：无人驾驶的半自主或自主飞机支持有人驾驶飞机。飞行员提供战略决策，而人工智能管理细节。

日益增长的自主权与无人驾驶平台的兴起密切相关。许多州正在测试、建造和部署范围广泛的无人驾驶飞机飞船，潜艇，以及坦克。无人平台需要远程命令才能完成任务。当军队无法提供所需的全部人员并且飞行员因过度工作而筋疲力尽时，这就很困难了。此外，敌人会试图干扰、操纵或以其他方式干扰飞行员向无人机发出的信号。无人平台在无人控制的情况下运行的次数越多，对这些信号和发送信号的人员的需求就越少。

各国正在将无人平台整合到无人机群中，5 月，以色列成为世界上的首先在战斗中部署蜂群。在真正的无人机群中，无人机进行交流和协作，形成一个单一的武器平台秩序。虽然无人机群不一定是自主武器，但没有人工智能的帮助，没有人可以控制 10,000 架无人机。以色列开创性地使用了无人机群，似乎由数量不详的小型无人机组成，这些无人机配备了传感器和武器的混合物。以色列的蜂群使用仅仅是个开始。印度去年和今年早些时候测试了 75 架无人机群，南非的派拉蒙集团展示了一个由 41 公斤重的远程无人机组成的集群系统，其巡航速度超过每小时 100 英里 . 俄罗斯，与此同时，正在设计用于反潜战的蜂群。许多其他州正在开发其他群体应用程序。

假设这些趋势继续下去，自主武器将越来越多地进入战场。对于某些人来说，这很可怕。

恐惧的问题

在他 1937 年的圣诞致辞中，坎特伯雷大主教提出了一个有先见之明的问题：“谁能不恐惧地想到另一场广泛的战争意味着什么，就像它会与所有新的大规模杀伤性武器？” 军备控制辩论植根于恐惧，控制武器扩散的条约试图解决这些问题。军备控制条约的倡导者担心可怕的战争武器广泛传播的后果。反对者担心如果他们的对手制造这种武器会发生什么，但他们做不到。从餐桌上的枪支辩论到联合国的核武器辩论，这些对决的恐惧激发了一切。自主武器的扩散引发了新的担忧：自主武器可能会将平民误认为士兵并杀死他，自主武器将为敌国提供战争中的决定性优势。

在自主武器中，系统通过处理环境刺激来决定何时交战。例如，地雷使用简单的压力传感器——传感器的灵敏度决定了坦克的重量或儿童的手是否足以引发爆炸。相反，反雷达游荡弹药会追踪雷达信号。出错的风险——进而延伸到军备控制问题——取决于环境刺激的类型、刺激的处理方式以及决策的类型。

以更复杂的方式使用机器学习过程刺激的新兴自主武器。机器学习系统依靠大量数据得出关于系统观察到的结论。但数据依赖也让它们变得脆弱。颜色差异、树枝或雾天可能会混淆系统正确识别的能力目标。尽管一些州可能会采用强大的验证和测试程序来提高可靠性，但其他可能不会 . 随着自主武器的部署数量越来越多，军备控制倡导者担心出现可怕错误的可能性更高。

随着自主武器扩展到大规模的无人机群，不可控性和大规模伤害的可能性创造了一个新的大规模杀伤性武器。想象一下 1,000 屠宰机器人在城市中飞来飞去，决定杀谁。这并不奇怪：印度想要建造一个由 1,000 架无人机组成的集群，无人驾驶。还有海军研究生院正在模拟多达一百万的无人机群，这些无人机在水下、海洋表面和空中运行。特别邪恶的政府可能会为无人机配备面部识别功能，以暗杀政权反对者或进行种族清洗。各国采取了广泛的政策来减少传统大规模杀伤性武器带来的类似风险，包括出口管制、军备控制条约以及威慑和胁迫威胁。如果无人机群是大规模杀伤性武器，那么它们理应采取类似的风险降低政策。

与此同时，军方看到了自主武器开发的巨大价值。自主武器提供速度。普通人需要 250 毫秒才能对他们看到的事物做出反应。自主武器的反应速度要快得多——Rheinmetall Defense 的主动防御系统可以对来袭的火箭榴弹做出反应不到一毫秒。根据将军 George Murray，美国陆军未来司令部司令，速度可能是防御大规模无人机群所必需的。这些武器可能是生存与失败之间的区别。在军备控制条约中放弃它们是愚蠢的。

军方也对出错的风险提出异议。人类会感到疲倦、沮丧和过度自信。这会造成错误。自主武器没有这样的情绪，军事人工智能应用的倡导者 explore-ai-weapons-idUSKBN29V2M0">争辩降低错误率使得追求该技术成为道义上的当务之急。另外，人工智能可以改进瞄准。这减少了附带伤害。例如，据报道，以色列使用了人工情报辅助机枪暗杀一名伊朗核科学家而没有击中科学家的妻子几英寸远。那么，在他们看来，军控倡导者真正害怕的是什么？

接下来会发生什么

有关此问题的工作正在进行中。外交官进行了辩论自 2014 年以来，联合国常规武器公约致命自主武器政府专家组下的自主武器问题。这些会议在制定自主武器国际条约方面收效甚微，但它们有助于澄清国家立场，引起人们对该主题的更多关注，并更好地表达了对自主武器的担忧。军备控制倡导者呼吁禁令和新条约，但这些条约的范围各不相同。像阻止杀手机器人运动这样的团体认为必须禁止所有自主武器。其他人，如红十字国际委员会，有更微妙的观点，专注于“不可预测”的武器。人权观察估计有 30 个国家已批准全面禁止。军事大国抵制新的军备控制制度，争论现有国际法足以涵盖自主武器。研究人员还提出了军备控制条约的替代方案，例如规范以及双边和多边建立信任措施。

国际社会现在必须解决军备控制和军事倡导者之间的恐惧紧张局势。这意味着就哪种类型的自主武器提供最大的军事价值以及哪种对平民和非战斗人员构成的风险最大展开认真辩论。对平民具有高风险和低军事价值的武器应该成为围绕降低风险进行对话的基础。

现有的军备控制条约提供了解决这些复杂问题的模型。《关于杀伤人员地雷的渥太华公约》狭隘地关注关于杀伤人员地雷，不包括需要高压引爆的反车辆地雷。考虑到区分农民和士兵的挑战，自主武器条约可能侧重于使用机器学习的杀伤人员武器。一项更精确的条约可能允许军事大国将他们害怕放弃的武器与军备控制倡导者担心扩散的武器区分开来。这可能会使获得这些权力的许可变得更容易。

自主武器也可以根据风险大小的特征进行分级，类似于化学武器公约的时间表。该公约根据化学剂作为化学武器的历史用途和民用目的将其分为三个附表。每个附表中的化学品都有不同的限制。自主武器也可以根据武器构成的风险进行分级，特别是如果武器出错对平民造成的风险和出错的可能性。在海上用于防御来袭导弹的防御炮塔可能风险最低，而针对使用机器学习的人的攻击性武器风险更高。自主化学、生物、放射性和核武器的风险最高，永远不应使用。

需要就阻止高风险武器扩散和降低更广泛全球风险的最佳政策方法展开辩论。现有的全球讨论集中在国际条约是否应该禁止这种武器上，但这只是一个开始。即使自主武器被全部、部分或根本禁止，各国政府也必须考虑如何确保它们不会无意中出口到非禁令缔约国。限制接触恐怖组织是一个额外的、不同的问题，因为自主武器非常简单，可以作为课堂项目制作。而如果建立了新的国际条约，一个显而易见的问题是：它如何才能长牙？如果一个国家使用被禁止的自主武器，他们是否应该受到报复性的外交或经济制裁？如果有的话，联合国安理会应该在什么时候批准采取军事行动？

杀手机器人时代已经来临。接下来的事情取决于世界。

Zachary Kallenborn 是美国国家恐怖主义和恐怖主义研究联盟非常规武器和技术部的附属研究机构， Schar 政策与政府学院政策研究员，美国陆军训练与条令司令部“疯狂科学家”。

简介