2017年11月，The Future of Life Institute发布了其Slaugterbot视频，视频中有成群结队的微型自动无人机在国会山杀害美国参议员和大学校园的学生。该视频是该研究所禁止自主武器系统运动的一部分，夸张、恐怖和模拟无人机超出了当今的能力。寻求禁止所有自主武器的《生命的未来》代表了关于这些新技术的争论的一个终点。它将自主武器视为全新的不同武器

事实上，只有公众对自主武器系统的普遍认识才是新的。布鲁金斯报告指出，几十年来，自主武器已经存在并在各种环境中使用。诚然，由于技术上的限制，自治权的适用并不广泛，而是局限于具体的业务问题。然而，任务特定或有限的人工智能的最新进展意味着可以使非常广泛的武器实现自主。因此，在解决道德、法律、操作、战略和政治问题的同时，我们探索如何利用国防自主性是非常重要的。也许引起最多讨论的问题是，是否应该允许自主武器杀死人类

人权观察指出，授予武器系统的自主程度可能会有很大差异。它的分类值得详细引用：

无人驾驶的机器人武器通常根据人类参与其行动的程度分为三类：

人在回路武器：仅凭人类指令即可选择目标并交付武力的机器人

人在回路武器：机器人可以在人类操作员的监督下选择目标并交付力量，操作员可以控制机器人的动作；和

人类脱圈武器：能够选择目标并传递力量的机器人，无需任何人类输入或交互

第一个是循环中的人，它提供了对杀人决定的最大程度的人的监督。人类实际上处于决策循环中，因此在人类采取积极行动授权之前，武器系统无法完成杀伤循环。在人在回路系统中，机器分析信息并将其呈现给操作员。然后，操作员必须花时间评估所提供的信息，并采取行动授权参与。虽然这在理论上提供了最严格的控制，但事实是，在时间关键的交战中，人类的速度太慢，无法跟上。即使操作员简单地接受机器的建议，他或她也不可避免地会减慢响应速度。在多枚入境导弹的环境中，有些导弹的速度快于音速，人类无法快速处理信息以防御部队。30年前，海军在为宙斯盾战斗系统及其近距离武器系统开发自主模式以防御舰队导弹攻击时，就认识到了这一事实。但技术进步将很快扩大需要以机器速度进行的交战数量

在第二种方法中，人在回路中，人监控自主系统，只有当他或她确定系统出错时才进行干预。其优点在于，它允许系统以保护装置所需的机器速度运行，同时仍试图提供人的监督。显而易见的问题是，在高速交战中，人类很难分析系统的所有动作。因此，人类干预的尝试往往为时已晚

第三种，人类脱离循环，坦率地说是一个糟糕的定义。在人工智能获得设计、制造、编程和定位武器的能力之前，人类将提供输入并与自主系统交互。至少，人类将设定初始条件，定义武器激活后的动作。即使是像地雷这样简单的东西也需要人力投入。人类设计的系统在特定条件下引爆。其他人选择了它的种植地点，以杀死目标。因此，与人权观察组织的定义相反，仅仅因为武器上或环中没有人，并不意味着它不需要人的输入

第三类不是“人类脱离循环”，而是真正的“人类启动循环”。“没有任何人类输入或交互作用”，自主系统不会传递力量。事实上，自主武器需要人类在使用前以编程到系统中的算法的形式设置接合参数。而且在人类激活它们或“启动循环”之前，它们不会起作用。因此，即使是完全“自主”的系统也包含大量的人类输入，这只是在使用武器之前完成的。这是目前实际用于智能水雷、爱国者导弹系统、自动特殊或自主模式的宙斯盾战斗系统、先进鱼雷、重型无人机和近距离武器系统的系统。事实上，几十年来，许多国家都拥有和使用了以“人开始循环”为理念的系统。

不幸的是，今天的大部分讨论都集中在前两个系统中，即人在循环和人在循环。我们已经知道，这两种方法都不适用于时间关键型业务。如果我们将讨论局限于这两个系统，我们必须要么接受一个人反应太慢而无法保护自己的部队的风险，要么接受该系统会领先于人类并攻击其不应该攻击的目标的风险。从书籍、研究论文到文章，关于这两种系统的文献都很丰富，但没有彻底研究人类将如何应对以机器速度运行的日益增长的需求

人类开始循环时，并不是试图利用前两种方法的根本缺陷来管理这一新现实，而是接受了在现代时间关键的战斗中人类根本无法跟上的现实。当然，人类启动循环只是这些操作所必需的。对于决策速度不是关键因素的行动，如今天的无人机打击，唯一可接受的系统仍然是人在回路中。在这种情况下，操作员有几分钟到几小时的时间来决定是否开火。这是人类做出决定的充分时间。因此，在人的速度决策仍然有效的情况下，人在环将继续被使用

也就是说，由于人类在时间关键型活动中太慢，无法有效地使用人在环或人在环，因此接受现实并将我们的研究、辩论和实验重点放在如何在人类根本无法跟上的时间关键型活动中深思熟虑地实现人在环

完全自主的武器不仅不可避免；自1979年美国部署Captor反潜水雷（一种锚定在底部的鱼雷，当机载传感器确认指定目标在射程内时发射）以来，它们就一直在美国的库存中。今天，美国拥有大量快速打击形式的智能水雷，这些水雷是装备有目标探测装置的MK 80系列炸弹。它还操作鱼雷，当操作员切断电线时，鱼雷会自动发射。现代空空导弹发射后可以锁定。至少有六个国家运营着以色列研发的Harpy无人机，这是一种完全自主的无人机，在发射前经过编程，可以飞到特定区域，然后使用电磁传感器搜索特定目标。后续系统Harop增加了视觉和红外传感器，以及人在回路控制选项。考虑到Skydio R1商用无人机（2499美元）使用视觉和红外摄像头自动识别和跟踪人类，同时避开树木、建筑物和其他人等潜在障碍物，谨慎地假设Harop可以编程使用其视觉和红外传感器识别目标

当然，受害者引发的地雷（你踩到或碰到的那种地雷），无论是陆地还是海洋，已经存在了100多年。这些地雷基本上是自主的。它们是无人看管的武器，在没有另一个人做出决定的情况下杀死人类。但即使是这些原始武器，也真的是人类启动的循环武器。一个人类设计的雷管需要一定的重量才能引爆地雷。人类根据对它们杀死或致残合适人类的可能性的估计来选择放置它们的位置。但一旦它们到位，它们就完全自主了。因此，就像当前的自主武器一样，人类设定初始条件，然后允许武器自动运行。传统自动地雷和智能自主地雷（如快速打击）之间的关键区别在于，智能地雷试图区分战斗人员和非战斗人员。愚蠢的地雷不在乎。因此，智能地雷与老式地雷相比，对非战斗人员造成伤害的可能性自然较小

幸运的是，今天的讨论开始转向“人类启动循环”如何将这两种风险最小化。美国已经在扩大其智能海雷库存。它们符合国防部现行政策，即“自主和半自主武器系统应设计为：允许指挥官和作战人员对使用武力进行适当程度的人类判断。”

通过采用人启动循环，我们既可以处理人的局限性的操作问题，也可以确保自主武器符合法律和道德标准。自主系统成功的关键因素是为系统设置参数。这些措施包括将反坦克地雷的触发重量设置得足够高，只有重型车辆才能引爆的简单步骤，以及智能海雷的复杂编程，以根据特定类型目标特有的声学、磁性和压力特征来选择目标。今天的特定任务或有限的人工智能已经能够做出更精细的区分，并交叉检查更多的变量

简介