阅读我们的奥本海默收藏

作者Mark Gubrud|2015年4月12日

随着中国、俄罗斯、美国和其他115个国家在日内瓦召开关于致命自主武器系统的第二次会议，这个短语仍然没有官方定义。它是由去年会议的主席创造的，他向我保证，“致命”一词并不意味着配备泰瑟枪和胡椒喷雾的机器人就可以了，也不意味着只用于攻击非人类目标的武器——如车辆、建筑物、武器和其他战争材料——将偏离主题。相反，有一种感觉是，谈判应该集中在直接施加物理“动能”的武器上，避免被卷入正在进行的关于破坏计算机和网络的网络武器合法性的辩论中

但关于定义的共识并不是主要问题；问题的核心是需要防止人类在人类冲突中失去对重大决策的控制。几十年来，美国军方一直在努力解决这个问题，因为长期以来，制造能够自行猎杀的武器是可能的。一个例子是低成本自主攻击系统，这是一种小型巡航导弹，旨在在战场上方徘徊，寻找看起来像目标的东西，如坦克、导弹发射器或人员。由于担心其可靠性、可控性和合法性，该项目于2005年被取消。但自那以后，风向转向了有利于这种武器的方向，越来越多的资金用于研发机器人武器，这种武器能够在没有人为干预的情况下自行寻找和打击目标

试图将此类研发扼杀在萌芽状态的问题是，每当有人提出预防性军备控制以阻止新武器的开发时，“无法确定”通常是第一个反对意见，其次是“无法核实”，最后是“为时已晚；每个人都已经拥有了武器。”事实上，一些自主武器倡导者已经转而支持后一种观点，指出现有和新兴的武器系统在人类控制之外做出越来越复杂的致命决定。这是否意味着杀人机器人已经出现在现场？如果是这样的话，这难道不应该刺激阻止它们的努力吗

我们正在使用的路线图和我们正在走的道路。奥巴马政府不顾军方长期以来的抵制，于2012年发布了《武器系统自主性指令》。该文件指示国防部开发、获取和使用“自主和半自主武器系统”，并制定了一套预防措施：系统应进行彻底测试；应详细说明使用这些武器的战术、技术和程序；对操作员进行相应培训；等等

这些标准在实质上并不起眼，可以说应该适用于任何武器系统。这项指令仍然是美国的明显政策，并被提交给去年的致命自主武器系统会议，作为其他国家效仿的榜样

该指令确实包含一项不同寻常的要求：三名高级军事官员必须证明其预防标准已经达到——一次是在资助开发之前，另一次是部署任何新的“致命”或“动能”自主武器之前。这一要求被广泛误解为暂停使用自主武器；《连线》的一个标题报道称，这是一个承诺，即“当机器人杀死你时，人类总是会决定。”但五角大楼否认有任何暂停，该指令明确表示，如果官员们认为符合标准，他们可以批准致命的自主武器系统。它甚至允许“在紧急军事行动需要的情况下”放弃认证。

更重要的是，认证要求不适用于指令定义的任何半自治系统，这表明这些系统不太受关注。实际上，可以被归类为半自主的武器——包括那些旨在杀人的武器——为立即开发、获取和使用开了绿灯

要理解这意味着什么，需要仔细审查给出的定义，也需要仔细审查没有给出的定义。

该指令将自主武器系统定义为“一旦激活，就可以选择和攻击目标，而无需操作员的进一步干预。”这实际上很有帮助。它扫除了关于自由意志和康德道德自主与机器由人类编程的争论，澄清了“自主”只是意味着系统可以在没有进一步人类干预的情况下行动——即使人类正在监视，可能会覆盖系统。它还规定了将自主武器系统定义为“选择并攻击目标”的行动类型，而不是四处游荡、进行监视或与其他机器人闲聊

另一方面，该指令将半自主武器系统定义为“旨在只与操作员选择的单个目标或特定目标群体交战”。除了目标选择之外，半自主武器还被允许具备完全自主武器可能具备的所有技术能力，包括寻找、，探测、识别潜在目标并确定其优先级，并用炮火或寻的导弹与选定目标交战。甚至可以在武器开始寻找之前进行选择；换句话说，它可以被派去执行狩猎任务

鉴于此，明确操作员必须做的事情似乎很重要。但该指令只是将“目标选择”定义为“确定单个目标或特定目标组是否参与”。

这让很多事情无法解释。选择由什么组成？指挥官在做决定？一个向武器系统发出命令的操作员？系统告诉人类它检测到了一些目标，并得到了“Go”

如何将个人目标或特定群体指定为选定对象？按姓名类型地方物理描述？忠诚行为紧迫性如果任务中的武器定位了一组目标，但只能攻击其中一个或一些目标，它将如何区分优先级

如果这些问题悬而未决，随着技术的进步，他们的答案会变得更加宽容吗

关于战争迷雾的口水战。事实上，当今全球机器人军备竞赛的技术前沿几乎完全属于美国政策下可归类为半自主的系统领域。其中包括固定式和移动式机器人，它们都是人工操作的，但可以自动化从获取、识别和确定目标优先级到瞄准和发射武器的每一步。它们还包括导弹，发射后可以自主搜索目标，并自行决定是否找到了目标

后者的一个臭名昭著的例子是远程反舰导弹，目前正在生产中，计划于2018年部署。正如洛克希德·马丁公司发布的一段极具娱乐性的视频所描述的那样，这种武器可以绕过意想不到的威胁，搜索敌方舰队，识别它将攻击的一艘船以及附近的其他船只，并计划击败反导弹系统的最终方法——所有这些都不与任何人类决策者接触（但可能与其他导弹接触，这些导弹可以作为一个团队合作）

2013年12月，在迈阿密郊外的Homestead赛马场举行的国防高级研究计划局机器人挑战赛上，我问官员远程反舰导弹是否是一种自主武器系统，这意味着它应该接受高级审查和认证。他们没有回答，但《纽约时报》记者John Markoff后来证实，五角大楼将该导弹归类为“半自主”导弹。要想被视为完全自主导弹，它需要做什么尚不清楚

在与我就这一主题进行了一系列交流后，两位著名的自主武器倡导者Paul Scharre和Michael Horowitz解释说，在他们看来，半自主武器“旨在只与人类决定要与之交战的单个目标或特定目标群交战”会更好地加以区分。“Scharre是2012年指令的主要作者，但这一更新的定义不是官方的，与旧的定义没有什么不同，澄清的也很少

毕竟，如果唯一的标准是人类提名目标，那么即使是《终结者》（来自好莱坞同名电影）也可能符合半自主的条件，Scharre和Horowitz希望“专注于人类正在做出的决定”，而不是“将‘决定’一词应用于武器本身正在做的事情，这可能会引发机器智能和自由意志的模糊问题。“然而，从操作和工程的角度来看——作为一种常识——机器确实会做出决定。机器决策可以遵循完全由人类编程的算法，也可以结合机器学习和在不完全可预测的环境和事件中获得的数据。与人类决策一样，机器决策有时是明确的，但有时也必须在存在不确定性的情况下做出可能存在漏洞、黑客攻击和恶搞

一枚据称可以区分敌方巡洋舰和倒霉邮轮的反舰导弹在接近一艘未知船只时必须做出决定。天线收集雷达波形；透镜将红外光投射到传感器上；信号随方位变化，并且可能因天气和敌人对抗等条件而降级。机载计算机应用信号处理和模式识别算法，并与数据库进行比较，以生成“标准匹配”的分数。致命决策的阈值可以设置得很高，但不能100%确定，因为这将确保导弹永远不会击中任何东西

对于杀人机器人和人类来说，无法逃离柏拉图的洞穴。在这个著名的寓言中，人类就像洞穴里的囚犯，只能看到事物的影子，他们认为这些影子就是事物本身。因此，当枪手（人类或机器人）用武器瞄准图像时，可能是海市蜃楼，也可能有什么东西，这可能是人类或计算机决定应该攻击的敌方物体。哪一个是真正的目标：目标是图像，预定的军事目标，还是实际中枪的人？如果一个武器系统是自主运行的，那么遥远的人类（也许）选择的“个人”或“特定”目标就会成为柏拉图的理想。机器人只能瞄准阴影

解开自治的神秘面纱。可以得出两个结论。一种是，使用自主寻找、识别和打击目标的武器系统不可避免地需要将致命决策委托给机器。至少，这是部分放弃了在人类冲突中保持对暴力力量控制的人类责任

第二个结论是，正如我的同事Heather Roff所写的那样，自主武器与半自主武器是“没有区别的区别”。正如我在2013年所写的，这条线是模糊而破碎的。它不会阻碍技术的进步，因为越来越复杂的系统在仅仅实现人类意图的标题下做出越来越复杂

出于军备控制的目的，最好将自主性简化为一个简单的操作事实——我称之为“无神秘的自主性”。这意味着，当一个系统在没有进一步人为干预的情况下运行时，它应该被视为一个自主系统。如果它碰巧按你的意愿工作，那并不意味着它是半自主的。这只是意味着它（还）没有出现故障

一些武器系统可以实现大部分（但不是全部）瞄准和火力控制功能的自动化，可以称为几乎自主。它们也令人担忧：如果它们只需要一个人说“走”，它们就可以很容易地被修改为不需要这个信号。如果操作员只是批准机器决策并逃避责任，那么人的控制就没有意义。一旦武器系统不再需要进一步的人为干预来完成交战，它就变得具有操作自主性

毫无疑问的自主性意味着许多现有的、在军事上重要的武器必须被承认为实际的、作战上的自主性。例如，许多导弹系统使用的寻的传感器或“导引头”在导弹发射时处于射程之外，因此必须在稍后的飞行中自主获取并瞄准目标。2012年的指令将此类武器指定为“半自主”武器，这使它们免于认证程序，同时含蓄地承认了它们事实上的自主性

Scharre和Horowitz指出，纳粹时代的Wren鱼雷可以探测到船只的螺旋桨噪音，这证明这种系统已经存在了很长时间，认为它们是自主的意味着“整个讨论都是徒劳的。”但大惊小怪的不是过去，而是未来。远程反舰导弹通过其机载计算机识别目标舰艇并计划如何攻击，让我们看到了一个可能的未来。当有人称之为“下一代精确制导武器”时，我们应该为下一代担心，甚至为子孙后代担心

跟随你的指路明灯，知道你不想去哪里人们不能合理地提议禁止所有现有的作战自主武器，但如果主要目标是避免即将到来的军备竞赛，就没有必要这样做。最简单的方法是超越；人们总是可以说“除了古董，不允许使用枪支”。但更好的方法是列举、描述和界定符合自主武器系统作战定义但不被禁止的武器类别。他们可能会受到限制和条例，或者只是被排除在新条约的涵盖范围之外

例如，其他条约已经处理了自行确定地理坐标的地雷和导弹问题，可以将其排除在审议之外。可以允许对来袭弹药进行自动防御，但要受到人类监督、射程限制、无自主回击以及其他旨在阻止其成为自主攻击性武器的限制

几乎自主的武器系统可以遵守确保有意义的人类控制的标准。无论何时必须做出继续交战的决定，都可能要求负责任的人工操作员采取深思熟虑的行动，包括在可能的目标之间进行任何选择，以及将传感器数据解释为代表先前“选择”的目标或有效的新目标的任何决定。决策的加密记录以及决策所依据的数据可以用来验证人类对交战的控制

应该彻底禁止远程反舰导弹和已取消的低成本自主攻击系统等自主猎人杀手武器；如果允许，它们应该受到严格的数量和质量限制，以限制其发展，并将其对军备竞赛和危机稳定的影响降至最低。任何自主系统都不应该被允许寻找通用的目标类别，无论是由身体特征、行为还是交战状态定义的，也不应该根据情况对目标进行优先排序，以免它们演变成机器人士兵、中尉和将军——或者在民事环境中，警察、法官、陪审团和刽子手都在一台机器中

在承认自治是一个可操作的事实的情况下，谈判这样一项条约将涉及讨价还价和妥协。但至少国际社会可以避免几十年来在自治的意义上犹豫不决，并寻找一些逻辑来瓦解这个问题的不可简化的复杂性——而技术可以扫除错误的区别，将世界推向一场无限制的军备竞赛

思考自主武器系统应该以在冲突中始终指导人类的基本原则为指导：人类的控制、责任、尊严、主权，最重要的是共同的人类，因为世界面临着人类生存的威胁，只有通过全球协议才能克服

最后，在哪里画线不如在哪里画重要。如果国际社会能够在这一点上达成一致，那么剩下的细节将成为共同利益和老式的讨价还价的问题

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

主题：分析、专题、，技术和安全

复制链接

电子邮件>脸书

推特

>

领英

和平、战争、，北卡罗来纳大学的国防课程。他读了博士。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介