阅读我们的Oppenheimer系列

作者：Zachary Kallenborn|2021年6月4日

<源尺寸=（最大宽度：1024px）100vw，1024px srcset=https://thebulletin.org/wp-content/uploads/2021/06/kargu-drone-test-1024x568.png.webp1024w，https://thebulletin.org/wp-content/uploads/2021/06/kargu-drone-test-300x166.png.webp300w，https://thebulletin.org/wp-content/uploads/2021/06/kargu-drone-test-768x426.png.webp768w，https://thebulletin.org/wp-content/uploads/2021/06/kargu-drone-test-1536x852.png.webp1536w，https://thebulletin.org/wp-content/uploads/2021/06/kargu-drone-test-600x333.png.webp600w，https://thebulletin.org/wp-content/uploads/2021/06/kargu-drone-test.png.webp1920w type=images/webp> Kargu无人机测试。高度=568尺寸=（最大宽度：1024px）100vw，1024px

Kargu无人机测试。高度=568尺寸=（最大宽度：1024px）100vw，1024px

土耳其国防公司STM关于其Kargu无人机的视频截图。据该公司称，该无人机既有自主功能，也有手动功能。联合国最近的一份报告称，Kargu型号是一种致命的自主武器系统，称其用于攻击利比亚撤退的士兵

联合国最近一份关于利比亚的报告暗示——但没有明确指出——土耳其Kargu-2无人机被用来利用无人机的人工智能能力自主攻击人类。我在公告上写了这件事，这个故事在网上疯传《纽约时报》、NPR、Axios和Gizmodo以及数十家至少15种语言的媒体都报道了这一消息。反应的激烈程度让一些专家感到惊讶，他们指出，自主操作的武器已经存在多年了。也许利比亚事件的意义是具有社会象征意义的——这一事件突然引起了公众对酝酿已久的问题的关注——不是人造卫星时刻，而是Kargu-2时刻

但大多数注意力都忽略了一个非常明显的问题：我们怎么知道Kargu-2是自主使用的？联合国报告中的模糊性允许多种解释，国防公司夸大了其产品的能力，以及如何最好地定义所谓的致命自主武器是一个激烈争论的问题。这个问题的影响远远不止于利比亚是否使用了自主武器。像“阻止杀手机器人运动”这样的组织寻求全面禁止自主武器，但除非有某种方法来验证自主武器的使用，否则禁令是无法执行的

事实是，核查将极其困难。根据Kargu-2制造商STM的说法，无人机既有自动模式，也有手动模式。一般来说，启用自主模式的攻击从外部看与手动模式的攻击完全相同，只是决策速度可能发生了难以察觉的变化。将其与核查化学武器的使用进行比较。化学武器制剂可以通过专门的传感器或通过识别专门的化学武器弹药来检测。它们会在受害者身上引起可识别的症状，并且可以在环境样本中识别。这些方法都不适用于自主武器，尤其是当武器同时具有自主和远程操作（或手动）模式时

验证自主武器使用的最佳方法可能是检查武器本身。如果调查人员取回了一件武器，他们可以通过数字取证技术对其进行研究，并在数据日志中寻找证据，如飞行路径数据、照片或视频处理记录、收到的命令，或其他表明该武器允许自主控制射击决策以及使用过这些武器的指标。虽然这样的法医调查可以肯定地验证使用情况，但它不能证明相反的情况，即没有发生自主攻击。如果缴获的武器是手动使用的，但其他武器在战斗中是自主使用的，该怎么办？此外，调查人员可能无法获得这种武器：像韩国SGR-A1这样的自动炮塔可能由使用它的军方控制；使用过的武器可能无法追回；武器上的数据可能被破坏、伪造或故意擦除；或者武器可能在袭击

下一个最好的、高度情境化的替代方案是由使用该武器的军方确认该武器是自主使用的。声称使用自主武器有助于证明军队是创新的、强大的，使用了尖端的军事技术。但随着有关自主武器的国际规范和条约的发展和加强，承认自主武器的使用将带来越来越大的外交、社会和政治成本。告密者可能会站出来，但这很难可靠。或者，从截获的通信到人类情报资产的情报来源可能会显示，有人下达了自主使用武器的命令。但几乎可以肯定的是，这些信息不能公开，因为它可能会烧毁情报来源。（联合国关于Kargu-2在利比亚使用的报告引用了一个“机密”来源。也许这是一个情报来源，一个叛逃者，或者完全是其他什么，但不可能知道并因此评估来源的可信度。）

另一个更弱的选择是最终排除人类决策的可能性。远程操作的武器需要与操作员进行通信。这些信号可能会被干扰以阻碍远程操作。如果操作员与武器之间的通信链路被完全且不可逆转地切断（或看起来根本不存在），武器继续运行，调查人员可能会认定武器是自主运行的。但结论是假设干扰机瞄准了正确的通信频率，并且运行正常。它还假设在开火命令和武器行动之间没有延迟，并且被干扰的武器没有采取反措施，如增加信号强度来克服干扰。同样，如果调查人员认为没有操作员在武器的控制范围内，他们可能会将其视为自主系统的证据。但这种分析也充满了不确定性。如果操作员在被发现之前就在一辆伪装的车里或离开了搜索区域，该怎么办

好消息是，验证最危险的自主武器的使用实际上可能相当容易。各国越来越多地发展自主无人机群，这带来了类似于传统大规模杀伤性武器的全球安全风险。例如，美国战略能力办公室在2016年10月从三架F/18超级大黄蜂中发射了103架Perdix无人机，而印度在最近的建军节期间测试了75架无人机群，并表示他们计划建造一个由1000架或更多无人机组成的无人机群。没有人能够对如此庞大的蜂群进行有意义的直接控制。验证自主武器的使用情况就像计算部署的无人机数量一样简单。（找到一个人类控制变得不可信的确切阈值肯定是一个挑战，但基本的直觉表明必须存在一个阈值。）

研究人员还提出了新的技术验证方法。系统的设计可能需要并验证操作员的存在，或者包括关于自主使用的不可更改的数据日志。或者，自主武器可能包含密码技术，以证明该武器在未经人类授权的情况下无法发起攻击。或者，可以使诸如武器部署系统的关键子系统透明，以允许第三方检查，而不提供对更敏感子系统的访问。但所有这些方法都需要国家的默许和信任，在实践中可能不会成功。如果一个国家选择不采取这些措施，那么任何验证价值都会消失。（当然，采取此类措施可能表明国家对新兴自主武器规范的承诺，这确实有其自身的价值。战争本质上是令人困惑和不透明的。简单的事实是，大大小小的许多州都在开发自主武器。这项技术并不一定复杂。设计一种具有面部识别功能的自主武器非常简单，可以成为计算机科学课程的一个项目。验证自主武器使用的挑战意味着世界可能在没有人真正知道的情况下首次使用了“杀手机器人”。自主战争的曙光可能很简单，只要完成一项家庭作业就可以了

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你的在任何层面上支持我们的工作都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：致命自主武器
主题：Analysis

复制链接链接复制的
>电子邮件
推特

如果机器人具有自主能力，无论它在什么模式下运行，都应该被视为一个杀手机器人。在任何模式下，它的使用都应该被解释为足以完成进攻

你如何从逻辑上比较一架可能无意中杀死军事目标周围少数平民的无人驾驶飞机与一枚500磅的集束炸弹，后者故意杀死数百名平民？哪一个更糟

Zachary Kallenborn是国家研究联合会非常规武器和技术部的研究附属机构。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介