尽管“杀手机器人”的陈词滥调至少为关于变革性军事技术的辩论提供了一个切入点，但它将自主人工智能武器视为明天的挑战，而不是今天的挑战。但是，仔细观察一种常见武器包的历史，即军队用来防御导弹和其他空中威胁的防空系统，就会发现高度自动化的武器实际上是世界已经面临的风险

作为现实世界中的实际例子，防空系统可能会引发一场关于自主武器的辩论，而这场辩论往往是抽象和推测的。国家元首和国防政策制定者明确表示，他们打算将更大的自主功能融入武器（以及军事行动的许多其他方面）。尽管许多政策制定者表示，他们希望确保人类继续控制致命武力，但防空系统的例子表明，他们面临着巨大的障碍

像美国陆军爱国者导弹系统这样的武器，旨在击落威胁受保护空域的导弹或飞机，包括支持瞄准的自主功能。这些系统现在有许多不同的形状和尺寸，并且通常可以在手动或各种自动模式下操作。在自动模式下，防空系统可以自行探测目标并向其开火，将操作员降级为监督系统工作的角色，并在必要时中止攻击。根据战略与国际研究中心的研究，有13个国家使用的爱国者防空系统“几乎是自主的，只有最终的发射决定需要人与人之间的互动”

防空系统已经被军队使用了几十年。20世纪70年代，研究人员开始开发首批所谓的“近距离武器系统”，为军舰提供抵御反舰导弹和其他高速威胁的最后一道防线。这些系统的现代化版本——包括1978年投入生产的Phalanx——仍在美国和盟国军舰上使用。据估计，至少有89个国家拥有防空系统；这些武器塑造了人类操作员的角色

我们对防空系统中人机交互特征的研究表明，随着时间的推移，它们的使用逐渐降低了人类在特定目标决策中的监督质量。更多的认知功能被“委托”给了机器，人类操作员在理解复杂的计算机系统如何做出目标决策方面面临着难以置信的困难

在思考有意义的人的控制概念时，对特定的目标确定保持适当的人的管制尤为重要，这在关于自主武器系统的国际监管讨论中发挥着重要作用。这是因为，正如先前的研究所表明的那样，士兵或军队根据国际人道主义法承担的义务（例如遵守《日内瓦公约》所载的区别、相称和预防原则）的主要影响适用于关于使用武力的具体战场决定，而不是武器系统的开发和测试

一项对防空系统的研究揭示了自动化和自主功能已经带来的人机交互的三个现实挑战。随着军方将更多的人工智能纳入未来的高科技武器，这些问题可能会变得更糟

操作防空系统的人已经很难理解他们控制的武器上的自动化和自主功能是如何做出决策的，包括系统如何生成目标轮廓和评估。在某种程度上，这是由于系统内部工作的复杂性；毕竟，有多少人了解他们使用的软件背后的算法？但防空系统的高调故障也表明，人类操作员并不总是意识到已知的系统弱点

例如，美国陆军操作的爱国者系统的历史包括20世纪90年代第一次海湾战争期间和训练演习中的几次未遂的所谓“友军火力”交战。但正如致力于防空系统自动化的工程专家约翰·霍利在2017年的一份报告中所说报告称，美国陆军对爱国者系统的成功深信不疑，以至于他们不想听到在自动模式下使用该系统的警告。军方似乎没有解决这些缺陷的根本原因或将其传达给操作员，而是将这些问题定义为可以通过技术解决方案解决的软件问题

防空系统操作员遇到的另一个问题是自动化偏见和过度信任。操作员可能对他们在屏幕上看到的信息的可靠性和准确性过于自信。他们可能不会质疑机器提供给他们的算法目标参数。例如，爱国者系统在2003年伊拉克战争期间参与了两起有充分记录的友军火灾事件和一次未遂事件。2003年，当爱国者系统在科威特上空击落一架皇家空军龙卷风战斗机时，英国国防部的事故报告称，“操作协议基本上是自动的，操作员接受了信任系统软件的培训。”但人类操作员需要一种更平衡的方法；他们需要知道什么时候应该信任这个系统，什么时候应该质疑它的输出

Ingvild Bode博士是南丹麦大学战争研究中心的副教授。她致力于改变美国的武力使用规范。。。阅读更多

Tom Watts博士是赫特福德郡大学政治与国际关系讲师。他的研究重点是美国的外交和安全。。。阅读更多

随着军队将更多自动化和自主功能集成到防空系统的关键功能中，操作员的角色发生了变化。他们已经从积极控制武器系统转变为监控他们的行动。实际上，这些机器现在正在执行操作防空系统所涉及的大部分认知技能，而不仅仅是运动和感官任务。与委托给机器的任务相比，人类操作员的任务越来越繁重或负荷不足，他们有时会失去情境意识，研究人员Mica Endsley将其定义为“对环境中元素的感知……对其含义的理解，以及对其在不久的将来的地位的预测。”。“特别是在高压力作战情况下，这可能使操作员几乎不可能质疑系统输出，也不可能对某些目标是否合适进行合理的审议

1988年，一架载有290名乘客和机组人员的伊朗航空公司航班被美国海军军舰“文森号”击落，这一悲剧表明，在战斗中，操作员会误解计算机输出并犯下致命错误。文森号是一艘非常先进的舰艇，因为其AEGIS防空系统而被戏称为“机器人巡洋舰”，其设计目的是应对苏联海军可能在公海构成的威胁。它可以一次跟踪和应对数百个空中威胁。但在与几艘伊朗轻型炮艇的小规模冲突中，“文森号”的机组人员误解了电脑屏幕上的数据，并确认一架伊朗航空公司的空中客车是一架下降攻击的F-14战斗机。1992年《新闻周刊》的一项调查发现，Vincennes上的高级人员对操作AEGIS复杂的作战计算机系统感到陌生或不舒服

现代武器的速度和机动性的提高继续减少了操作员决定是否授权使用武力的时间。以乌克兰国际航空公司一架不幸的喷气式飞机最近发生的事情为例。2020年1月，德黑兰机场附近的Tor-M1系统的伊朗操作员在飞机起飞几分钟后击落了这架载有176名乘客和机组人员的民用飞机。伊朗将这起事件归咎于人为错误，称导弹防御系统在重新定位后没有重新校准。他们在没有完整了解当时伊朗领空已知交通情况的情况下，误以为这架飞机是来袭的美国巡航导弹。据伊斯兰革命卫队航空航天部队指挥官阿米尔·阿里·哈吉扎德称，Tor-M1的操作员有10秒的时间来决定是否开火。这里的重点不是为这场悲剧开脱，而是强调在高压力的战斗场景中，这样一个时间框架代表着几乎不可能的关键考虑要求

当这三个挑战放在一起时，人们对人类在现有系统中对特定情况进行有意义的控制的程度提出了质疑，这些系统依赖于目标自主性。虽然这些悲剧引发了偶发性的反思，但并不一定会导致对进一步将自动化和自主功能集成到防空系统中是否合适进行更根本的重新评估

防空系统的故障通常源于人机交互固有的复杂性。但当出现问题时，往往是处于指挥链底部的个体操作员对真正的结构性故障承担责任。关注“人为错误”将注意力从对自动化和自主技术的使用如何构成武力使用的更仔细审查转移开

在我们的评估中，将自动化和自主功能集成到防空系统关键功能中的长达数十年的过程有助于形成一种新的防空系统使用规范。通常情况下，人类在武力使用决策中的作用有所减少。不幸的是，关于自主武器系统的大部分国际辩论尚未承认或仔细审查这一规范，这可能也适用于未来的系统

自2014年以来，各国一直在联合国讨论有关致命自主武器系统的可能法规。许多国家原则上同意，必须保留使用武器系统的人类责任，以确保自主武器系统的使用符合国际人道主义法。但这引发了两个问题。首先，如何界定人类对使用武力的控制；其次，如何衡量这种控制，以确保对武力使用的最终控制权是人，而不是机器

在一个名为Article 36的非营利组织引入有意义的人类控制概念近十年后，人们对究竟是什么让人类控制有意义还没有达成一致这种缺乏共同框架的情况不仅使规范自主武器开发的努力复杂化；从更实际的意义上讲，这也使得很难根据具体情况评估人类对各种武器系统的控制是否符合必要的法律和道德标准

政策制定者应该分析高度自动化防空系统和其他现有武器系统（如主动保护系统、反无人机系统和游荡弹药）在瞄准功能上具有自动化或自主功能的先例，以及这些武器改变人类与技术之间关系的方式。通常情况下，将越来越多的自主功能逐步集成到武器系统中，要么是技术进步的必然轨迹，要么是对对手所作所为的反应。目前这批或多或少具有自主性的武器已经为人类控制致命武力创造了规范，政策制定者需要了解这些规范如何会破坏任何（潜在的）国际监管自主武器系统的努力

《公告》将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：防空系统，致命的自主武器
主题：颠覆性技术

这是一个不可能的难题，没有答案。曾经有一段时间，成为一名国际象棋特级大师需要多年的练习和学习。现在唯一能在国际象棋中打败电脑的就是另一台电脑。随着防御系统变得越来越计算机化、更快和复杂，武器也必须变得越来越电脑化、更快、更复杂，防御系统也必须变得无限计算机化、更快速、更复杂。人类必须脱离这个循环。他们不可能足够快地处理数据并做出决策。正如阿尔伯特的名言：；“我不知道会使用什么武器…

一些有效的观点。但作为海湾战争中的空军飞行员，犹豫不决的人已经死了。现代冲突只会变得更快。我们别无选择，只能提高自动化，否则就死。

答案是停止武装冲突；但这是错误的。”政治学，而不是战争

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介