自2014年以来，日内瓦《特定常规武器公约》一直在就禁止致命自动武器进行谈判。与此同时，AWS和远程操作无人机的问题影响在学术界（Gregory 2011，Bhuta等人，2016，Suchman和Weber 2016，Weber 2016）以及非政府和调查记者组织（如制止杀人机器人运动、Code Pink、调查新闻局、，国际机器人武器控制委员会。记录并讨论了远程操作无人机大规模侵犯人权的行为，同时概述了部署无人驾驶飞机可能造成的严重人道主义后果

然而，人权和军备控制倡导者的努力迄今为止在公共和政治舞台上收效甚微。尽管有人警告说这些系统会对平民造成毁灭性后果，但也忽视了这些系统会引发新的全球军备竞赛的问题，无人机被军方、国防工业和政界人士视为“精确而干净”，是拯救本国士兵生命的补救措施。在这种背景下，AWS多年来一直被视为一个问题，这个问题只会在遥远的未来成为现实，或者它们将始终通过人类或“负责任的人工智能”来控制（Scharre 2018）

随着游荡弹药（所谓的神风敢死队无人机）越来越多地被媒体讨论为军事优势的决定性游戏规则改变者，许多国家对AWS的兴趣正在上升，例如在纳戈尔诺-卡拉巴赫战争（德国之声2021）中，今天尤其是在俄乌战争（汉布林2023）中。同样，随着AWS从上方变成永久性威胁，这些武器对平民的巨大后果几乎没有争议：“一些下一代军用无人机依靠人工智能在一个地区上空盘旋，挑选敌方部队并摧毁它们。未来几年，无人机技术将得到改进，无人机的成本将下降。正如他们所做的那样，可怕的事实是，在未来的冲突中，军队和平民将找到越来越少的地方躲避人类和机器的注视”（Kingsbury 2022）。最近开始的以色列-加沙战争就是这一事态发展的一个可怕例子（Davies等人，2023）

在这种背景下，几位法律、社会科学和人文学者以及记者和活动家声称，需要一项“新的人权，以保护在没有来自上层的身体或心理威胁的情况下生活的自由”（Grief等人，2018）。这项拟议的新人权是在过去几年伦敦、悉尼、多伦多和柏林空域法庭听证会上提出的

人工智能的竞争想象

根据一些人工智能专家的说法，关于AWS潜力的现实辩论的一个巨大障碍是社会技术反应。好莱坞大片如《终结者》系列、《前机器》或《我，机器人》塑造了人工智能的流行文化想象。这些电影经常戏剧性地将自主人工智能描绘成一个有意识的、邪恶的超级智能，试图抹杀人类。虽然这项技术的力量被大大夸大了，但同时也被这种夸大所抵消：流行的话语围绕着人工智能是否能获得意识的问题，而应用人工智能的具体影响，如失去有意义的人类控制（Sharkey 2016）和人机关系的重新配置（Suchman和Weber 2016），大部分都被忽视了。”我们目睹了高级国防官员以他们的“专家”不相信“天网事件”有可能发生为由，否认了这一风险。当然，天网是《终结者》电影中虚构的反人类的指挥和控制系统。“天网事件”发生的风险与人类将自主武器用作大规模杀伤性武器的风险或任何其他风险完全无关[…]。如果即使是负责自主武器项目的高级国防官员也不能理解核心问题，那么我们就不能指望公众及其民选代表做出适当的决定”（Russell等人，2018）

“不要杀死半个城市”

军备控制倡导者——从和平研究人员到计算机科学家——旨在培养更现实的AWS想象，并说明其致命潜力。生命的未来研究所和知名人工智能专家斯图尔特·拉塞尔与一个专业电影团队一起开发了YouTube短视频，以向更广泛的观众展示其后果。第一个名为“屠宰场”的视频在2017年发布后迅速走红。它在几天内就获得了超过200万的点击量，尽管它不是SF的预告片，而是一个科学传播视频。Slaughterbots视频以一个典型的首席执行官演示开始，在演示中，主角展示了从飞机上释放的数百或数千只紧急无人机群的能力，据首席执行官说，这使得“外科手术般精确的空袭……2500万美元的订单现在买了这个……足以杀死半个城市，坏的一半”，因为它“可以让你把好人和坏人区分开来”（Slaughterbots 2017）。例如，根据无人机的社交媒体档案，无人机配备了人脸识别软件，可以跟踪并杀死选定的目标。首席执行官声称，有了这种新的武器系统，“核武器已经过时了”（同上）。视频的其余部分发展了两个主要场景，在这两个场景中，议会的关键成员和数百名参与政治的学生遭到无人机群的致命袭击。斯图尔特·拉塞尔（Stuart Russell）警告自主武器的问题和影响：“我们试图展示的是自主武器自动转化为大规模杀伤性武器的特性，因为你可以发射任意数量的武器”（同上）。这段视频令人印象深刻地描绘了大规模杀伤自动武器的潜力——同样是在民用环境中。拉塞尔明确表示，电影中展示的AWS的危险能力并不是几十年后的事（正如一些国家在日内瓦举行的《特定常规武器公约》会谈上经常声称的那样），而是“我们已经拥有的技术整合和军事化的结果”（同上。)--这种发展需要停止：“允许机器选择杀死人类将对我们的安全和自由造成毁灭性的影响。我们有机会阻止你刚刚看到的未来，但行动的窗口正在迅速关闭”（同上）。与此同时，第一批无人驾驶飞机似乎在运行。2020年，一份联合国报告称，第一架无人驾驶飞机已在利比亚使用（联合国，安理会关于2020年第二次利比亚内战的报告，17/548），但这一说法从未得到证实。2023年，乌克兰无人机公司Saker自豪地宣布使用自动驾驶无人机（Hambling 2023）。

>

自治

理解AWS的关键问题之一是自治的复杂和多重含义。而在人文社会科学和日常生活中，自主性与一个自由和自我意识的主体联系在一起，这个主体具有自决和自觉的行为。尽管这一康德概念受到了从卡尔·马克思到朱迪斯·巴特勒等著名理论家的挑战，但它仍然在伦理学、法律、经济学和日常生活等领域占据主导地位。人工智能和机器人中使用的自主概念有着截然不同的含义：它遵循了一个控制论的有目的行为概念，这是一种实用的生理自动化机制，就像鱼雷的目标寻找机制一样。今天人工智能系统中的控制机制比传统的伺服机制复杂得多，但AWS既不遵循自己的规则，也不能在更广泛的（自我）反思意义上做出决策。它们是由计算机科学家编程到软件中的规范、值和类别决定的——尽管软件层的复杂性可能会导致不可预测的影响，但这些都不是故意的（Suchman/Weber 2016）。“屠宰机器人”无人机可以发现并跟踪目标。例如，他们使用社交媒体档案来寻找和跟踪被杀者。但这种行为是预先设定好的。自治系统中自治和预编程行为的复杂纠缠使得人们很难理解它们带来的挑战

武器控制想象：大规模杀伤性武器

在屠宰场视频中，很明显，自主无人机群不是自我决定和自我意识的智能“有机体”“屠宰场”被编程为根据预先给定的标准通过数据分析选择目标：例如，通过社交媒体档案识别、搜索和锁定参与反腐败非政府组织的左翼学生。机器人使用面部识别来寻找目标，并用炸药将其杀死。屠龙可能表现出协调、灵活的行为来执行任务（避开障碍物、跟随人类等），但这些群体既没有意识，也没有能力制定自己的议程和发展他们自己的目标。军备控制想象试图展示好莱坞对自我意识、智能、自主的人工智能的想象与更现实的屠宰场对人工智能作为智能软件程序集合的想象之间的决定性区别

想象中的屠宰场视频强调，今天的人工智能使通常由人类执行的复杂而明智的任务自动化成为可能。这些软件程序本身并不智能。然而，自适应、协调的无人机以及无人机群可以很容易地转化为大规模杀伤性武器

在我看来，军备控制倡导者的“屠杀机器人”视频是朝着开发一种新的人工智能想象迈出的重要一步，这种想象不是建立在邪恶、全能的作恶者的旧比喻之上，而是使基于人工智能的系统的军备控制和致命自主武器系统作为大规模杀伤性武器的维度等突出问题变得显而易见。如今，自动驾驶无人机已经投入使用，尽管许多活动人士正在努力禁止这种系统。这项禁令是迫切需要的，因为它有助于结束人们对被空域法庭要求从上方跟踪和瞄准的恐惧

注释

1。
这篇文章部分依赖于早期的一篇论文：“人工智能和社会技术想象：在天网上，自愈的沼泽和屠宰场。”在：Kathrin Maurer，Andreas Immanuel Graae（编辑）：无人机想象和视觉的力量。曼彻斯特：曼彻斯特大学出版社2021

2。

自主武器被定义为“一旦激活，就可以在没有进一步人类互动的情况下用暴力追踪、识别和攻击目标”的系统（Sharkey 2016，3）

3。关于想象的概念，请参阅Jasanoff和Kim（20092015）、Mager和Katzenbach（2021），McNeil等人（2017）
4。
屠宰场，由S.Sugg执导，M.Wood编剧，YouTube（2017），最后一次访问时间为2022年10月10日，网址为www.YouTube.com。

简介