阅读我们的奥本海默收藏

作者Michael C.Horowitz|2016年6月24日

当智能机器带着武器出现在电影或电视节目中时，通常意味着人类在逃亡。从《终结者》到《太空堡垒卡拉狄加》，科幻小说中有感知能力的机器人的首要任务往往是消灭人类。随着人工智能在现实世界中几乎每周都会出现新的进展，促使白宫宣布一项新的举措来了解其好处和风险，人类是时候冒险了吗？扰流板警告--否

斯蒂芬·霍金和埃隆·马斯克等全球科技领袖对高度先进的人工智能可能给人类社会带来的生存风险表示担忧。与牛津哲学家尼克·博斯特罗姆一样，霍金和马斯克担心高度先进的人工智能可能会以意想不到和不可预测的方式发挥作用。相比之下，未来主义者Ray Kurzweil和那些与奇点运动有关的人将智能机器的发展视为人类的福音。乐观主义者认为，通过利用他们的力量，“全球技术涅盘”可能会出现

这些大胆而冲突的愿景得到了很多关注，这是可以理解的——它们引起了媒体的关注。当然，自动机器越来越多地融入人类社会，特别是融入军队，这引发了重要的伦理、道德和实践问题，应该迫使我们认真思考。但我们离电影中出现的那种破坏世界的机器还有很长的路要走，把对话集中在那个场景上会分散注意力，而且毫无成效。我们需要停止谈论《终结者》电影核心的超级智能计算机系统“天网”，而开始谈论将机器自主性融入武器系统可能影响战争性质的真实方式。

为此，一场看似平淡无奇的对话正在进行。一场由人权观察和其他非政府组织领导的“阻止杀手机器人运动”已经出现，这些组织致力于在致命的自主武器系统进入战场之前禁止它们。2015年，数千名人工智能和机器人专家（加上霍金和马斯克等名人）签署了一封公开信，主张禁止“超出人类控制范围的攻击性自主武器”。5月，白宫提出了自己的倡议，承认“人工智能会带来一些风险，并带来复杂的政策挑战。”。“过去三年，联合国《特定常规武器公约》在日内瓦举行的年度审查会议上讨论了自主武器问题。全世界都在关注

什么是杀人机器人？全球对话中的一个关键症结仍然是，自主武器系统究竟是什么，以及武器超出人类控制意味着什么，都存在根本的不确定性。与许多非政府组织一样，美国国防部将自主武器系统定义为能够在没有人为干预的情况下选择和打击目标的系统。然而，魔鬼在于细节

从广义上解释，自行选择和打击目标的武器系统可能包括美国和其他军队使用的战斧导弹等计算机制导精确武器，以及存在了几十年的其他制导弹药。另一方面，自主武器的定义可能过于狭隘，只包括能够与人类进行同等认知判断的智能机器。一方面，通过实现更准确的目标来减少平民伤亡并提高战场效能的精确制导武器与另一方面有感知能力的机器人士兵之间存在着巨大的差距。未能就有效的定义达成一致，使得真正讨论潜在的自主武器系统与现有武器之间的差异变得困难

在今年有100多个国家参加的年度《特定常规武器公约》上，有一个进展的迹象——似乎普遍同意人类应继续处于使用武力决策的中心，无论是用“有意义的人类控制”（非政府组织更喜欢的短语）还是“适当水平的人类判断”（美国和其他一些政府更喜欢）来描述这个中心。但即使是这些短语也引发了进一步的问题，即如何具体定义这些术语，特别是考虑到当今许多现代武器系统的高度自动化，如AIM-120AMRAAM空对空导弹，下一代LRASM反舰导弹，或Phalanx舰艇防御系统

关于什么是自主武器的巨大不确定性使得关于是否禁止这些武器的讨论与过去几十年的军备控制对话有着根本的不同。近年来，地雷、集束弹药和致盲激光都受到了监管，后者是主动的，因为它们还没有在战场上使用。但这些战役的重点是离散的、众所周知的武器，而这些武器并不被视为大多数军事行动的核心。就地雷和集束弹药而言，它们对世界各地可怕的平民苦难负有重大责任

相比之下，当各州不知道新规则是否适用于当今日益普遍的精确武器，或者只涵盖他们目前无意制造的人工智能武器时，他们怎么能在监管或禁止自主武器方面有明确的立场？自主武器系统在任何情况下都不是一种特定的、离散的技术。更广泛地说，技术大师凯文·凯利将人工智能比作未来可能无处不在的电力。如果凯利是正确的，人工智能被嵌入现代军队的设备部件中，这可能会产生一个典型的军备控制困境：系统对主要国家的军事行动越有潜在的重要性，它们的监管就越困难。这里的定义至关重要

上下文很重要。区分潜在的自主武器类型可以提供一条前进的道路。例如，一些未来的自主弹药，如果由一个负责任和负责任的行动者按照战争法部署，可能与今天的巡航导弹比与人形士兵机器人有更多的共同点

即使在自主武器平台——比如美国和其他军队今天部署的遥控MQ-9“收割者”的人工智能版本——自行选择、跟踪和打击目标的情况下，背景也可能会对我们的想法产生影响。在特定地理区域的海战中运行的自主武器平台，在只有合法战斗人员在场的情况下，以时间限制的方式，可能会提出不同的、不那么紧迫的问题，而不是在人口稠密的城市环境中对个人进行有针对性的打击

绘制分析性的亮线是一项智力活动，远远不是关于毁灭世界的杀手机器人的头条新闻。但绘制它们是必要的，因为除非我们能够定义自主武器系统，否则这一类别将过于宽泛

军备控制往往在专注于计算导弹或轰炸机等有形系统时效果最好。与模糊定义的未来技术相比，对有形系统的控制更容易概念化、理解和规划。然而，即使我们都能就我们所谈论的内容达成一致，自主武器也会带来有趣的挑战。遥控MQ-9收割者和自主收割者之间的区别在于软件，而不是硬件，这带来了比过去军备控制协议更复杂的验证挑战。一个国家甚至很难知道对手是否使用了自主系统，而不是遥控系统。允许广泛访问操作武器系统的软件代码可能会带来其他安全挑战。在人工智能这样不确定的领域，无论是不作为还是行动，意外后果的风险都很高

我们还必须记住，技术的某些元素无论如何都会到来。在当今世界，机器学习、机器人和人工智能正在被开发用于世界各地的每个主要行业，这意味着它们将不可避免地影响军队。商业应用是巨大的，发现不太可能很快放缓。科学家们了解人工智能和可能领域的趋势，国防专家和军事领导人熟悉当今先进武器的运作方式，深入了解各国如何看待武器发展，他们之间需要继续对话

1943年，美国陆军航空兵上将亨利·阿诺德在谈到工业时代的战争时写道，“法律不能限制物理学的可能。”自1943年以来，国际社会在利用国际法和规范军事力量使用方面取得了长足进步。然而，在当前关于人工智能和军事系统的对话中，必要的是克服最坏的情况和最好的情况-案件希望。相反，我们应该尝试更好地理解提高自主性如何影响战争的潜在复杂性。只有到那时，我们才能确定各个国家和国际社会应该做些什么，以确保机器自主和军事系统的交叉最有可能改善而不是威胁人类的未来

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

主题：专栏作家、技术和安全

复制链接链接复制的

//span>电子邮件

>脸书>推特领英/div>

Michael C。Horowitz是宾夕法尼亚大学的Richard Perry教授兼Perry World House主任。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介