卡内基委员会人工智能与平等倡议联合主任 Wendell Wallach 是 2023 年 2 月 15 日至 16 日在荷兰举行的 REAIM 峰会的主旨发言人之一。在他的演讲中，他概述了为什么支持自主开发和部署武器系统 (AWS) 的逻辑是冷战时期升级威慑战略的延续，并且这种逻辑未能把握此类系统将如何改变战争行为。 “那些认真研究将 AWS 引入战争所固有挑战的安全分析人员已经意识到这是一个严重的问题。对 AWS 进行有意义的人为控制似乎是不可能的。” 瓦拉赫在下面的这篇文章中进一步阐述了他的想法。

华特迪士尼的哪部电影中有大规模自杀？即使是年纪较大的琐事玩家也很难回答这个问题。答案是迪斯尼的自然纪录片《白色荒野》（1958年），该片捕捉到大量的旅鼠从悬崖上跳入海中，最终导致了死亡。尽管有一部分镜头是上演的，但事实上，人口过多会驱使会游泳的旅鼠跳入海中寻找新家。在这个过程中，一些旅鼠淹死了，但它们的行为并不是自杀。

2023年2月15日至16日，荷兰在海牙接待了来自60多个国家的代表，包括商业和军事领导人以及学者，参加REAIM峰会，重点讨论军事领域的负责任人工智能。经过八年的多边讨论，就限制开发和部署能够选择和摧毁人类目标的自主武器系统的具有法律约束力的规则达成一致意见失败了。作为回应，REAIM组织了进一步的会谈，并启动了一个新的进程，以就军事中使用人工智能的适当准则、限制和全球治理达成一致。

峰会涵盖了从使用人工智能进行决策支持到后勤规划的许多主题，但大多数与会者特别关注武器系统的自主性。武器制造商的发言人向与会人员保证，AWS将进行彻底测试。将军们宣称，将有有意义的人为控制，因为AWS只能由对其使用负责和负责的指挥官部署。他们认为，AWS至关重要，因为作战速度甚至超过了训练有素的人员快速反应的能力。从表面上看，这样的论点似乎是合理的，但如果考虑到人工智能在战争中引入的特征来理解，它们是天真的，将人类置于自杀的轨道上。

2015年，在日内瓦的联合国，非营利倡导组织第36条在关于是否限制AWS发展的非正式会议上引入了有意义的人类控制这一短语。到了2016年，各方都在使用这个短语，但很快就清楚了，他们谈论的是非常不同的关注点和方法。

在这几年中，国际安全和军事分析人士认真研究了将人工智能和AWS引入战争所固有的挑战，并认识到这是一个严重的问题。要确保在弹药的整个生命周期中实现有意义的人为控制，将需要庞大的基础设施，而且成本高昂，似乎很难实施，甚至不可能。例如，具有任何学习能力（机器学习）的人工智能系统将需要近乎恒定的测试。新的输入可能会导致行为的改变，并可能以不可预见的方式采取行动。与此同时，利用科技公司为非军事应用开发的现成软件和组件，AWS将迅速扩展到资源有限的小国和非国家行为者。

随着ChatGPT和其他生成型人工智能应用程序（如微软新版Bing）的用户不断学习，人工智能可以产生惊人的结果，但有时它只是纯粹的愚蠢。人工智能系统是概率机器，有时会以意想不到的方式行动，尤其是在战争等复杂环境中部署时。低概率输出或行动通常无关紧要，但偶尔低概率事件会产生较大影响。概率乘以影响等于风险。具有大有效载荷的AWS具有固有的风险。正如纳西姆·塔勒布（Nassim Taleb）不知疲倦地指出的那样，低影响或高影响事件比我们自然认识到的要常见得多。

想象一下，一名指挥官在时间压力下面临拯救生命的严重困境，部署了一架携带高功率弹药的无人驾驶飞机。考虑到战争的迷雾，指挥官们很少知道实际的成功概率，但为了便于讨论，让我们假设指挥官知道有87%的成功概率实现目标和挽救生命的可能性，而失败的可能性只有13%。但在他不知情的情况下，AWS有1%的可能性会以意外的方式升级敌对行动。如果升级发生，做出最终决定的指挥官会被问责吗？也许不会，因为他们可以隐藏在国家安全考虑和对成功的高期望背后。

冷战期间，威慑逻辑推动了从超音速喷气机到核潜艇的先进技术的采用，以及弹头的无休止增长。例如，当能够在北极架下航行的三叉戟潜艇缩短了发射核导弹和摧毁莫斯科的炸弹之间的时间时，威慑逻辑开始崩溃。这项新技术引入的时间缩短不足以让苏联领导人正确评估他们是否确实受到了攻击。因此，自动进行报复性核反应，甚至发动先发制人的打击的可能性越来越大。

今天，中国和美国这两个在军事人工智能应用领域领先研发的国家正在慢慢加剧紧张局势。威慑逻辑似乎又回来了。数字技术正被迅速采用并嵌入军事应用中。然而，随着时间的推移，对人工智能的日益依赖将不可避免地演变为对有意义的人类控制的淡化和对人类责任的彻底废除。人工智能不知道自己什么时候犯了错误。但我们人类确实有能力在自杀过程中意识到这一点

和旅鼠一样，国防和安全战略家们并没有在无意识中表现出对死亡的渴望。他们承担起了阻止战争的责任，并在战争发生时找到自己国家生存的方式。他们知道，威慑逻辑是有缺陷的，加快作战速度和引入人工智能决策来进行补偿是无法有效控制的。然而，他们不知道还能做什么。由于在有效的合规性和验证方面存在困难，对AWS的禁令能否奏效几乎没有信心。

尽管如此，现在是时候承认我们制造的陷阱，并不再依赖风险越来越大的防御策略了。美国加入了REAIM进程，尽管没有具体提及AWS，但还是发布了一份政治宣言，明确承认战争中的自主功能存在诸多问题。让我们不要阻碍这可能是最后一次机会，来制定限制在军事领域使用AWS所需的风险较小的标准和全球治理。

简介