2014年以来，每年都有来自全球各国的代表根据一项名为《特定常规武器公约》的国际裁军条约聚集在瑞士日内瓦，试图解决一个异常棘手的问题。人工智能武器可以在不需要人类扣动扳机的情况下识别和攻击目标，如果有什么需要的话，该怎么办？尽管军方在开发包括武器在内的自主系统方面取得了越来越大的进展，但在联合国举行的谈判已进入第八个年头，目前还看不到共同的答案

关于所谓致命自主武器系统的谈判一直被那些希望禁止这种发明的人、那些希望监管它们的人和那些认为不需要任何新的硬规则的人之间似乎无法弥合的分歧所困扰。然而，这些团体中的每一个都可能至少在一点上达成一致：任何自主武器都不应该是黑匣子。这些武器应该总是做他们应该做的事情，而且他们这样做的原因很清楚

无论这些武器现在或将来受到什么规则的约束，高度的可理解性和可预测性——借用负责任的人工智能的更具技术性的隐语——都将是任何自主武器的基本特征。即使在联合国进行谈判的国家选择不制定任何新规则，遵守现有的战争法仍然可能取决于军队能否很好地掌握其自主武器的用途和原因。

可以肯定的是，所有武器都必须是可预测和可理解的。但是，自主武器可能需要特别可预测，以弥补人类控制的缺失，而且它们需要特别容易理解，因为这通常是准确了解它们行为的唯一方法

在一项实验中，为了说明为什么可理解性对人工智能如此重要，研究人员提出了一种计算机视觉工具，该工具似乎非常善于区分狼和哈士奇。事实上，该系统实际上只是通过检测图像中的雪来工作，因为机器训练的大多数狼的照片都是在雪地里拍摄的。研究小组表明，只有通过研究算法如何识别狼，才能揭示这一诡计

人工智能的近代史上充满了类似的机械手法的戏剧性例子，每一个例子都是我们相信任何足够复杂的自主武器即使出现了严重的问题，也可以表现出完全符合预期的行为的理由。除非你仔细观察，否则很难判断它是否真的在做你想让它做的事情，它是否按照你希望的方式做，以及它在未来的使用中是否会这样做

因此，在测试中，自主武器需要足够容易理解，以便评估人员在部署之前很久就发现任何看不见的错误或缺陷，并且足够可预测，以便测试人员验证它在现实世界中的行为是否与在实验室中的行为完全一样。能够在武器的算法罩下进行窥视并准确预测未来的性能也至关重要根据《日内瓦公约第一附加议定书》的规定，所有国家都必须对新的战争技术进行法律审查，以确定这些武器的使用是否符合相关的国家和国际法（例如，要求军队在发动袭击时区分平民和战斗人员的法律）

一旦自主武器获准使用，对可预测性和可理解性的需求就不会停止。在活跃的冲突中，必须决定是否在战场上使用自主武器的指挥官需要能够预测这样做的效果。拥有最终发射权——同样重要的是，拥有中止权——的自主武器操作员需要知道何时信任这些机器来执行其目标，何时不信任它们

这些人类决策必须基于对武器可能如何应对当前条件的预测，包括冲突中存在的对手和其他复杂系统，这不能仅仅基于实验室对系统工作的保证，甚至不能基于一流的跟踪记录自主武器——就像其他人工智能系统一样——在以前的所有情况下都能完全按照预期运行，但当它们遇到某些异常情况时，仍然会出现惊人的故障。如果这样一个系统对创建它们的工程师来说是神秘的，更不用说那些必须对其使用做出生死攸关决定的士兵了，那么在为时已晚之前，可能没有办法阻止这种失败

此类要求也可能在任何操作产生的灰尘沉降后很长一段时间内延长。当自主武器造成无意伤害时，责任人需要了解它为什么会失败或失灵，预测它是否有可能再次发生这种情况，并找出如何通过技术调整或对其使用方式的新限制来避免未来类似的事故

可预测性和可理解性甚至将在一些国家和非政府组织提议的全面禁止完全自主武器方面发挥核心作用。如果在联合国谈判的各方同意这样一项禁令，那么被禁止的自主武器和合法的半自主武器之间的红线可能会归结为武器操作员是否保持有意义的人类控制。尽管在这种情况下“有意义”的确切含义仍然是一个激烈争论的问题，但如果控制半自主武器的操作员不知道武器为什么选择给定目标，也不知道如果开绿灯开火，它会做什么，那么很难证明这样的安排符合禁令

那为什么这么大惊小怪？有人可能会认为，根据日内瓦谈判的任何结果，各国只需要要求每个人严格限制使用完全可以理解和预测的自主武器系统。要是那样容易就好了

制造一种高度可预测的自主武器在技术上是可行的，因为它以与以前在相同条件下相同的精度执行新的操作。但世界并非如此；现场条件是高度可变的，通常无法预测一个完全自主的系统在部署时会遇到哪些潜在的异常因素。（事实上，在某些情况下，使用自主武器的全部目的是探测人类士兵不能或不愿自己前往的地区。）因此，在某些环境中使用某些类型的自主武器可能会充满不可避免的作战不可预测性

人工智能系统也不可避免地难以理解。与之前人工智能繁荣时期明显透明的智能系统不同，当今许多最先进的人工智能形式都没有具体的操作说明。相反，像前面提到的计算机视觉工具这样的系统采用概率学习过程来有效地设置自己的指令，以如何最好地实现给定的目标。我们可以看到进入这样一个系统的原始数据及其产生的输出，但将前者转化为后者的过程通常涉及数百万个参数，对我们简单的人脑来说可能没有任何直观意义。即使对这样一个系统的学习架构有很强的概念把握，也可能无法深入了解它是如何“告诉”来自哈士奇的狼或来自医院的武器库的。为人类操作员构建可解释性工具，揭开复杂人工智能内部工作的神秘面纱，还有很长的路要走，尤其是在战争等关键应用中

这些都是令人不安的现实，但还有很多事情可以做

研究人员和关于自主武器的辩论可能希望首先就可预测性和可理解性的实际含义达成一个共同的定义——即使这个细节还远未确定——并开始为每种类型的自主武器和用例确定适当的可预测性或可理解性水平

例如，全副武装的喷气式飞机的智能瞄准系统可能需要比防空炮上的算法更容易理解，因为防空炮只能在无人区（比如军事基地周边）的狭窄空域击落小型无人机。前者可能是一种强大的进攻武器，而后者的防御目的有限，几乎不会造成附带损害。同样，在部署武器之前测试算法的工程师需要在更复杂的数学层面上理解系统，而士兵可能只需要知道何时信任它

对这些定义和变量有了更好的理解，就更容易确定不同种类和级别的人工智能不可预测性和不可理解性如何以及何时会成为问题甚至非法——以及这些风险是否必须通过限制在哪里可以使用自动系统以及它们可以单独在战场上漫游多长时间来解决

其次，如果各州希望为可预测性和可理解性制定具体标准，他们可能需要弄清楚如何衡量这些品质——这是一项艰巨的任务。在这方面和其他方面，他们可能希望超越军事领域寻找想法。民用部门在交通和医药等领域的黑匣子困境中领先

尽管他们也应该记住民用部门和军事部门的区别。贷款申请算法和无人驾驶飞机可能都同样难以理解，但解决这种难以理解的必要措施，更不用说未能做到这一点的人力成本，可能是天壤之别

最后，尽管人们很容易认为这些根本技术问题的解决方案总是在于技术修复——只要有足够好的数学运算，它们就可以被设计掉——但事实并非如此。我们当然需要探索如何将人工智能编码为更可预测和理解的。但我们也需要考虑工程的局限性，以及如何弥补这些局限性

例如：由于任何给定的自主武器的可理解性在很大程度上取决于其人类对手的理解能力，而这对每个人来说都是不同的，如果没有针对与这些技术互动和控制这些技术的人的措施，纯技术可解释性补丁可能几乎毫无意义

解决这些具有挑战性的问题需要广泛的投入。尽管致命自主武器辩论的各方可能没有看到太多共同点，但他们至少可以就试图共同解锁军事人工智能的黑匣子达成一致。如果他们找到了钥匙，我们会得到很多，如果他们没有找到，我们会失去很多

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：人工智能，《特定常规武器公约》，联合国，黑匣子，致命自主武器，机器学习
系统至关重要，但可预测性可能是有助于使用适当对策的不利因素。一个从未被充分提及的更重要的特征是自主武器活动范围的定义，它在激活时必须以不可更改的方式在空间和时间上受到限制。还应强制规定对所有自主武器的使用寿命进行某种物理限制。人类已经经历了地雷的噩梦，在部署几十年后，地雷仍在杀害和致残人类的年轻生命，我们不…阅读更多»

Arthur Holland Michel是联合国裁军研究所安全与技术项目副研究员。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介