简介

人工智能正在革命社会，随着自动化和人工治理的加强，整个行业正在重塑。然而，尽管“人工智能有许多建设性的应用……它也被用作镇压武器和获得军事优势”^脚注1事实上，大多数军事化国家都将自主和人工智能系统视为争夺全球秩序霸权的关键技术^脚注2将人工智能纳入军事系统自然会导致人们对战争中的责任、可预测性、安全性和人类基本原则的担忧。当此类系统不透明时，情况尤其如此，即“由于系统的计算复杂性，决定其决策的内部因素并不为人们所完全了解”^脚注3不透明人工智能系统被认为是一种独特的挑战，因为它们削弱了人类用户充分理解系统、遵循导致系统输出的过程以及可靠预测系统行为的能力。为了解决这些问题，越来越多的研究人员对可解释人工智能（XAI）进行了研究，即“开发解释人工系统并使其为人类利益相关者所理解的方法”^脚注4军事中的人工智能也是如此，红十字国际委员会（ICRC）和美国国防部（US DoD）都将可解释性作为在战争中负责任地开发和使用自主和人工智能技术的关键因素^脚注5

在这篇文章中，我对XAI在军事领域的重要性提出了谨慎的批评观点。特别是，我认为，虽然XAI的方法、方法和总体目标指向工程和设计的明确优点，但这些优点在当代军事部署的背景下并不那么重要，其中许多可能会越来越多地使用自主武器。我进一步认为，许多用于军事目的的自主和人工智能技术不属于XAI的范围，因为这些系统要么根本不包含人工智能，要么包含简单或基本的人工智能系统，无法解释。然而，我们可以预期至少有一些人工智能系统是真正不透明的，要么是因为它们的可解释性原则上受到限制，要么是由于人类的实际限制，使它们对我们无法解释（尽管它们在理论上可能是可解释的）。因此，我认为，虽然可解释性是一种美德，但它更多地针对设计此类系统或对表现出新的不良行为的系统进行故障排除的工程师。然而，对于必须部署和依赖人工智能系统的军事人员来说，人工智能系统与人类战斗人员合作的方式将远远超过可解释性的任何价值。因此，我认为，对于军事领域的人工智能来说，负责任、安全地部署此类系统的关键组成部分是，这些系统被集成到完善且紧密相连的人机团队中，在那里，即使人类对人工智能的行为没有完全的解释，人类也可以可靠地预测人工智能的行动并做出相应的反应。在发展这一点的过程中，我将复杂的人工智能系统与扮演战斗角色的动物进行了类比，同样，通过类比人类与动物的团队来探索人机团队。我的结论是，XAI在军事事务中确实发挥了作用，但我坚持认为，这一作用主要与人工智能系统的开发和故障排除有关，在军事环境中人工智能的实际部署中作用较小

参数的结构如下。首先，我首先（第2节）澄清一些关键的定义要点。有了这些，我研究了目前正在军队中使用或将在不久的将来使用的简单的自主和人工智能系统（第3节）。在研究这些现有和不久的将来的系统时，我强调，由于人工智能过程在这些系统中的相对透明性，XAI在当今的军事系统中几乎没有发挥什么作用。然而，尽管目前的军事系统有更简单或更透明的人工智能系统，但情况并非总是如此，在Sect.com中也是如此。4我继续研究XAI在军队中更遥远的人工智能系统中可能发挥的作用。在探索这一点的过程中，我研究了不透明的人工智能如何导致系统中的不可预测性（第4.1节），并将XAI提供的值与通过在军事（第4.2节）。在这些讨论中，我强调解释的实际价值存在局限性，并强调其价值将因XAI的实施地点和实施对象而异。最后，我在总结（第5节）时重申，XAI在军事领域确实有价值，但这个价值主要与负责任的人工智能部署无关，而是与这些系统的负责任创新和设计以及表现出新的不良行为的系统的有效故障排除有关

自主武器、军队中的人工智能和可解释性

在开始任何关于人工智能、自主武器或军队中不透明系统的讨论之前，必须从一开始就明确这些术语的确切理解，因为“不发达或不明确的观点可能而且很可能会导致混乱、错误以及浪费大量时间和精力”^脚注6新兴技术尤其如此，其中可能有许多相互竞争的定义，每一个都有一些优点。因此，本节将致力于简要解释我在本文中所说的“自主武器系统”、“人机协同”、“人工智能”、“不透明性”和“可解释的人工智能”。然而，值得强调的是，我并不是在争论所提供的定义或理解（因为存在合理的分歧空间），而是在澄清这些术语的含义，因为它们将在下文中使用

现在，随着军方围绕人工智能的许多争论都集中在自主武器系统（AWS）上，我们将从这些开始。在过去的十五年里，学者、国家和非政府组织对AWS提供了许多定义^Footnote7然而，人们越来越接受红十字国际委员会和美国国防部提出的定义，即自动武器系统应被理解为在选择和打击目标所需的“关键功能”方面具有自主性的武器系统，^Footnote8，并且它们可以在没有人为干预的情况下选择和攻击目标^脚注9这一定义抓住了自主武器系统的基本特征，即它们在核心任务中是自主的，但这并不意味着这些系统拥有任何复杂的内部人工智能编程，也不意味着它们不透明、不可预测，甚至必然致命。事实上，在这个定义下，有许多AWS已经在世界各地使用了几十年，从反辐射导弹到近距离武器系统，以及许多其他系统^脚注10

在评估这些系统的影响时，不仅要注意系统本身的能力和局限性，还要注意这些系统是如何与人类整合成有凝聚力的单元的。这就是所谓的人机协作，适用于战争中的每一项技术。在高端，我们可能会想到像无人驾驶飞机这样的系统，它可以自主执行复杂的任务，甚至选择和打击目标，但有人监督它们，并为不同的打击决策开绿灯。在这种类型的团队合作中，人类必须充分了解系统、其能力和局限性，以及参与环境，以胜任地评估系统的可靠性，并在必要时停止它。但在战争中，人机合作也一直延伸到技术含量最低的项目。回想一下美国海军陆战队步枪兵信条中的话：

这是我的步枪。类似的有很多，但这一个是我的

我的步枪是我最好的朋友。这是我的生活。我必须掌握它，就像我必须掌握我的生活一样
没有我，我的步枪就没用了。没有步枪，我就没用

对于战争中的任何技术系统，即使是步枪，其提供优势的能力也与它与有能力和可靠的人机系统（或者可能是人工制品系统，用于更简单的东西，如枪支）的集成紧密相连。更重要的是，负责任地使用任何技术系统都要求使用这些系统的人对系统本身有足够的了解。这是人机协作的核心^脚注11

回归自主武器和人工智能，尽管目前使用的许多自动武器系统几乎没有使用人工智能，或者只启用了基本的人工智能系统，但这已经在迅速变化。因此，同样重要的是，我们要明确我们所说的“人为”智力遵循人工智能研究的一些先驱，我们可以用我们的定义“希望表明与我们在人类行动中看到的相同的智能范围：在任何真实情况下，都可以在一定的速度和复杂性范围内发生适合系统末端并适应环境需求的行为”，^脚注12，或者我们“关注在可用信息具有某种复杂特征的情况下实现目标的方法”^脚注13然而，这些概念有些模糊，为了精确起见，我遵循（Wang，2019），理所当然地认为

[I]智能是信息处理系统在知识和资源不足的情况下运行时适应其环境的能力^脚注14

因此，在数据不足的情况下，军事系统拥有“人工智能”的程度将取决于该系统适应环境的能力。一个系统在如此有限的条件下运行，越能实现目标并确保收益，我们就越能坚定地认为它是人工智能的。由于军事系统通常在有限的信息和资源下运行，因此开发越来越复杂的人工智能系统将面临压力，即使这意味着这些系统在必要时可能不那么透明或可理解。这给我们带来了不透明性和对可解释人工智能的推动。

随着人工智能系统变得越来越复杂，人类越来越难以完全理解、理解或解释它们的功能。这可能是由于简单的实际限制（例如，人工智能使用了太多相互连接的功能和算法，使人类无法解析代码，即使原则上是可能的），也可能是真正的理解障碍的结果（例如，AI使用了机器学习方法或深度神经网络，阻止了人类理解潜在的推理过程）。在这种情况下，我们可以认为这些系统是不透明的，或者使用其他术语，我们可以将这样的系统称为“‘黑匣子’……一个我们知道输入和输出但看不到将前者转化为后者的过程的系统”^脚注15在军事领域，这种“黑匣子”似乎是一个独特的棘手问题，军事研究人员带头开展XAI工作也就不足为奇了，这项研究的知名度越来越高，这在很大程度上要归功于美国国防高级研究计划局（DARPA）的项目^脚注16

为了弥补这些困难，XAI寻求“（1）在保持高水平学习性能（例如预测准确性）的同时，产生更多可解释的模型，以及（2）使人类能够理解、适当信任和有效管理新一代人工智能伙伴”^脚注17更简单地说，“可解释人工智能（XAI）系统的目的是通过提供解释使其行为更易于人类理解”^脚注18鉴于最近XAI研究的繁荣，已经提出了许多方法和方法，^脚注19，但一般来说，所有方法都将针对上述目标1）和2）的某些版本。在军事领域，这也没什么不同，因为那些设计和部署潜在不透明的人工智能系统的人将始终在速度和精度的军事优势与道德和法律需求之间取得平衡，即拥有对使用这些技术的战斗人员来说既可预测又充分理解的系统

最后一点，值得明确的是，在接下来的争论中，我假设参与人工智能在军队中的开发和部署的参与者（至少）正在努力本着诚意和战争伦理和法律的精神行事。至少，我认为，这种诚意需要努力遵守《日内瓦四公约第一附加议定书》第36条，即在开发或通过一种新武器时，缔约方应努力“确定在某些或所有情况下，该武器的使用是否会受到本议定书或任何其他国际法规则的禁止”。在此基础上，假设行动者真诚行事，我们可以进一步假设，军事领域的人工智能系统编程通常会默认设置为保守的目标参数；即，自主和人工智能系统的设计目的是最大限度地减少瞄准，将假阴性的预期增加作为成本^脚注20

有了这个粗略的定义基础，我们现在可以继续讨论了。然而，在这样做之前，应该再次指出，我并不认为上述任何定义或理解都应该被视为定义，或者在某种意义上“优于”其他观点。我选择的定义要么符合广泛的学术选择，要么反映了中央国家和非政府组织的观点，但探索替代定义及其含义是有好处的。为了本文的目的，我们将继续刚才概述的理解，但也可以通过其他视角合理地审视这些主题

初级自动武器和人工智能

先进军队长期以来一直可以使用至少具有基本形式人工智能的自主武器和系统。重要的是，目前使用的绝大多数自主武器要么是先进的自主弹药，要么是基于相当明确的目标参数运行的反器材平台^脚注21对于这些，可解释性的问题是没有意义的，因为这些系统在大多数情况下都没有使用任何类型的人工智能。相反，反辐射导弹定位并攻击发射与雷达站和干扰机相关的无线电信号的物体，反坦克弹药利用地震、声学或高频雷达来跟踪重型车辆和装甲，用于导弹防御的近距离武器系统主要以飞机的速度和航向为参数来确定某个物体是否构成威胁。在这些和其他类似的系统中，其中许多已经使用了几十年，人工智能是不必要的，而且通常不存在（可能出于有限的目的除外）。因此，可解释性与AWS本身没有特别的相关性。相反，临界值是可预测性；如果作战人员能够可靠地预测AWS在其计划部署的环境中将如何发挥作用，那么这就足以负责任、安全地使用此类系统。此外，如果一个更简单的AWS是可预测的，那么部署它的作战人员就没有明确的理由能够解释其“行动”。知道它什么时候能正常工作，什么时候不能正常工作，并对这些知识做出相应的反应，就足以在道德和法律上使用这些系统。了解为什么系统在某些情况下做出某些瞄准决策，可能有助于战斗人员更快地掌握部署AWS的“注意事项”，但不必是工程师或程序员，就能认识到某些战场情况可能会导致事故。毕竟，武器系统的使用培训是为了教会战斗人员这些系统何时会起作用，何时不会起作用，但知道这一点并不需要这些系统的用户成为故障排除者、修理工和这些系统的设计者。无论如何，有很多没有人工智能的自主武器，因此不需要XAI

然而，除了更简单的AWS，我们还看到越来越多的先进人工智能系统的发展，这些系统可以在更少的人工监督下运行，并可以完成更复杂的任务。事实上，全球主要大国越来越多地陷入人工智能的军备竞赛，弗拉基米尔·普京声称“人工智能是未来……无论谁成为这一领域的领导者，都将成为世界的统治者”，Xi新平补充道，“科学技术已成为全球大国竞争的主要战场”^脚注22为了回应这些立场，美国最近宣布计划在未来两年内开始使用数千个新的自主系统^脚注23

然而，关于人工智能重要性的声明，甚至使用更多数量和种类的AWS的计划，并不意味着人工智能在军队中将迅速被不透明的“黑匣子”系统所主导。相反，对于那些目前和不久的将来确实具有某种形式的人工智能的系统（这只是军队中所有自主系统的一部分），其中许多系统使用了更基本的程序，这些程序（可能）是透明的。对于那些方面可能不透明的人来说，这些往往与人工智能的无异议应用有关。例如，DARPA的空战进化计划利用人工智能研究的许多最新突破，开发了能够有效参与混战（近距离空对空交战）的自主人工智能系统。在最近的一场比赛AlphaDogfright选拔赛中，人工智能飞行员甚至能够在许多领域可靠地超越人类^脚注24这些人工智能系统非常复杂，由于它们的设计和训练方式，几乎可以肯定的是，它们可能做出的一些决策是不透明的。然而，在喷气式战斗机之间的空对空战斗中，出现瞄准错误或新的不必要或道德可疑行为的可能性要小得多。因此，即使不透明度进入方程，这也不会自动意味着存在问题，也不需要XAI。由于各种原因，解释可能会证明是有用的，但它们的价值并不意味着它们的缺乏不利于某个人工智能系统或其在战区的部署

军队中的高级AWS和人工智能

初级AWS通常不具备人工智能，对于许多具备人工智能的人来说，人工智能足够简单或直接，默认情况下是透明的。对于目前军队中许多不透明的人工智能系统来说，它们的不透明性并不一定会破坏其道德或法律允许性（因为不透明性只会影响道德中立的决策或默认情况下极不可能出错的决策）。然而，随着人工智能的不断改进，继续应用于更多的任务，并继续变得越来越复杂（同样，不透明），XAI可能开始被视为负责任地使用人工智能系统的基本要求。在本节中，我反对这个宽泛的结论。特别是，我认为XAI通常与人工智能的负责任部署无关（尽管它可能在人工智能设计和生命周期的其他阶段具有价值），丰富和深度集成的人机团队为减轻不透明可能带来的负面后果提供了更有力的方法，XAI甚至可能通过充当允许性的“复选框”形式来破坏负责任的部署，从而降低强大的人机团队的动力

不可预测的AWS和不透明的人工智能

由于在其后台运行的（相关的）功能和算法的数量和复杂性，人工智能系统实际上可能是不透明的。此外，围绕深度神经网络设计的自主武器或人工智能系统（或者更广泛地说，利用机器学习进行训练）原则上往往是不透明的，因为设计者或工程师无法完全跟踪系统学到了什么，以及它是如何从训练输入和作战数据变成离散输出的。一些作者进一步认为，机器学习不仅会影响系统的不透明性，而且事实上也会使人工智能系统天生不可预测^脚注25如果我们回到第。2，我们可以理解为什么会出现这种情况

智能是指信息处理系统在知识和资源不足的情况下适应其环境的能力^脚注26

如果我们以上述方式理解“人工智能”系统，预计这些系统将有一定的能力以我们认为不可预测的方式发挥作用。这是因为这样的系统需要经过大规模数据采样的培训，才能有效或负责任地部署。然而，这种训练不可避免地不会包括他们可能遇到的每一种可能的场景，或者至少不会包括来自各个角度、各个环境、各种天气等的每一个场景。很简单，系统需要训练到足够的稳健性，但在实际部署期间，它仍然必须在信息不完整或训练期间没有直接遇到的信息的背景下进行调用。这样，这样的系统几乎总是有一些固有的能力让我们感到惊讶，因为我们不可能对它们进行所有的训练，当它们遇到一些新的场景（或以前遇到的场景，但从一个新的角度）时，它们可能会以新的方式行事。重要的是，这并不是说他们必须具有原位或实时机器学习能力，因为这可能会导致更深层次的不可预测性，并给负责任地部署此类系统带来重大挑战^脚注27然而，系统必须能够根据其所接受的培训，以部分新颖的方式行动，不仅在培训师所预见的环境中，而且在可能涉及出乎意料的变量。此外，这种自适应问题解决有时可能导致我们无法完全预测的行为。至少，这似乎是合理的。然而，不能完全预测某些行为并不意味着这种行为是不可预测的（在某种令人不安的意义上）。为此，让我们考虑一下联合国裁军研究所（裁研所）最近的一份报告中霍兰德·米歇尔关于可预测性的发言

所有自主系统都表现出一定程度的内在操作不可预测性，即使它们没有失败，或者它们的个人行动的结果可以合理预测。这是因为，根据设计，这种系统将在操作员无法预料的情况下导航。想想一架完全自主的无人机，它可以绘制隧道网络的内部地图。即使无人机表现出高度的技术可预测性和非凡的可靠性，部署无人机的人也不可能准确预测它在隧道内会遇到什么，因此他们也不知道无人机会采取什么确切行动^脚注28

Michel正确地指出，人们无法“提前知道无人机将采取什么确切行动”，尤其是在考虑具有不透明架构的系统时。然而，被派去执行类似任务的人类战斗人员也是如此。事实上，如果我们考虑完全确定的计算机系统，其中每个输入都有一个明确的唯一输出，那么对于这些系统，我们也无法提前知道它们会做什么。这是因为我们无法提前知道他们会遇到什么。但是，即使我们不知道他们会做什么，我们也知道在特定情况下他们会做些什么。对于像米歇尔想象的那样执行任务的人类战斗人员来说，情况也是如此，尽管程度较低。因此，问题不应该是我们是否能够预测将要发生的事情，而是我们是否能够在给定各种输入的情况下预测将发生的事情。为了便于论证，让我们假设不透明本身就破坏了我们这样做的能力，即在给定特定输入的情况下可靠地预测会发生什么^脚注29XAI会大大改善这种情况还是消除这种不可预测性

为了回答这个问题，我们必须首先区分真正自主的系统和系统之间的区别，这些系统将在没有任何类型的同期人类监督的情况下部署（人在环外），那些系统自主运行但其决策可能被人覆盖的系统（人在回路中），以及那些人至少部分控制（部分）系统功能和目标决策的系统（环中人）。首先看看离线AWS和人工智能系统，我们会发现XAI在这些系统的部署过程中没有真正的作用

如果我们设想真正的自主武器系统，充满不透明的人工智能，这些系统将在没有任何同期人类监督的情况下执行任务^脚注30设计这些系统，为所做的每一个决定提供易懂和有用的解释，可以极大地促进对这些系统的快速有效培训，如果系统犯了错误或做了一些新颖和不想要的事情，提供其“推理”也将简化故障排除过程。然而，对于在没有人为监督的情况下运行的人工智能系统，解释在部署过程中没有任何价值。除此之外，不可能在部署前对解释进行有用的审查，作为对系统预期可靠性的一种“检查”。这首先是由于米歇尔对刚才讨论的可预测性的担忧；人工智能系统可能具有为其动作提供解释的能力，即使是提前，但人们无法提前确切知道系统在部署过程中会遇到什么，或者即使知道这一点，也无法知道如何遇到特定物体或目标的确切细节（接近角、环境温度、物体的视觉和其他照明等）。这些因素都倾向于与机器的决策过程高度相关，因此，可以提前给出的唯一可能的解释是列出可能相关和可能遇到的因素。这样的清单总是会包括太多的项目，无法在部署前为人类提供有用的帮助，或者需要对其进行修剪和策划，从而忽略可能影响决策的潜在输入数据星座。简言之，对于没有同期人类监督的系统来说，事实之前的解释几乎肯定是数量过多而无法证明有用，或者数量有限但不能完全代表机器可能遇到的情况（或两者的某种组合）。即使这些问题可以克服，也存在一个根本障碍，即在机器运行时，非循环系统没有人审查决策（尽管它们可能在部署之前或之后）。因此，虽然XAI可以改进此类AWS的部署前或部署后开发和故障排除，但在部署期间，它不会为这些提供有用的工具

人类处于或处于循环中的系统是什么？如果人类能够推翻机器的决定或参与决策过程，那么解释，尤其是易懂的解释，似乎可以帮助我们更具可预测性、可靠性和负责任地使用这些系统。然而，在我们过于迷恋这种可能性之前，我们有责任应对与XAI相关的挑战，以及在军事环境中部署人工智能可能带来的风险。本小节和下一小节的剩余部分将专门研究其中的一些风险和挑战

第一个潜在的担忧领域是XAI系统的设计，以及所提供的解释是否真的对负责监督部署到作战环境中的人工智能系统的战斗人员有任何好处。这是一个需要注意的重要领域，因为糟糕的解释或没有突出支持人工智能评估的正确因素的解释容易导致错误。例如，Rudin（2019）介绍了一个负责识别图像的人工智能系统的案例，并展示了错误的“解释”如何导致混乱和对系统的过度或不信任。事实上，鲁丁的例子围绕着一张狗的图像和两张附带的热图展开，热图显示了人工智能发现的与图像的两个独立标识相关的点。这两张热图非常相似，但其中一张解释了人工智能系统发现的与“动物是西伯利亚哈士奇的证据”评估相关的点，而第二张则显示了与“动物为横笛的证据”相关的点^脚注31这些大相径庭的评估的“解释”的相似性表明了解释的缺陷和误导性。
考虑到现代战争的节奏和人工智能系统的监督者需要快速做出决策，这一点尤其成问题。如果作战人员看到人工智能系统在各种情况下都表现良好，并且总是将给出的解释与针对决策的理由相关联，那么完全有可能无法容易或可靠地注意到有缺陷的解释。除此之外，强调错误因素或不包括人工智能容易错误识别的方面的解释可能无法给战斗人员任何重要的机会，在必要时进行自信的干预。这并不是说解释在这种方式下必然会有缺陷或不能很好地完成，而是仅仅表明，如果执行不力，XAI可能会产生严重的风险

人们可能希望通过包括更丰富的解释来减轻上述担忧，或者强调解释中包括哪些因素，哪些因素被排除在外，以及对各种输入数据进行了哪些加权。然而，正如提供的信息太少（或毫无帮助）的解释可能会导致问题一样，那些提供的信息比必要的多的解释也会导致问题。首先，有一个明显的问题，即现代战争使战斗人员受到越来越严格的时间限制，限制了他们进行冗长而复杂的解释的能力。此外，还有一个额外的困难，即丰富到足以澄清机器推理过程中潜在问题的解释可能很复杂，深入研究系统编程和训练的各个方面，或者需要呈现大量因素（因为人工智能系统做出的每一个决策都可能包含许多细节）。这可能会证明对作战人员的需求超出了合理范围，要求人工智能系统的部署人员除了接受作战人员的培训外，还接受计算机科学家和工程师的培训^脚注32无论如何，XAI必须在解释过多和过少之间取得平衡，因为光谱的任何一端都会带来自身的风险

这些都是设计问题，也许我们可以合理地假设这些问题会及时得到解决。即便如此，在人工智能系统的部署过程中加入XAI往往会对负责任地使用此类系统造成进一步的障碍。主要问题是提供丰富、易懂和信息解释可能会产生这样的看法，即人工智能系统可以更容易地部署，或者有可能拥有经过一般训练的用户，这些用户可以可靠和负责任地处理各种这样的系统

这里有两个不同的问题在起作用。首先，XAI的存在可能会给人一种感觉，即在类似系统（但不是要部署的确切系统）上训练的人类可以可靠地利用其他系统。对动作的解释，再加上人类对人工智能系统的普遍训练，可能会让人相信一个人可以相对容易地在系统之间切换。然而，不透明的系统，即使是对其行为做出解释的系统，也容易在每个决策中包含许多微妙的因素。这些微妙的因素可能并不总是存在于解释中，事实上，如果解释足够紧凑和简单，可以在战斗中使用，那么这些因素就可能不存在。因此，理解这些并对其作出响应将需要此类系统的处理程序对所部署的特定系统非常熟悉。然而，XAI可能会导致一种“一刀切”的观念，破坏负责任部署所需的人机团队

其次，在一个相关的问题上，XAI还可能导致一种看法，即人类可以简单地“操作”人工智能系统，而不需要以丰富的方式与它们合作。这是因为，丰富而翔实的解释可能会导致人们相信或普遍认为，只要任何人以批判性和深思熟虑的方式参与解释，并充分理解系统和作战环境，以便在系统出错时进行干预，他们就可以使用该系统。然而，如上所述，所提供的解释不太可能包括支持特定参与决策的所有微妙因素和线索。此外，要想解决特定人工智能系统的微妙之处，可能需要人类对该系统的功能有一些深入的第一手知识。这可能只有通过人类与机器的丰富团队（理想情况下，包括系统和人类的合作训练）才能实现。通过部署可解释的人工智能系统，但这些系统属于不熟悉（或入门不好）的人的权限范围，我们将产生重大的错误风险，因为这些系统的“用户”不具备相关知识，无法知道哪些解释本身可能是可疑的，或者哪些解释可能需要额外的审查

尽管如此，XAI显然对人工智能的军事用途有价值。但是，该值主要与设计和故障排除有关。了解人工智能系统采取某些行动的原因，可以极大地帮助工程师和程序员开发对收集到的环境信息做出正确反应的系统，提供保守的目标选择，并根据战争的法律和道德要求行事。同样，如果人工智能系统在部署过程中出错或开始显示新颖和不想要的行为，可解释性可以通过使故障排除过程更快、更简单、更有效来代表重大价值；人工智能系统越能清楚地识别和传达其对某些动作的推理，工程师、程序员和机器培训师就越能解决其编程或培训中导致其执行不必要动作的任何方面。这些都是XAI可以促进军事领域人工智能系统的发展和改进的方式

然而，这些任务与部署前和部署后阶段有关，并不表明XAI在很大程度上有助于在离散军事应用中负责任地使用人工智能。此外，上述论点表明，在参与过程中，XAI通常与无关，甚至可能适得其反。核心问题是，如果XAI成功，将向战斗人员提供更多信息，但这并不一定意味着所述信息得到了很好的利用。更重要的是，XAI与人机团队没有天生或必要的联系，因为人类可能与系统配对并接受足够的训练，而不一定深入了解系统为什么会这样做。此外，人机协作是在军事领域负责任地使用人工智能的核心因素，虽然XAI可能会补充这些协作，提高战斗人员在战场上部署先进人工智能的能力，但至关重要的是，这种成功首先取决于在团队本身，最好的情况下，XAI会进一步帮助他们，最坏的情况下会削弱他们。因此，我们应该谨慎乐观地看待可解释性对为作战目的部署人工智能的战斗人员的好处

人机协同
对于不透明且可能不可预测的自主武器和人工智能系统，解释可能有助于更好地设计这些系统或改进那些显示故障的系统，但它们不太可能减轻这些系统在实际军事使用过程中不透明和不可预测性的负面影响。此外，丰富而翔实的解释可能会削弱人们对强大的人机团队的需求，而正是这些对人工智能在军队中可靠、可预测和负责任的使用至关重要。特别是，我们必须确保我们将拥有从人工智能系统训练到部署的人机团队，并着眼于让专门的处理人员负责单个人工智能作战系统（或可能是一小群相互关联的系统）

基于Wood（2023b）中提出的论点，^脚注33值得强调的第一点是，对于不透明的人工智能系统，我们应该重新思考如何使用这些系统。特别是，我们应该摒弃人类作为这些系统的“用户”的语言，而是将人类视为人工智能系统的“部署者”，或者更好的是“处理者”。此外，我们应该将人工智能系统的动作及其对它们的影响概念化，使其与其他技术工件的动作相关，而不是与动物的动作相关^脚注34造成这种情况的原因有很多，但让我们简要介绍一下要点

如果我们假设行动者是真诚行事的，那么军队中使用的不透明人工智能系统将不会简单地构建然后部署。相反，他们将接受广泛的培训，使他们熟悉尽可能多的情况和复杂因素。它们还将针对各种作战情况进行测试，在这些情况下，某些变量容易导致错误或失误。事实上，负责任的开发人员会“尽可能地查找问题，然后找到解决方案”^脚注35所有这些都将导致系统虽然仍然具有潜在的不透明性，但在大量上下文中以可预测的方式运行。然而，尽管我们有能力普遍预测它们的行为，但这种不透明性，加上系统自身的自主行动能力，将意味着人工智能系统可以以完全不可预测的方式行事。换言之，负责任地开发的人工智能系统通常是可预测的，但有能力采取不可预测的行动

这与战争中使用的动物战斗人员的情况相同。动物长期以来一直是人类战争的一部分，扮演着各种各样的角色，^脚注36，但为了具体起见，我们可以将不透明的军事人工智能系统想象成类似于战斗突击犬^脚注37这些狗接受了广泛的训练，与一个非常了解它们的人合作，并投入战斗中执行某些人类无法完成的任务，或者人类无法完成狗所能完成的任务。重要的是，由于它们接受的训练的数量和质量，以及与人类合作的质量，战斗突击犬通常是非常可预测的。然而，即便如此，他们仍然是自主的，可以以新颖的、有时甚至不受欢迎的方式行事。狗的主人有责任识别出狗容易表现出不可预测性的情况（无论出于何种原因），并做出相应的反应。尽管关于动物战斗人员的法律存在漏洞，^脚注38如果出现错误，追究处理人员的责任是合理的^脚注39
将此与XAI的讨论联系起来，负责动物战斗人员的人类处理人员通常会非常了解他们的四足朋友何时可以正常行为，何时可以不可预测。然而，动物的大脑是无法访问的，饲养员也不可能找出指控者行为的确切原因。很简单，动物是不透明的。然而，这种不透明并不意味着它们完全不可预测，甚至不意味着它们通常是不可预测的，或者根本不容易采取不可预测行动。但至关重要的是，动物战斗员的可预测性与谁在做预测有很大关系

负责动物的管理员可能是动物行为的非常可靠的预测因素，而其他战斗人员可能根本不知道。此外，人们对某些动物行为的根本原因的一般理解也可能无法提供强大的预测可靠性。因此，动物心理学家可能能够说出一般情况下是什么驱使狗，它们对某些行为可能有什么原因，甚至在战斗中是什么驱使特定的狗。然而，心理学家从外部观察某些狗的行为，可能比它的主人更难预测。即使心理学家对驱动动物的根本原因有更深入的了解，情况也往往如此；熟悉和相互信任提供的远不止是单纯的解释。最后，还有一个关键点，即饲养员不仅会知道动物何时可能是不可预测的（以潜在的不受欢迎的方式），而且会知道它们何时会出现可预测的不当行为。可预测的不当行为是一个关键限制，即在何时何地可以部署有机或其他自主代理，以及知道何时最有可能通过丰富的人类和其他代理团队来实现这一点。此外，向不熟悉代理（无论是狗还是人工智能）的个人提供解释，不太可能突然赋予负责任地部署此类下级代理所需的必要的一般理解。要了解这一点，请考虑一个示例

Buddy：我有一只狗，我每天都带它散步（它的名字叫Buddy，是个好男孩）。作为它的主人（和饲养员），我非常了解它，以至于我可以可靠地识别（至少）它可能表现出的六种不同的嗅闻形式：（1）嗅闻是为了与世界接触，（2）嗅闻的目的是为了找个地方上厕所，（3）嗅闻因为最近有一只母狗路过，（4）嗅闻它认为可能有食物，（5嗅闻的形式相当独特，可以很容易地与其他形式区分开来。此外，不同类型的嗅探会导致我可能或必须采取的不同行动。如果他想找个地方上厕所，我应该把他带到草地上。如果他漫无目的地寻找食物，那么谨慎的做法可能是把他拴在皮带上（尽管这不是必要的）。如果他清楚地知道食物在附近，并在我之前试图找到食物，我有责任立即把他拴上皮带（我们吃的一些常见食物可能对狗有毒）。无论如何，很明显，他为什么要嗅，影响了我的职责。此外，这些类型的嗅闻使他可以预测。然而，至关重要的是，他对我（和我妻子）来说是可以预测的。另一个对巴迪不太熟悉的人只会看到一只狗在嗅。除此之外，我还可以详细解释每种类型的嗅闻是什么样子的，它们的意思是什么，以及人类应该做出什么反应。然而，即使是这些也往往毫无帮助。毕竟，如果他在嗅，因为他知道有食物，他的嗅会更快、更疯狂。但对于外行来说，自然的问题是“比什么更快、更疯狂？”。在不了解他的情况下，在不了解他通常的行为、他表现出的标志以及哪些因素相关的情况下，解释提供的信息很少。除此之外，我肯定会注意到一些视觉和其他线索，但我无法完全解释自己。事实上，人类是不透明的，我们的不透明意味着我们无法完全理解为什么我们有时知道某些代理人会或不会以某些方式行事。很简单，熟悉孕育了一种仅仅解释无法捕捉到的理解，而我们忽视了这一点，这将给我们带来危险。无论是对动物还是人工制品的熟悉都是如此；每一位狗主人都知道，你的狗做的一些事情是你的大脑下意识地理解的，即使它们无法用语言表达它们所理解的，每一位战斗机飞行员、加油机或其他依靠机器谋生的军事专业人员都对机器有某种理解，这种理解不是从课本和解释中产生的，而是从坐在机器里简单地获得理解中产生的

最后，还有一个额外的问题，即如果某些（一组）系统实现了XAI，则存在这样的风险，即这可能会反常地导致人工智能系统的部署不那么负责任。这是因为过分强调可解释性可能会导致XAI被视为允许使用人工智能系统的一种“复选框”。然而，正如所争论的那样如上所述，系统可能会以无益的方式被解释，而能够更好地理解解释的个人可能在实际预测动态环境中自主主体的行为方面能力较差。因此，AWS或军用人工智能系统在原理或实践上是可解释的，这可能并不意味着操作员和处理人员能够理解这些解释或基于这些解释做出可靠的预测。真正的努力需要信任和团队合作，而不是技术成就，否则可能会导致灾难性的后果。以伊朗航空655航班被击落为例，这是与人机协同失败有关的最致命的军事错误之一

配备了最先进的宙斯盾作战系统的文森斯号导弹巡洋舰的机组人员将一架民用客机误认为伊朗F-14，由于“对该系统的能力过于自信，再加上糟糕的人机界面”，他们开始与飞机交战并击落飞机，机上290名平民死亡^脚注40虽然当时Vincennes号上的系统实际上可能是不透明的，但原则上没有任何东西会使它们不透明。更重要的是，使用XAI的当前方法，它们可以变得透明和可解释，这当然是可行的。但这不是重点。伊朗航空655航班被击落并不是由于不透明的系统或对“宙斯盾”作战系统中的流程缺乏了解造成的。这是一系列人机协作和不同作战单位之间合作失败的结果，只要促进这些小组之间更好的沟通，就可以避免这一事件。同样，部署过程中的核心问题不在于系统是否可以解释，而在于系统是否能够很好地集成到可靠的人机团队中，这些团队表现出合理的信任水平，并且拥有知道何时何地不依赖该系统的人

作为本节的最后一句话，我将再次强调XAI确实有价值。这种价值不在战场上，而是在设计和故障排除实验室中。因此，结果不是我们应该放弃XAI，而是我们应该认识到它的好处的局限性。如果我们不这样做，我们可能会被过度炒作的研究项目蒙蔽双眼，无法认识到其他价值观的极端重要性（如人机合作）^脚注41此外，我们可能会发现自己有一个“道德复选框”，它允许系统部署到战斗中，即使没有人能够负责任地处理它们或可靠地预测它们的行动

结论

XAI在军事领域确实有价值。通过使不透明的系统具有可解释性，人工智能系统可以更快、更有效、更可靠地得到训练，设计者可以更快地删除可能导致错误或新的不必要行为的过程，并且当系统确实以不必要的方式行事时，可理解的解释可以大大简化故障排除工作。然而，至关重要的是，我们也要理解XAI所能提供的好处存在局限性。除此之外，我们还必须注意这样一个事实，即在某些情况下实施XAI也有可能导致错误，而且它可能会破坏对训练有素的人工智能系统处理人员的需求，这些人员非常熟悉这些系统中推理的能力、局限性和怪癖。因此，XAI可以帮助我们在军事领域更安全、可靠、负责任地开发和维护人工智能系统（部署前和部署后的价值），但全面不加批判地实施这些方法也会带来重大风险

最后，值得强调的是，本文的总体意图并不是争论XAI在军队中是好是坏，而是强调其价值将取决于上下文，并根据参与所提供解释的人员而有所不同。对于工程师、设计师和故障排除人员来说，解释几乎肯定是有益的，应该尽可能地纳入其中。然而，在没有同期人工监督的情况下，XAI对改进（或减损）部署的人工智能系统几乎没有什么作用，对于那些有人在环或在环的人工智能，XAI可能会给复杂人工智能系统的负责任部署造成障碍。然而，最重要的是，负责任的部署首先需要强大的人机团队，让人类充当人工智能的“处理者”，而不是“用户”或“操作员”。正在开发这样的团队，从战争中人类和动物团队的类比来看，提供了一个有用的出发点，并可以告诉我们，如果我们将潜在的不透明人工智能系统视为纯粹的人工制品，只要对其推理过程有解释，就可以很容易地理解和预测，那么可能会出现各种风险和陷阱