1 简介

有意义的人类控制 (MHC) 概念是在有关人工智能和自主武器系统的讨论背景下出现的。MHC 指的是，随着基于人工智能的自主技术的发展，人类应该继续控制与使用武力有关的决策。尽管人工智能可以负责任地应用于某些军事目标，但我们主张自主武器系统的设计不应无条件进行。条件之一是人类控制，这已在学术、法律和政治辩论中得到认可。 MHC 的重要性源于它是人类对涉及安全、道德和人类尊严的决策（例如与使用武力有关的决策）负责的必要条件。

北约 [12] 和美国国防部 [15] 包括作为一项道德和可能具有法律约束力的原则。2023 年，联合国秘书长和红十字国际委员会主席敦促各国谈判一项具有法律约束力的文书，并表示：“我们必须立即采取行动，维护人类对武力使用的控制。在生死攸关的决定中，必须保留人类的控制权。”除了在军事背景下的重要意义外，该概念还被认为在民用场景中很重要，例如自动驾驶系统 [4]。

尽管有这些声明和相关讨论，但如何将 MHC 操作化为具体、可实施和可验证的设计要求和规范仍然不清楚。而 MHC 的研究通常从哲学 [21]、人工智能和法律 [2]，我们认为认知工程和人为因素领域尚未得到充分利用，尤其是当它们可以提供一系列对于实现 MHC 至关重要的一致理论、模型和方法时 [3]。本文旨在探索如何利用态势感知和人类决策理论通过开发团队设计模式来实现 MHC 的运作[26）。从交互设计的角度评估，我们提出了五种复杂度不断增加的 MHC 模式n、测试和验证以及问责制。这些模式不会为所讨论的复杂问题提供全面而详尽的设计蓝图，而是为提出旨在设计和评估 MHC 的多学科研究议程奠定基础。

在第 2 节中，我们概述了 MHC 的法律和道德背景，并将其与现有有关该主题的文献联系起来。第 3 节深入探讨了 MHC 的五种模式，并附上了从真实或虚构的军事系统中提取的示例。第 4 节对这些模式进行了更详细的分析，并描述了实际应用。最后，第 4 节对这些模式进行了更详细的分析，并描述了实际应用。最后，第 5 节对这些模式进行了更详细的分析5 提供了我们从探索中得出的一些结论。

2 背景

人类应如何保留和实践履行责任的问题一直是负责任的军事人工智能辩论的核心问题。联合国致命自主武器系统新兴技术政府专家组 (GGE) 指出：“尽管各方一致认为人的因素很重要……但仍需要进一步明确所需的人机交互类型和程度，包括控制和判断要素” [5]。各国使用不同的术语；例如，美国国防部第 3000.09 号指令《武器系统的自主性》要求“自主和半自主武器系统的设计应允许指挥官和操作员对使用武力进行适当程度的人为判断。” [15]。英国国防部对“人类控制”原则作出了如下表述：当将人工智能系统用于国防目的时，需要了解任何特定应用或环境所需的适当形式的人类参与。” [14]。

上述示例由军事组织提供，这些组织具有强大的指挥层次结构，其中始终假定人类控制并与人类责任紧密相关，通过组织各个级别的等级、指令或命令以可见或口头的方式表达出来。另一些人则从道德和法律角度主张 MHC 而非军事 AI，例如：“安全性和精确性、责任感和问责制、道德和尊严、民主参与和同意，以及制度稳定性” [7]。虽然我们承认，在军事人工智能方面，所有五个目的都很重要，但其中一些目的与国际人道主义法 (IHL) 的要求密切相关，该法对战争手段和方法进行了限制。军事和人道主义责任与维护传统的战争伦理有关，特别是区分战斗人员和非战斗人员的战时法原则，以及间接的比例原则（事前平衡军事优势与平民伤亡），这些伦理原则可以解释为道德责任对于交战方来说，这在国际人道法中是正式规定的。

特别是安全和精确的目的将区分原则与比例原则联系起来。尽管人工智能系统原则上可能具有“辨别”战斗人员和非战斗人员的技术能力，但军事行动本质上是动荡、混乱、欺骗性和不稳定的，甚至在如何区分战斗人员和非战斗人员方面也是如此。许多人认为，至少“各国必须确保任何未来的 AWS 在瞄准能力方面都满足区分和比例的要求。” [13]。

许多军事人工智能政策都明确阐述了责任和问责的目的；例如“必须明确人类对人工智能系统的责任，确保对其结果负责” [14，第 9 页。]。 制度稳定的目的非常重要，因为当人工智能系统用于武装冲突时，必须明确违反习惯法或具有国际法律约束力的文书的情况。

虽然本节旨在提供有关 MHC 主题的背景信息，但定义有意义的人类控制、自主性、责任和价值观一致等概念的复杂性表明，对这些定义的辩论超出了本文的范围。

3 有意义的人类控制模式

我们将重点关注设计和评估允许人类保留影响、理解和控制基于人工智能和自主系统的决策和行动的能力的系统。我们提出了五种复杂度不断增加的 MHC 模式，并在可能的情况下，以人为因素研究的既定结果为基础。

3.1 模式 1：实时有意义的人类控制

在 MHC-P1（即有意义的人类控制 - 模式 1）下，机器人的行为响应在人类控制指令后立即发生。远程操作就是一个例子，其中机器人由人类操作员远程控制。其他示例可能不需要太多的人为参与，比如根据一定的自动化程度设计交互 [16]，或者让人类扮演监督者的角色，允许他们在必要时介入。上述每种形式都符合模式 1 MHC 的条件；人类操作员根据实时信息采取行动，并对机器人执行实时控制。这种人机交互形式相对而言已经被充分理解，文献中提出了许多模型和理论 [18]。将其应用于道德敏感领域，例如军事行动^脚注1，我们采用图1中显示的模型。

该过程从人类拥有高质量态势感知 (SA) 的状态开始，这是操作员进行态势评估、行动方案生成和选择，然后执行必要控制的先决条件心理状态 [18]。这意味着人类对机器人当前的环境和活动保持准确的理解。在此基础上，人类可以执行实时控制，即决定当前情况下的正确行为，并相应地指示机器人。机器人应该准确遵循这些人类指令并执行人类确定的行动。图中的机器人图标也可以指一组机器人（例如，群体），只要它们可以被视为一个单一系统。行动的结果（隐式地由其向外的箭头表示）然后反馈给人类操作员的 SA，允许他们再次对其采取行动，形成控制回路。

总之，态势感知的心理能力是实现MHC-P1。这需要人类对工作、周围环境、机器人行为以及道德和法律上重要组件的彻底理解^脚注2。

示例 MHC-P1。

机器人技术的最新进展带来了各种低成本的中小型无人机，例如黑黄蜂和四轴飞行器无人机。这些无人机主要用于侦察和监视，可以由单个移动操作员操作。尽管如此，这些任务可能在道德上很敏感，因为它们可能会侵犯平民隐私，这必须与任务目标相平衡。遵循面向态势感知的用户界面设计指南 [18] 有助于设计出为操作员提供足够态势感知和正确控制选项的交互，以便操作员负责任地做出这些决策。

3.2 模式 2：分布式实时有意义的人为控制

在复杂的军事行动中，操作员维持 SA 和系统控制的工作量不断增加。解决这一挑战的方法是将控制任务分配给一组操作员，如图 2 所示。

维持 MHC-P2 的过程与 MHC-P1 的过程大致相似，尽管依赖于多个人类，并且需要他们获得和共享 SA 并共同执行控制。术语分布式态势感知在文献中用于指代由不同参与者之间的协作和信息交换而形成的对某种态势的集体理解。[20]。我们将此概念用作执行分布式控制的必要条件。凭借正确的心理状态，群体可以执行分布式控制，直接影响机器人的行动。

总之，分布式态势感知的集体心理能力是人类群体实现 MHC-P2 的关键。这允许群体成员拥有部分和局部的态势感知，但需要集体拥有完整的态势感知。

示例 MHC-P2。

收割者 MQ-9 是一种主要用于情报、监视和侦察任务的遥控飞机。它能够使用地狱火导弹和激光制导炸弹进行精确打击。收割者通常部署在冲突地区或怀疑有恐怖活动的地区。它可以由位于地面控制站 (GCS) 的飞行员和传感器操作员在世界任何地方操作。GCS 配备了先进的技术，允许操作员控制飞机、其传感器和武器系统。除了飞行员和传感器操作员之外，控制飞机的人类团队通常还包括一名监督整个任务的任务协调员和一名协助解释无人机收集的数据和图像的情报分析员。虽然每个团队成员都有自己的观点，但他们之间的沟通对于有意义的控制至关重要。

在许多方面，这项任务都充满道德色彩。一个明显的例子是在发动袭击的同时尽量减少附带伤害。此外，飞越特定区域并被人们看到（或不被看到）侵犯隐私并可能引起居民恐慌。当这种情况发生时，人类可以预测和解释它们。这就是为什么收割者必须保持在 MHC 之下的原因。在收割者的设计中特别注意允许人类操作员团队拥有分布式 SA，并保留 MHC-P2。操作员训练有素；飞行员和传感器操作员位于同一位置，可以与任务协调员和情报分析员进行远程通信；高分辨率视频片段使操作员能够检查目标附近是否有平民；卫星连接高度安全可靠；控制是实时的。

重要的是要认识到，在战争中使用无人机会带来其他道德问题，例如降低战争门槛并创造懦弱和不公平的竞争环境 [6]。虽然这些都是重要问题，但它们超出了 MHC 范式的范围。

3.3 模式 3：事先有意义的人类控制

由于各种原因，实时 MHC（如 MHC-P1 或 MHC-P2）可能并不总是可行的。首先，存在技术原因，远程连接可能不足以允许人类进行遥控或监督控制。这可能是由于环境情况（例如，水下、地下等）或敌人故意干扰无线电信号。其次，存在战术原因，其中操作可能需要静音模式以防止被敌人发现。第三，存在认知原因，因为速度可能不是可管理实时人为干预，例如以机器速度进行网络活动或为高超音速导弹提供防空。最后，还有规模的原因；即当机器人和基于人工智能的参与者的数量超过远程操作的阈值时（例如机器人群的情况）。

在某些情况下，我们认为该系统仍然可以在 MHC-P3 下进行控制。实时 MHC 和 MHC-P3 之间的主要区别在于，实时 MHC 在任务执行期间包括人类（人在回路中，人在回路上），而 P3 在任务之前涉及人类 [25]（人类作为委托人，人类在回路之前）。在 P3 模式下，机器人不会迅速响应人类的控制命令，而是会延迟数小时或数天。例如，人类为机器人提供一份关于如何处理道德问题情况的精确行动计划，之后机器人会自主执行该计划。这只在可预测的环境下有效，确保预定义的计划在执行过程中继续与实际情况保持一致。这一概念已以多种形式提出，例如剧本交互 [11]，或直接、设置和忘记控制。如果人类的指令足够精确，机器人就没有必要在执行过程中做出道德判断，因为这些判断已经由人类做出了。在适当的条件下，这将符合 MHC-P3 的条件。

MHC-P3 减轻了对 P1 和 P2 的一些要求的需求，例如对保证连接或可管理的反应时间的需求，但也引入了一些其他要求。 MHC-P3 的模型如图 3 所示。

MHC-P1 和 MHC-P2 要求人类对当前情况有实时的情境理解（即情境意识），而 MHC-P3 则要求人类对可能的未来情景有想象力。我们将其称为预期意识 (AA)^脚注3。在道德决策的背景下，AA 允许操作员预测潜在未来情况的所有道德方面，包括环境和机器人的行为。基于 AA，人类交出预先控制的指令，规定机器人被允许采取的道德上可接受的行动。在机器人执行动作期间，由于设置是一个设置后就忘记的系统，因此不会向人类教练提供反馈。

这个过程是否真正建立了 MHC，取决于人类在提供指令时的 AA 是否准确且正确地表示了操作环境。考虑这样一个示例：驻扎在基地的人员指示无人机沿着预定路线（避开神圣建筑）低空拍摄村庄上空的航拍图像。在执行此操作时，他们会在心理模型中考虑预期场景，例如包含神圣建筑的村庄以及避开这些建筑的拟议路线。人类在操作之前已经做出了不飞越神圣建筑的道德决定。如果预期情况的心理模型准确反映了执行期间面临的实际情况，则该人确实对机器人行使了 MHC。我们认为，如果场景中出现了未提供任何事先指示的不可预见的情况（例如，如果在路线上遇到葬礼队伍），这将表明预期意识中的错误可能导致 MHC 的丧失。作为一种需要人类努力的认知状态，当环境不太可预测时，AA 更难实现。在极端情况下，当环境不可预测时，实现 AA 几乎是不可能的。

总之，MHC-P3 允许人类在机器人采取行动之前执行控制。预期意识的心理能力是实现 MHC-P3 的关键。这意味着人类必须能够预测可能情景空间中的所有道德风险。

MHC-P3 示例

例如，考虑巡飞弹 IAI Harpy。这种武器被设计为发射后不管的武器。在人类指示系统攻击雷达系统（具有特定特征）后，Harpy 会在没有任何人为干预的情况下巡飞两个小时，搜索具有该特征的雷达，然后完全自主地攻击它。尽管道德敏感事件（即攻击雷达）发生在人类干预后长达两小时，但人类仍然处于控制之中，因为他们事先提供了详细的指示，并且拥有足够和正确的防空能力。Harpy 设计有特定的最大停留时间，以方便人类用户的防空能力，即人类只需提前两小时预测情况即可。此外，该系统不适用于城市等高度不可预测的环境。

3.4 模式 4：基于目标的有意义的人类控制

在高度不可预测的环境中，不可能事先为机器人提供一组精确的动作，因为这些动作取决于在操作过程中只会变得更加清晰的情况。此外，精确规定要采取哪些行动可能会证明对人类操作员来说是一项极其耗时的任务。在这些情况下，系统可能在 MHC-P4 下控制（图 4）。

在 MHC-P4 中，机器人通过基于目标的控制进行控制，其中人类通过为机器人提供目标来间接影响机器人的动作。与 MHC-p3 一样，MHC-p4 是一种先验控制模式，因此需要操作员的预期意识。此外，操作员必须了解系统如何在各种情况下将其目标转化为行动。我们将此属性称为系统理解，它涵盖了操作员对算法、数据结构、决策机制和 AI 系统潜在限制的了解。虽然基于目标的可控系统确实需要一定程度的 AI 来将其目标转化为行动，但这种 AI 并不一定需要很复杂。例如，考虑一个导航系统，用户在其中输入目的地（即目标），然后系统自动绘制路线（即选择行动）。使用这样的系统同样不会导致完全出乎意料的行为：用户知道道路基础设施允许到达目的地（即对环境的预期意识），并且系统遵守基本的交通规则（即系统理解）。此示例还说明，从用户的角度理解系统并不需要成为具有详细知识（例如神经网络架构或机器学习参数）的 AI 专家；在更抽象和行为层面上掌握系统就足够了。

目标和行动之间的区别可能会引发深刻的哲学争论。在控制的背景下，我们强调，虽然行动通常指定精确的行为，但目标为代理提供了显着的行为自由，即部署规划器来生成和选择行动以达到目标的自由。区分两者可能并不总是很简单。我们建议将它们视为沿连续体存在的，而不是严格分开的类别。

总之，要实例化 MHC-P4，执行先前基于目标的控制的人类需要能够预测操作条件。此外，他们必须对系统有足够的了解，以预测机器人在这些条件下的行为，以防止不道德的行为。

示例 MHC-P4

屠宰机器人 [19，24] 于 2017 年发布，是一部提高认识的视频，旨在解决军备控制问题。它描绘了一个未来的虚构场景，其中配备人工智能和面部识别技术的低成本微型无人机群被用于根据预先上传的面部图像瞄准和暗杀政治对手。在几个方面，该系统类似于反雷达巡飞弹（MHC-P3 示例）。与巡飞弹一样，它是一种自杀式无人机，旨在根据事先控制部署致命武力。然而，一个显著的区别是，反雷达弹药接收详细的行动级指令（MHC-P3），而屠杀机器人的操作方式更松散定义的目标（MHC-P4），以面部图像的形式呈现。为了满足预期意识和系统理解的要求，操作员必须了解系统在所有可能场景中的行为方式。这包括了解系统是否会攻击被无辜旁观者包围的目标，如何对相似的个体进行分类，以及如何处理人脸不清晰、难以识别的情况。鉴于这些场景和面部识别算法的复杂性，操作员不太可能满足这些标准，导致屠宰机器人无法充分控制，并且按照我们的标准是不道德的^脚注4。

请注意，目标可以比这些示例中讨论的目标抽象得多，可以想象系统接受更高级别的目标，如目标所有敌人或赢得战斗。显然，由于模糊性不断升级，MHC-P4 不足以控制这些系统。

3.5 模式 5：人机协作

MHC-P4 对操作员的心理资源要求很高；他们必须能够理解所有相关的潜在场景，并准确了解系统在这些条件下会如何反应。这对于更复杂的场景是不可行的。为了允许人机在复杂的道德敏感领域进行交互，需要一种更加动态的控制模式，这种模式独立于实时控制（例如 P1 和 P2），也独立于设置后就忘的控制（例如 P3 和 P4）。相反，控制模式应在需要时支持多级协调，并应在可能的情况下允许无通信时段。此外，控制应注重人与机器人的联合相互依存活动。在文献中，这被称为人机合作 [9]，这是一种受人类团队合作方式启发的人机交互范式（图 5)。

尽管团队合作对于人类来说是本能，但将其编程到计算机中已被证明是一项难以实现的任务。最复杂的人工智能系统才刚刚开始展现出团队行为的基本形式 [25]。因此，基于人机协作的 MHC 尚不可行。从控制的角度来看，当人类进入团队关系时，就会出现一个关键时刻。人类需要合理的团队信任，机器人和人类会做正确的事情，在必要时进行协调，并追求正确的目标。这种信任不是瞬间形成的，而是随着时间的推移逐渐增长的。因此，团队合作会反馈给执行工作的人类，从而强化信任建立过程。由于人类和机器都参与了基于团队的任务执行，因此人类不能像设置和忘记式交互那样完全脱离，而必须保持准备就绪状态 [26]。主张用机器代替人类的人可能会认为这一方面是这种模式的缺点。尽管如此，如果我们的目标是在相对简单的“设置并忘记”场景之外的更复杂场景中部署 MHC 下的人工智能，这一点至关重要。尽管间歇性参与，但与实时控制相比，人类的工作量要小得多，因为他们可以同时管理多个系统，并在可能的情况下将任务转移给机器。

总之，MHC-P5 可以被视为地平线上的一个点，人类和机器可以像人类团队一样协作。实现这种程度的合作依赖于人类对机器人的能力及其作为团队成员的行为有合理的信任。

示例 MHC-P5

在军事搜查中，两名士兵和两个狗形机器人作为一个团队合作，清理大楼。士兵在后方坚守阵地，而机器人则在狭窄和危险的空间中侦察前方。一个机器人利用先进的传感器探测到隐藏的隔间，向士兵发出警报，士兵随后确保该区域安全并进一步调查。与此同时，另一个机器人使用热成像技术识别藏在壁橱里的叛乱分子，引导士兵逮捕此人。

4 使用控制模式

到目前为止，我们已经介绍了五种 MHC 模式，并探讨了它们对控制人类的不同认知要求。我们的讨论并不详尽，因为还有其他要求，例如自我控制和意图一致 [23]。我们专注于我们认为在军事 MHC 环境中最重要的模式和属性，特别是那些与设计有效的人机团队相关的模式和属性。图6中显示了摘要。

图中的灰色条显示了 MHC 在控制指向性（控制什么？）、控制时间（何时执行控制？）和控制参与者（谁在执行控制？）维度上的主要设计选择。鉴于每个控制维度包含三个选项，这导致 27 种可能的模式。事实上，这些模式中的每一个都是可行的选择，其中许多尚未在本文中讨论。例如，人与机器的实时机器动作控制应用于半自动驾驶汽车的车道辅助功能，其中驾驶员和车辆都参与转向。由一个人进行的实时机器目标控制应用于监督控制站，人们通过设置简单的航路点和阈值来指挥船舶或飞机的运动。从这个意义上讲，本文概述的五种模式可能看起来有些随意。但是，我们之所以选择它们，是因为它们代表了 MHC 讨论中正在辩论的最重要的军事系统类别。

另请注意，在不同的主要设计选项中，通常存在一系列价值观。例如，在基于动作的控制和基于目标的控制之间（如第3.4节中所述），或在一个或多个控制参与者之间，或以分钟而不是月或年为单位的先前控制。为简单起见，图中省略了这些细微差别。

图 6 中的紫色线条表示了 MHC 的模式。这些线条还表示了主要设计选择所遵循的次要人、机器和环境要求。这为选择正确的控制模式提供了第一个视觉线索：应选择一种控制模式，以便建立一组可行的次要要求。如前所述，在缺乏可靠通信的情况下，不应选择 MHC-P1。 MHC-P3 规避了这一要求，但提出了额外的要求，例如需要预见意识。

4.1 满足次要要求

为了更好地理解选择合适的 MHC 设计模式，我们将在下文中深入探讨次要要求及其后续影响。

数字越高的 MHC 模式就越需要复杂的技术。基于动作的控制不需要人工智能，因为机器不负责将目标转化为动作。另一方面，基于目标的控制需要可解释的人工智能[22] 来支持人类系统理解，从而引入额外的复杂性。为了控制人机团队的联合活动，需要团队智能 [10]，使系统能够掌握心理模型，采用合适的沟通策略，管理任务相互依赖关系等。虽然现代大型语言模型取得了一些进展 [27]，这种形式的人工智能仍然有限，目前仍不足以实现人类级别的团队合作。

关于分配责任和问责制，数量越多的 MHC 模式带来的挑战就越大。首先，控制参与者的数量越多、越多样化，就越难指定某人负责。其次，不太直接的控制形式（例如基于目标或基于联合活动）为控制者逃避责任提供了机会。

作为一般设计原则，必须有一个令人信服的理由来使用更高级的 MHC 模式，因为这样做需要更复杂的系统架构。如前所述，鼓励采用更高级 MHC 模式的四个任务因素包括快速的运行节奏、需要在静音模式下运行、通信链路退化和系统元素的规模。另一方面，当任务具有高度不可预测性和风险的模式。较低模式的 MHC 可能更适合处理此类工作。如果设计得当，MHC-P5 将能够兼得两全其美。

5 结论

在本文中，我们介绍了五种有意义的人类控制 (MHC) 模式，根据具体情况，这些模式可以满足军事中负责任的 AI 的关键要求：确保有意义的人类控制。至关重要的是要认识到，没有任何一种模式应该被视为天生优于其他模式。每种模式都有自己的应用，具体取决于条件。数字的增加表明设计、测试和责任分配方面的复杂性增加。根据各种因素，一个级别可能比另一个级别更适合某种情况。

从人类对 MHC 模式的要求开始，可以推动使用条件、交互设计、测试和验证以及确保问责制的实际要求。MHC 的前两种模式基于相对容易理解的情境意识概念。我们建议 MHC-P3 和 MHC-P4 应该基于人类的预期意识和系统理解，而这些概念远不为人所知。需要进行更多研究来了解它们与 MHC 的关系，以及如何设计和评估促进预期意识（例如行动过程模拟分析）和系统理解（例如使用可解释的人工智能）的用户界面。这需要跨学科的方法和实验，包括人为因素和道德，以及人工智能专家和军事操作员。MHC 的第五种模式增加了一层额外的复杂性，其中人类和机器组成了一个团队。了解如何开发机器作为队友来维持 MHC 可以被视为研究领域的重点。

通过更精确地定义 MHC 要求，本文旨在加强正在进行的国际人工智能监管对话，无论是在军事领域还是其他领域。只有当 MHC 以具体和可衡量的标准来定义时，它才能真正成为一个有意义的概念，服务于更高的道德目的。