简介

如果说关于人工智能（AI）系统的设计和应用，以及更广泛地说，关于AI系统在社会中的作用，存在着激烈的辩论，那就不足为奇了。多位作者讨论了人工智能系统的部署对正义、欢乐和隐私的危害[例如，1、2、3、4]

此外，越来越多的人似乎同意需要以“人为中心”的方法来设计和应用人工智能系统。例如，在其《值得信赖的人工智能道德准则》中，欧盟委员会人工智能高级专家组使用了“以人为中心”一词，指的是“通过确保尊重基本权利，包括《公约》中规定的基本权利，努力确保人的价值观对人工智能系统的设计、部署、使用和监控至关重要”的方法。，《欧洲联盟基本权利宪章》[5:37]。他们的目标是使用人工智能系统增强人们的能力：支持和增强人类的智能和能力；不要取代人、人的尊严或自主，也不要腐蚀人的能力

这一观点将我们引向一个关于“以人为中心”的人工智能方法的关键问题：我们如何组织人与人工智能系统之间的协作？这个问题涉及人机协作（HMT）：人和机器之间的协作组织，作为队友，他们在其中共享和协调任务[6]和“责任” 责任位于倒逗号之间，因为人工智能系统是否能够承担责任尚有争议。我们假设只有人才能拥有道德代理和道德责任，而机器不能[7,8,9,10,11]。此外，大多数人都会同意，即使机器可以承担某种责任，但在（遥远的）将来，这些责任与人们通常承担的责任在性质上会有很大的不同

下面，我们将探讨可用于组织HMT和促进MHC的各种伦理观点。我们将探索高度自主的无人飞行器、^脚注1或无人机的不同应用设计，以及调解无人机操作员与无人机交互的决策支持系统（DSS）（关于其他类型无人机的探索，请参见[12]）

在军事背景下，对于这种自主系统，许多人提出了有意义的人类控制（MHC）的要求[13，14，15]。该要求通常适用于能够使用致命武力的系统，旨在确保其操作员能够在这些系统上行使MHC，例如武装无人机。尽管这一要求很重要，但我们已经注意到，在讨论中提到能够行使致命力量的自主系统的概念可能会产生两极分化的影响。一些人认为，例如出于战略原因，我们应该建立这样的系统，并相信MHC能够有效实施。另一些人则认为MHC太难实施，因此全盘拒绝此类系统。还有一些人出于原则原因主张禁止这种自主的武装系统

与其加入这场两极分化的讨论，我们将把我们的探索重点放在非武装无人机上：只有传感器和无线电通信的无人机，这些无人机无法行使致命武力，但在道德敏感的环境中发挥作用

此类无人机通常用于侦察任务，以支持部队和指挥官做出决策。然而，必须理解，这些决定可以导致能够使用致命武力的行动 例如，无武装无人机可以参与目标获取过程，即：识别和评估防御或攻击行动的潜在目标。换句话说，非武装无人机也可能参与武装活动和使用致命武力[16]。尽管如此，我们关注非武装无人机的意图是将我们的研究与致命自主武器系统（LAWS）的设计和使用的辩论分开[17,18,19,20,21,22]

我们将设想各种方式来组织HMT以促进MHC。我们将假设无人机自主执行与侦察有关的任务。此外，无人机通过DSS向操作员（HMT）提供传感器输出以及附加信息。然后，操作员利用其人类能力进行判断和决策（MHC）

我们的论文增加了四倍的价值。首先，我们探索HMT如何促进MHC。我们建议如下这是对MHC研究机构的补充，该研究机构专注于将伦理推理“编程”到系统中（下文将对此进行详细介绍）。第二，我们关注非武装无人机，它们无法使用致命武力。这种方法使我们能够阐明军事系统的一些道德问题，否则这些问题将被关于自主致命武器系统的两极化辩论所掩盖。第三，我们遵循多元化的道德观，我们转向四种不同的道德观：功利主义、义务论、关系伦理和美德伦理。我们认为，这有助于超越对基于效用的推理（在例如计算机科学中占主导地位）和基于义务的推理（例如法律中占主导）的默认关注。第四，我们使我们的研究尽可能切合实际：我们使用了一个现实的场景，并展示了系统在实践中可能的样子。我们的研究基于与执行军事任务的人的合作，他们与我们分享了他们的经验。从这个意义上说，我们的工作是对在特定应用环境之外研究MHC的研究的补充

我们的论文进行如下：我们首先讨论了HMT和MHC的概念。然后我们介绍一个虚构的场景，我们将其用于我们的探索。然后遵循四个部分，其中我们讨论了四种不同的伦理观点，我们用这些观点来设想组织HMT和促进MHC的四种不同方式。我们将讨论每个伦理观点的好处和局限性。最后，我们讨论了我们探索的几个含义

组织人机团队以促进有意义的人的控制
MHC的要求旨在确保人的感知、人的判断和人的决策以这样的方式整合到系统的控制中，即相关人员“最终应保持对系统的控制，并因此在道义上对系统负责”，关于（致命）军事行动的相关决定[23:1]。术语有意义的不包括涉及过多人为控制的方式，例如，人们需要对系统进行微观管理的方式，或者人的控制过少的方式，比如，人们不假思索地遵循系统的行为

在MHC的背景下，Shneiderman最近的一篇文章[24]是相关的。他建议将计算机自动化和人类控制视为一个轴上的对立，其中一个轴的增加导致另一轴的减少，而是两个垂直轴。这种观点提供了将高度计算机自动化和高度人工控制有效结合的方法；参见图1。我们可以将在无人机中实现高度自主功能的野心想象为图1中从左到右的移动：向高计算机自动化迈进，这伴随着警告不要过度（右），例如，将道德敏感的任务交给无人机，而不是交给更能完成这些任务的操作员。同样，为士兵提供决策支持系统，使他们能够将感知、判断和决策整合到系统的控制中，这一雄心壮志被视为从下到上的转变：朝着高度人的控制迈进，这伴随着警告不要过度（顶部），例如。，其中操作员执行过多的任务或重复的任务，而系统可以做得更好
图。1
“可靠、安全和值得信赖”的人工智能需要适当水平的计算机自动化和人工控制[改编自24]
全尺寸图像
<我们对高度自主无人机的关注要求我们专注于操作员和无人机之间的合作。我们建议，决策支持系统（DSS）可以支持这种合作。它可以收集、分析和呈现信息，例如，作为特定风险的“红旗”，运营商可以考虑这些信息，并将其与他们的专业感知和判断相结合，从而做出更好的决策。HMT过程的设计，包括操作员和DSS之间的交互，至关重要。例如，如果系统（意外地、无意地）鼓励操作员始终如一地忽略其输出，或始终如渝地遵循其信息，则会破坏其支持决策的目标。事实上，不会有非常少的有意义的人类控制。这解释了我们对运营商和DSS之间交互设计方式的关注

我们目前的目标是探索组织HMT如何促进MHC。这可能与其他研究人员截然不同。其他人可能将MHC理解为纯粹的远程操作，或将其理解为机器的“编程”伦理。相比之下，我们将MHC理解为组织HMT，使人们能够拥有MHC；这通常涉及设计与系统交互方式的程序，或使操作员能够行使MHC的特定用户界面设计

场景：一架手无寸铁的监视无人机
我们场景的背景是一个（虚构的）国家，在这个国家中，一个分离主义、叛乱团体对人民使用恐怖主义，涉及严重破坏安全、正义与和平。该州政府要求联合国提供支持。作为回应，安理会发布了一项（虚构的）决议，授权一组国家组织一个和平特派团，以支持政府恢复安全、正义与和平。该特派团的目标包括防止冲突和暴力升级，支持政府的行政、法治和执法。这是一场非国际武装冲突，其中《日内瓦公约》共同第3条是关键^脚注2这条规则禁止对没有参与冲突的任何人使用武力（非战斗人员）；这些人包括公民，也包括不再参与冲突的士兵，例如因为放下武器、受伤或生病而不再参与冲突。这些人需要得到人道的对待和照顾，不受性别、宗教、文化等歧视，以下原则至关重要：区分，需要区分战斗人员和非战斗人员 相称性，需要考虑并权衡与目标相关的武力使用；和预防，需要仔细评估涉及使用武力的行动的准备和执行过程中的问题

该场景涉及两名士兵和一架无人机组成的团队。他们使用无人机进行侦察和监视，以获取情报和“态势感知”。无人机高度自主；它在指定区域飞行，并避开其他区域；给定其特定任务，例如调查一系列特定位置或目标，它计算其路线；它使用传感器数据来控制和修改飞行模式，例如在建筑物周围飞行以从多个角度获取视图；并且，在通信故障的情况下，例如，当无线电被干扰时，它会在电力耗尽之前飞回发射地点。一名士兵是队长，负责与总部的沟通。另一名士兵操作无人机，例如监控其摄像头和其他传感器的输出；这是通过DSS实现的，DSS运行在类似平板电脑的设备上

部署高度自主运行的无人机带来了一系列要求和挑战，特别是：要求操作员能够理解系统；人类感知、认知或判断的局限性或偏见；以及与将任务委托给机器相关的管理或风险[25]

团队的任务是监控特定区域，见图2。在军事词汇中，这是检测、识别和识别（DRI）的过程，可以指建筑物、物体或人。首先，它们检测可能感兴趣的建筑物、物体或人；然后他们尝试识别它；然后他们需要识别它。这里，区分的原则是关键。根据无人机的输出，操作员评估照片中的人是战斗人员还是非战斗人员。他们还可以使用其他数据源以及自己的感知和判断，并使用诸如“敌军，威胁”、“敌军、无威胁”、非战斗人员、重要”或“非战斗人员，不重要”、己方部队、重要或“己方部队，不重要的”等类别。此类分类行为可能会产生重大的现实后果；他们可能会采取行动，比如“转达总部进行进一步调查”，这可能会导致选择使用（致命）武力
图。2
场景：两名士兵和一架无人机，任务是侦察
全尺寸图像
无人机向DSS提供数据，使操作员能够评估情况并提出决策。这些决定由团队负责人做出。我们设想一个系统，可以从数据库中收集额外的信息，并进行计算，例如正负（见下文）。此外，我们设想系统在屏幕上显示这些附加信息，以支持操作员的感知和判断。因此，有三个信息组件进入决策支持系统：无人机的传感器数据；来自外部数据库的附加信息；以及人类的感知和判断

至关重要的是，无人机不仅仅是监视工具。它们在塑造联合国特派团与当地居民的关系方面也很重要。当地居民可能对国内冲突和外部各方的干预非常谨慎。联合国特派团及其使用的无人机可能被冲突双方诬陷为“敌人”。例如，在村庄上空飞得太低会扰乱居民，即使无人机没有武装，也会被视为威胁

四种伦理观点

在接下来的四个部分中，我们将转向四种不同的伦理观点，以设想组织HMT和促进MHC的不同选择。我们认为，这四种观点都有价值；值得注意的是，我们将认为它们可以并行使用。我们将设想设计和部署无人机和相关DSS的不同选项。我们选择使这些选项尽可能实用，例如，为用户界面绘制草图。请注意，这些是为了说明；它们决不是要这样实现的

此外，如果您愿意，我们的探索可以最好地理解为思维实验，如小车问题，但有四种变体，有更多变量，有更多开放端。我们用相当宽泛的笔触描绘情境，以探索这些情境可能是什么样子（并留下许多问题没有答案）

DSS旨在维护运营商的道德机构，使其能够行使责任。它通过启用两个责任条件来实现这一点，即信息和控制[26:第12页] 信息是指运营商可以访问有关当前事务状态和可能的未来事务状态（可预见性）的信息的要求控制是指士兵的行动自由，这意味着他们可以解释系统的输出并使用自己的判断。从这个意义上讲，无人机和决策支持系统收集的信息可以理解为“道德拐杖”，Haselager和Mecacci[27]引入了这个术语，指的是使用人工智能系统作为工具来支持和增强人的道德能动性，而不是试图将道德纳入人工智能系统

我们选择了以下四种伦理观点：功利主义、义务论、关系伦理和美德伦理^Footnote3对于每个视角，我们首先讨论其特定的假设和承诺，然后设想如下：无人机的功能，我们的目标是它尽可能地自主行动（不要太多，也不要太少）；以及一个DSS，用于调解HMT（士兵和无人机之间）并使士兵能够进行MHC训练。DSS还与通信功能接口，例如检索附加信息或与总部人员通信。我们遵循Schneiderman的[24]建议，将最优计算机自动化和最佳人控制相结合，以提高可靠性、安全性和可信度。无人机和DSS的自主性相辅相成

四个视角中的每一个都关注相同情况的不同方面，从而为设想HMT和MHC提供了不同的起点。我们的探索灵感来自阿尔法诺[28:14-18]对道德哲学中五个关键概念的讨论：耐心^脚注4；机构社会性；自反性；以及时间性。他从不同的伦理角度讨论了这些不同概念的相对权重（与我们讨论的四个概念相同）。基于此，我们建议透视有助于找出相同情况的不同相关方面：
功利主义透视关注耐心，对决策或行动的其他参与者的潜在危害；它还讨论了随着时间的推移，后果对我们的影响（时间性），以及对互动和关系的影响（社会性）

道义学家的观点引起了人们对人类能动性的关注；它为尊重、保护和提高人民行使自治的能力提供了前景和特权；而且，由于其关注理性，它还强调自反性

关系伦理学（可能不足为奇）关注人与人之间的关系和互动（社会性），以及这些关系和互动如何随时间变化（时间性）；它还研究了对这些关系的潜在危害（代理和患者）
美德伦理学关注学习和发展的过程，以及人们如何培养相关美德（时间）；它还强调了人类的能动性和社会性，人们如何找到繁荣和共同生活的方法

功利主义观点
选择和行动的结果是功利主义方法的核心。对于每个选择或行动，都会评估潜在的积极和消极结果。这一观点的支持者杰里米·边沁（Jeremy Bentham）根据人们的积极或消极经历来理解结果；作为“快乐”和“痛苦”。在我们的情况下，可以根据任务的积极和消极结果来评估执行任务的不同选择。最好的选择是好处最多或最大，缺点最少或最小的选择<脚注参与AI系统设计和应用的人通常会被这类推理所吸引，因为效用函数是问题解决算法中常见的概念，例如约束满足、规划和强化学习[例如，29]

尽管它们很有吸引力，但功利主义的方法还是受到了批评，经常以外科医生选择牺牲一名患者来摘取器官，以挽救其他五名没有这些器官就会死亡的患者为例。这样的例子引起了人们对功利主义的一个关键挑战的关注：必须比较和权衡不可通约的价值观：“不能简化为一种共同的衡量标准”[30]的价值观，如“本国军队的安全”和“当地人的心”。另一个挑战涉及问题的范围；哪些结果被考虑在内，哪些结果被排除在总数之外？想想彼得·辛格（Peter Singer）的一个例子，一个孩子在附近的浅水池塘中溺水身亡。大多数人都会救这个孩子。但他们对在遥远的国家将儿童从疟疾或饥饿中解救出来犹豫不决，可能是因为他们不太直接可见。我们可以想象空间和时间上的遥远。我们还需要考虑到未来的结果，例如下一代在气候危机中的经验

在我们的案例中，我们将重点关注部署无人机的任务区域以及无人机部署后几天的时间跨度中出现的利弊

无人机
通常，我们希望设计和编程无人机，使其能够尽可能自主地工作。无人机有摄像头和其他传感器来收集数据，并使用软件来解释这些数据。我们假设它可以创建一个可能的操作列表，并计算每个操作的效用，或u：该操作的利弊总和。我们还假设无人机可以获得评估参数的措施，如：自身部队的安全（t）；当地人口的“心智”（p）；以及无人机安全返回基地的能力（r）。我们可以将权重添加到这些参数中，这样部队的安全就有很大的权重（5），群众的情绪平均权重（3），无人机返回家园的能力就很小（1）：u = 5*t + 3*p + 1*r。这些权重需要符合特派团的《交战规则》以及军队母国和当地的各种文化和道德关切和价值观

现在，假设无人机在某一时刻必须在高空飞行之间做出决定，这对自己的部队来说是可以的（2），对群众的情绪来说是中立的（0）；对于无人机返回基地（2）或在低高度飞行的能力更好，这对自己的部队来说是可以的（2），对于群众的情绪来说更糟，因为这可能会让他们不安（-2），而对于无人机返回基地的能力（1），它将计算出u = 12用于高空飞行（5*2 + 3*0 + 1*2），并且u = 5用于低飞（5*2 + 3*-2 + 1*1）。然后无人机将“选择”在高空飞行

这个例子是一个粗略的简化；在现实中，将有更多的参数，并且为每个参数确定合适的权重和可靠的值将是一项挑战。此外，此类算法必须处理预期结果的不确定性，否则可能需要部署更复杂的非线性效用函数。顺便说一句，显示不确定性，例如给出特定可能性的确定程度，可以支持操作员使用他们的判断和判断力

决策支持系统
在高空或低空飞行之间进行选择是一个相对简单的决定（但在军事环境中肯定不是微不足道的），将此类决定委托给无人机似乎是合理的。（请注意，对于MHC，因此在我们讨论的所有四个场景中，道德上重要的决定都是由人做出的。）让我们想象一个支持士兵根据功利主义方法做出决定的系统；有关示意界面示例，请参见图3^脚注6
图。3
用于实用方法的决策支持系统，带有绿色和红色条带（加号和减号），操作员需要对其进行评估，并控制评估范围（S、M、L）
全尺寸图像图。4
用于道义方法的决策支持系统，带有一个涉及相关职责和权利的弹出窗口，并建议与相关指挥官进行沟通和协商
全尺寸图像
该界面显示了无人机无法正确分类的物体，以及操作员可用于决策的一些信息。根据对无人机收集的数据的解释，该系统评估该物体与当地平民的积极结果相关，例如，保护他们的安全和“心灵”（绿色小条，正面），并可能对自身部队的安全构成相当大的风险（红色大条，负面）。界面还显示，在进行这项评估时使用了一个中等规模的范围，从地理上看有几公里，从时间上看有几个小时。或者，操作员可以单击S或L，分别使用较小范围（例如，小于一公里；小于一小时）或较大范围（例如直到100公里；直到48小时）进行新的计算。后一种评估可能包含更多的不确定性

彩色条、这些条上的标签以及范围大小的选择是提高DSS透明度的方法。指挥官可以选择在做出决定之前进一步调查情况，并可以使用横杆上的标签来指导此类调查。此外，这些信息促进了他们的问责制；他们能够更好地解释和证明如何根据哪些信息做出决策

MHC的概念在选择而不是让无人机做出关于目标捕获的决定，而是让操作员“参与”人类判断中是显而易见的。孤立地说，无人机将“仅仅”计算利弊，而通过这种组织HMT的方式，借助DSS，人类操作员能够运用其自由裁量的能力，做出更好的决策

道义视角
或者，我们可以使用道义视角，将人类尊严和人类自主置于中心地位。它始于道德代理人的善意和他们对道德法则的敬畏伊曼纽尔·康德是义务学的关键人物。道义的观点将阐明一个人对其他人（道德患者）的责任，以及这些其他人的权利，这些权利需要得到尊重和保护。在我们的情况下，这需要评估不同的选择，看看它们如何帮助履行相关职责，以及它们是否有助于尊重和保护相关权利。因此，我们首先需要确定哪些道德义务和权利与我们的场景相关^Footnote7虽然承认道德义务和法律责任之间的区别，但国际法中关于冲突和战争的规范可以作为一个起点，特别是《日内瓦第四公约》，该公约涉及对战争地区平民的人道主义保护义务，道义学中的一个关键概念

我们将集中讨论两个挑战：确定在特定情况下哪些职责和权利相关，以及权衡或平衡各种职责和权利；以及在以指挥、服从和遵守为特征的军事环境中处理职责和权利

关于第一个挑战，士兵在行动中（“战火”）很难确定相关的职责和权利。从抽象的角度来看，大多数人都有保护人权的义务。然而，在实际情况下，士兵需要考虑并平衡各种职责和权利。此外，这些可能会发生冲突；e、 g.与敌军作战的责任和尽量减少附带损害的责任。在实践中，士兵们接受了广泛的训练，以应对不同的任务，特别是因为他们通常需要在时间压力下做出决定

关于第二个挑战，我们需要认识到，在军事背景下，由于其指挥链，以及服从和遵守的需要，人类自治的概念——义务学中的一个关键概念——是相当复杂的。一方面，士兵必须服从命令。另一方面，预计他们将在解释命令时运用其自由裁量权

道义的观点也吸引了为自主系统开发软件的人；瓦拉赫和艾伦称之为“自上而下的道德”[32，第6章]。基于规则的方法的支持者包括，例如Thomas Powers[33]

无人机
首先，我们需要澄清，我们假设无人机不是道德代理人；它缺乏“善意”的能力。我们需要为无人机设想一个淡化版的义务论。我们可以按照特定规则设计和编程无人机，例如，停留在某个区域内，如图2中的矩形，或停留在另一个区域外。这些看似微不足道的动作可以产生真正的文字效果；军事冲突因侵犯边界而升级

我们可以尝试在无人机中加入的其他规则将是交战规则-军事组织的规则，定义特定军事能力可以或不能使用的情况、条件、程度和方式 参与规则通常指的不是目标或结果，而是手段和措施。我们可以将禁止或限制特定行为的无人机规则编程

此外，道义学通常取决于道德代理人的实际推理能力，以及参与道德审议的能力。可以说，无人机不具备这些能力。实践推理的淡化版本将是“如果-那么”规则的应用。如果这是这种情况，那么这个或那个规则适用如果你看到平民，那么他们需要得到保护。如果你看到自己部队的安全受到严重威胁，你建议对该物体进行进一步检查，这可能导致操作员或指挥官决定继续进行目标捕获

决策支持系统
道德代理人将需要运用他们的自由裁量能力，以补充无人机的推理。为此，我们可以想象一个具有如图4所示用户界面的系统。
该系统可以通过提供两种信息来支持士兵的自由裁量能力，这两种信息对应于上述两个挑战：识别相关职责和权利的挑战；以及在需要服从的情况下处理义务和权利的挑战

我们可以想象，该系统提出了可能相关的义务或权利，例如《日内瓦第四公约》第4条规定的保护平民权利的义务。因此，士兵们仍然需要评估这些是否确实相关，并解释这些职责和适当的权利。此外，我们设想了与指挥官沟通的功能。可以联系他们进行实时咨询；这可以为问责制创建一条“轨迹”，如果以后需要重建决策过程，这将非常有用

关系伦理学视角
功利主义和义务论都出现在欧洲启蒙运动中（尽管它们的根源可以追溯到几千年前），它们目前的解释基于这样的假设，即人们是独立的个体，需要在伦理学中应用客观性和合理性。目前，我们将讨论关系伦理，这可以理解为对功利主义和义务论的反应，并作为对其若干局限性的补救，特别是比较不可通约价值观的挑战，以及结合冲突职责的挑战。关系伦理借鉴了护理伦理和女权主义伦理[34]，并将人们理解为相互依存（而非独立）的人，理解为参与各种特定和具体的关系（不完全是“客观的”），不仅是理性的，而且是感性的。关系伦理通常侧重于特定的具体情况，而不是一般原则或普遍规则。此外，护理伦理和女权主义伦理通常侧重于关系的质量和权力的分配

有趣的是，关系伦理学已经在人工智能设计和应用的讨论中提出，例如，David Gunkel[35，36]、Mark Coeckelbergh[37，38]和Abeba Birhane[39]

如果我们将这种方法应用到我们的案例中，有两个挑战突出。首先，选择包括和排除谁的挑战；确定“相关”行动者。我们在其他方面遇到了这一挑战，但当涉及到人际关系时，这就更加困难了。关系方法承认，我们与其他参与者一起，嵌入了一个相互依赖的网络中。第二，与这些行动者适当互动的挑战。关系方法侧重于特定和实际情况下的人。有些人认为这是一个缺点；一个人不能进行（简单、理性、功利的）计算，也不能遵循（一般、客观、义务的）规则这取决于”。相反，这种关注可以被视为一种优势。事实上，正确的做法取决于具体和实际的背景以及所涉及的参与者及其不同的关系。在面对面的情况下，我们“阅读”各种线索（道德敏感性），并将这些考虑在内。然而，当相互作用被调解时，我们需要提供这些线索的方法。如果无人机收集我们在屏幕上看到的信息之外的信息并呈现出来，会怎么样

无人机
关系伦理方法将设计和编程无人机，使其能够与相关行动者和利益相关者进行适当互动。这可能需要无人机改变飞行模式，以更好地与地面上的人联系。例如，无人机会在宗教建筑或文化活动周围飞行，向人们发出信号，表明它“理解”直接飞过这座建筑或活动是错误的。无人机将向平民传达亲社会的信息；与联合国人员佩戴的蓝盔相当，以表明他们保护平民的任务

根据具体和实际情况，无人机可以进入不同的“参与模式”，如“亲社会”或“中立观察者”。然而，这将是相当具有挑战性的，因为众所周知，计算机在常识和开放式社会交往方面表现不佳[40]。同时，人们倾向于对机器人做出情绪反应，或将情绪归因于机器人[41]。此外，无人机的亲社会行为也可能产生不利影响，例如，当它首先表现出亲社会行为，然后改变其行为时，会影响平民对它的信任。需要注意的是，机器人的行为可以，也会被用来欺骗[42]

另一个方面涉及无人机收集和呈现的信息类型。这些数据将（也）与各种关系有关，操作员需要解释和考虑这些关系，从而扩大他们的情境意识。人们可以想到这样的信息：医院不仅可以提供医疗服务，还可以用来分发食物和淡水。它在当地社区中占有一席之地，并调解各种关系。这种类型的信息使操作员能够对情况有更细粒度的了解

决策支持系统
如果士兵能够应用关系视角，他们不仅需要了解无人机的图像，以及这些图像中的演员，这些演员之间的关系，以及更广泛的背景。不可能完全理解这些参与者、关系和背景。然而，该系统可以提供士兵可以使用的信息，以便更好地理解。人们可以想象一个用户界面，它字面上“给特定的人贴上一张脸”。例如，一个被标识为医院的对象。可以找到医院经理的名字和他们的照片。参见图5。此外，用户界面可以从数据中提取以添加更多信息；医院在就业、食物和水分配方面发挥着作用。对医院的损害也意味着对就业、粮食安全和供水的损害
图5。5
关系伦理方法的决策支持系统，包括相关参与者、其功能和关系的信息，来自外部数据库（不存在的人的照片，来自thispersondoestexist.com）
全尺寸图像
这些示例（以上）是根据正确的信息提供的。然而，在现实中，可能很难测试信息的正确性。“来自另一方”的好战者可能以公民身份出现，或利用公民进行伪装。要正确地将“地面上”的人识别为朋友或敌人是出了名的困难。当然，关系方法不能解决这个问题。然而，它所能做的是提供额外的信息，包括潜在的冲突信息，士兵可以考虑这些信息，作为其自由裁量权的一部分。关系方法的附加价值在于扩大情境感知的范围，这可以改善决策
美德伦理学的观点起源于古希腊，尤其是亚里士多德的《尼科马赫伦理学》。自20世纪80年代以来，人们对美德伦理的兴趣越来越大，这是由菲利帕·福特[43]和艾莉斯达尔·麦金泰尔[44，1981年首次出版]等出版物引发的。美德伦理的一个关键目标是使人们能够培养相关的美德：根据与当前情况相关的美德思考、感受和行动的能力；向他们的潜力发展（telos），并过上好日子（eudaimonia。它的目标是通过创造人们能够共同生活的社会来促进人类的繁荣（polis）。这种方法的支持者是香农·瓦勒；在技术与美德（2016）中，她提倡借鉴美德伦理，设计和应用技术，使人们能够培养技术道德美德，从而共同努力实现“值得追求的未来”（本书的副标题）。瓦勒认为，“技术邀请或提供特定的思维、行为和价值模式；它们为人类的行动打开了新的可能性，阻止或掩盖了其他人的行动[45:2]。当我们设计和应用技术时，我们需要注意它们如何影响我们的想法、感受和行动。其他关于与技术设计相关的美德伦理的作者是，例如科尔曼[46]、埃斯[47]和汤肯斯[48]

瓦勒讨论的一些美德与亚里士多德（“心”）的美德相似：勇气；自我控制；正义和实践智慧。在她的美德列表中，脚注8有几个与我们当前的讨论特别相关：谦逊，“知道我们不知道的”；同情，“同情他人”；灵活性“巧妙地适应变化”；文明，“共同事业”；和观点，“抓住道德整体”。我们可以从Skerket等人[49]提出的军事美德列表中添加几个美德：服从；忠诚诚实正直和毅力

对于每个美德，目的是找到一个适当的平均值 请注意，这个“平均值”与平均值或正常值无关，相反；它指的是一种美德的极好的表达，在特定的语境中：不太多（过量）也不太少（不足）。例如，勇气是鲁莽（过度）和懦弱（不足）之间的“中庸”。在特定情况下，您需要找到适当的方法勇气，取决于你的能力和背景

想象一下，你看到一个人在街上被袭击。如果你是一个体弱的人，留在原地给警察打电话是很勇敢的；干预是鲁莽的。然而，如果你是一个运动员，并且知道如何处理这样的冲突，那么积极的干预将是勇敢的；呆在原地不动是懦弱的。你可以通过锻炼勇气和从经验中学习来培养勇气。这需要努力，而且可能会感到尴尬。然而，随着时间的推移，你可以学会协调思维、感觉和行动。一个培养了美德的人会在适当的时候，以最佳的形式，出于正确的理由，以正确的情感，“出于习惯”地表达这种美德

主要挑战是让道德代理人培养相关美德。我们可以将这一挑战理解为由两个要素组成：确定哪些美德在特定情况下相关，以及在特定情况中找到美德的适当含义

无人机
我们需要认识到，道德伦理假设道德发生在人内部，而不是机器中。因此，如果我们想探索在无人机上实施美德伦理的想法，我们需要运用我们的想象力并进行几次翻译。telos或eudaimonia对于无人机来说会是什么样子^Footnote10松散地跟随Wallach和Colin[32]以及Wallah和Vallor[50]，我们推测无人机的telos涉及对手头任务的贡献，而无人机的eudaimonia则涉及收集和呈现操作员认为清晰、可信和有用的信息

至关重要的是，美德的培养会随着时间的推移而发生；它需要从过去的经验中学习，积极反思，并调整自己的思维、感觉和行动，以更好地将它们与自己的telos和eudaimonia保持一致。如果我们将其转化为无人机，这意味着它需要跟踪其对各种任务的贡献，并随着时间的推移进行学习。此外，它还需要向其他无人机学习；类似于人们如何向他人学习，通常是从所谓的范例中学习：以模范的方式表达或示范美德的人

此外，我们可以将实施美德伦理的尝试理解为实施一种强化学习的尝试，这种强化学习将义务、自上而下、基于规则的方法与功利、自下而上、基于计算的方法相结合[32，第8章，50]；系统从遵循一般规则开始，然后尝试具体的操作，随着时间的推移，了解这些操作的优缺点，并优化其行为

决策支持系统
如果我们将道德的重心（回到）人身上，我们就（回到）更坚实的基础上应用美德伦理。DSS可以支持运营商培养相关美德。这可能以两种主要方式发生；见图6。该系统可以支持运营商培养特定的美德，通常是通过试错，可能是基于特定运营商当前的美德和特定情况下所需的美德的数据。或者，系统可以支持操作员向其他人学习，特别是从示例学习。我们可以想象一个系统，它呈现了一些可能与情况相关的优点，作为提醒。此外，它可以显示与情况相关的具体案例和范例，例如“2018年《和平使命》中的琼斯中尉”。理想情况下，操作员知道这种情况，例如通过培训，这样示例就可以作为角色模型。实际上，系统需要访问案例和范例库，并选择相关案例和范例
图。6
德性伦理方法的决策支持系统，具有与当前情况潜在相关的德性，如果可用，还具有示例（具有示范性行为）
全尺寸图像
<德性伦理中，人们必须在一段时间内培养相关的美德。任何军事行动都有行动前的简报时刻和行动后的汇报时刻。其他伦理观点，即讨论和结果可能会在这样的简报会和汇报会上讨论（尽管不一定是明确的功利或义务词汇），尤其是美德伦理，因为它强调通过实践和反思来学习。美德伦理将实践智慧置于中心地位；它作为一种主要美德来调节和表达其他美德[51]

结论

我们对四种伦理观点的探索表明，每个观点都有其独特的好处和局限性。我们的建议相对温和，其他研究人员可以很容易地修改：在高度自主的无人机中设置适当的自主性（不太多，也不太少；见图1），使其可以表现为团队成员（HMT），并为士兵提供决策支持系统（DSS），该系统提供无人机的传感器输出，士兵们可以结合他们的专业判断和深思熟虑来使用，这样他们就可以对无人机进行有意义的人类控制（MHC）。此外，我们的建议是将四种不同的观点结合起来，因为每种观点都提供了不同的好处，见表1：
功利主义观点强调了一个人的选择或行动的潜在积极和消极结果，从而有助于关注潜在的危害。在某种程度上，软件能够计算正负，前提是它有可靠的数据，但当不可通约的值发挥作用时，以及当分析的边界受到质疑时，软件会遇到挑战

义务视角突出了人的自主性和能动性，有助于确定和考虑相关的义务和权利。在某种程度上，职责和权利可以转化为软件。然而，当它们发生冲突时，这将遇到挑战。此外，士兵需要处理相互冲突的职责和权利，并在服从命令的情况下使用他们的自主权

关系伦理强调演员之间的关系。它要求将每一种情况视为具体和实际的，并考虑到更大的背景。关键挑战是：确定包括哪些行为体（以及排除哪些行为体），并了解它们的相互依赖性。相反，它有助于以亲社会的方式设计和应用无人机

美德伦理强调了人们培养相关美德的能力，并致力于使人们能够繁荣昌盛地生活在一起。它可以帮助设计和使用支持人们反思和学习的技术。很难将“美德伦理”“放入”机器中。因此，我们探索创建一个DSS，使人们能够培养相关美德

表1不同的伦理强调了不同的情况要素，并为高度自主无人机和决策支持系统（DSS）的设计和应用提供了不同的起点。此外，我们讨论了一种观点的好处可以补偿另一种观点局限性的方式；e、例如，关系伦理强调相关行为体之间的关系，有助于更好地评估特定决策的利弊，或更好地在相互冲突的职责之间找到平衡。因此，我们推测，设计一个使操作员能够结合这些不同视角的系统可能是设计高度自主无人机和相关决策支持系统（DSS）的一个有趣的前进方向

我们承认，我们的探索提出了比我们目前能够回答的更多的问题。需要进一步研究如何在实际情况下结合不同的观点

我们可以设想人们在准备或评估任务时使用四种伦理观点；相关人员可以从四个角度中的每一个角度来看待情况，并为每个角度及其含义花费时间。在简报、汇报和培训计划中尝试这四种观点可能是值得的。然而，人们是否能够在手术期间、在最激烈的时刻、在行动中同时使用这四种观点，还有待观察。他们能连续这样做吗，例如，优先或相关？或者，他们是否需要这样做，例如，通过对不同的人划分观点？关于此类实际应用，有一系列问题需要回答，例如谁在这些角度之间优先考虑：单兵，他们的指挥官，还是指挥链中更高层的人