简介

保持技术优势一直是国防措施成功的关键。在成熟的信息社会中更是如此（Floridi，2016a）。这就是为什么在过去二十年中，人们越来越努力为国防设计、开发和部署数字技术。尤其是人工智能（AI），已经证明在帮助国防措施方面具有巨大的潜力。事实上，学者、决策者和军事专家观察到，全球正在为国防人工智能的发展进行竞争（Taddeo&；Floridi，2018）。例如，英国、美国、中国、新加坡、日本和澳大利亚政府的最新国防和创新战略都明确提到了人工智能能力，它们已经被部署用于改善关键国家基础设施的安全，如交通、医院、能源和供水。北约在2020年关于联盟未来的报告（北约，2020）中也将人工智能确定为保持对对手优势的关键技术。

人工智能在国防领域的应用几乎是无限的，从支持到后勤和运输系统，到目标识别、作战模拟、训练和威胁监测。军事规划者越来越期待人工智能能够更快、更果断地击败对手。与在其他领域的使用一样，人工智能的潜力也伴随着严重的道德问题，从可能的冲突升级、推广大规模监控措施和传播错误信息到侵犯个人权利和侵犯尊严。如果不解决这些问题，将人工智能用于国防目的可能会破坏民主社会的基本价值观和国际稳定（Taddeo，2014b，2019a，b）。

本文通过确定伦理原则，为国防目的的人工智能设计、开发和使用提供指导，以解决这些问题。这些原则不应被视为国内法和国际法的替代品；相反，它们以与现有法规相一致的方式为人工智能在国防领域的使用提供了指导。从这个意义上讲，建议的原则指明了应该做什么或不应该做什么。

“超过现有法规，而不是反对它，或不管它的范围，或改变它，或绕过它（例如，在自我监管方面）”（Floridi，2018，第4页）。

在提供这些原则时，该论文填补了相关学术和政策文献的重要空白；尽管已经发布了许多关注人工智能民用应用的伦理原则和框架（Jobin等人，2019），但迄今为止，很少有人直接解决在国防领域使用人工智能所固有的问题。在本文的其余部分，第2节描述了用于分析的方法。第3节分析了与目前在国防中使用这项技术有关的伦理问题。第4节侧重于美国国防创新委员会（DIB）提供的伦理原则。迄今为止，这些是国防机构公布的唯一一项特定领域原则。对这些原则的分析表明了DIB方法的一些关键局限性，并为第5节铺平了道路，该节介绍了五项新的伦理原则，以指导人工智能在国防中的使用。第6节总结了文章。

方法

确定指导国防使用人工智能的可行伦理原则的第一步是对人工智能进行定义，并确定其使用可能带来的伦理问题。为了我们的分析目的，我们可以从人工智能系统的特定技术方面进行抽象（例如，我们可以忽略所分析的系统是统计系统还是亚符号系统），并采用高水平的抽象（LoA）（Floridi，2008）。因此我们认为人工智能是“一种日益增长的互动、自主和自学机构资源，可用于执行需要人类智能才能成功执行的任务”（Floridi&；Cowls，2019）琐碎的一件事。例如，人们可能会考虑制定一个完整的道德问题分类人工智能在国防领域的现有用途，但这是不可行的，也没有什么价值：人工智能的快速发展及其在新用途中的应用将使分类法很快过时。同时，忽视部署的特定领域和目的的分析可能会定义过于笼统而无法提供任何具体指导的道德原则

因此，选择LoA对于正确分析道德问题和确定能够提供可操作指导的原则至关重要。考虑到本文的目标，我们选择了一种分析梯度（GoA），它结合了两个LoA：LoA_目的和LoA>伦理。LoA_目的的可观察性是部署AI的目的。对于任何给定的目的，LoA_道德的可观察性是人工智能设计、开发和部署可能导致不道德后果的方面

决定关注使用目的而不是技术功能需要澄清。这有两个原因。首先是人工智能的双重用途性质，与任何数字技术一样，人工智能具有可延展性，其原始功能可以很容易地重新利用。因此，其使用的不道德含义不一定由其设计功能来定义，而是由这些技术的部署目的来确定。第二，在国防领域，这些目的可以被明确识别，并可能影响人工智能的当前和未来用途，因此，关注特定技术的使用目的而非特定功能的伦理原则具有更好的定义范围，其指导更可能经得起时间的检验

用于此分析的LoA具有中等粒度。因此，它们识别了特定于该领域的问题（并告知第5节中的原则定义），但没有区分国防领域内人工智能部署的特定背景（如海军或航空），因此忽略了背景之间可能出现的伦理挑战的差异。例如，考虑在潜艇或航空作战中使用人工智能的不同道德问题和相关解决方案

在防御中使用人工智能的目的涵盖了防御机构的三个核心行动类别（图1）：维持和支持、对抗和非动能、对抗和动能。我们将深入研究Sect。3，但让我们在这里简单描述一下。人工智能的维持和支持使用是指人工智能被部署为支持“后台”功能以及资源的后勤分配的所有情况。这一类别还包括使用人工智能来改善国防基础设施和通信系统的安全。人工智能的对抗性和非动力性使用范围从使用人工智能对抗网络攻击到主动网络防御，以及具有非动力性目标的攻击性网络行动。对抗和动能用途指的是将人工智能系统集成到作战行动中，从使用人工智能系统帮助识别目标到致命的自主武器系统（LAWS）

图。1。png？as=webp type=image/webp>

将人工智能用于国防的三个目的

全尺寸图像

我们在本文中提供的在国防领域使用人工智能的伦理原则是指人工智能的维持和支持用途以及对抗性和非动力用途。在我们的研究的第二阶段，将对人工智能用于对抗性和动力学目的的伦理分析进行讨论

国防人工智能的伦理挑战

图2显示了人工智能在国防中使用的最低要求，即人工智能系统应符合道德要求

图。2。png？as=webp type=image/webp>

一张与AI在国防中使用的特定目的相关的伦理要求地图

全尺寸图像

AI在防御领域的三个使用目的在伦理上存在更大的问题，因为一个人从维持和支持用途转向对抗和动能用途。这是因为，除了与人工智能使用相关的伦理问题（例如透明度和公平性）外，还需要考虑与对抗性（无论是非动能还是动能）使用该技术及其破坏性和破坏性影响有关的伦理问题

如图2所示，每种使用类别都有其特定的道德要求，但也继承了左侧类别的道德要求。例如，为了在道德上健全，人工智能的对抗性和非动力性使用需要确保某种形式的有意义的控制和措施，以避免升级，同时也要尊重维持和支持类别中的透明度和人类自主性。一些人工智能系统具有双重能力，可用于防御和进攻。无论使用何种能力，这些系统仍然需要满足图2中规定的要求。例如，无论是在进攻还是防御作战中，系统的使用都需要符合正义战争理论的原则，并与之相称

现在让我们更详细地考虑每种用途的一些关键道德问题

人工智能的维持和支持使用

国防组织已经将人工智能系统用于不同的非对抗性作战方面（美国陆军，2017）。从网络安全中的应用（人工智能在确保系统鲁棒性和恢复力方面发挥着越来越大的作用）到基于人工智能的无人机捕获视频侦察（Lysaght等人，1988；Fraga Lamas等人，2016；Schubert等人，2018），用途各不相同

对于拥有先进军事技术的国家，人工智能系统很可能完全集成到国防能力中，以支持后台、后勤和安全任务。例如，研究估计，军事环境中的智能传感器数量可能达到每平方公里100万个，与5G网络支持的连接密度相似（Kott等人，2017；国际电信联盟2017）。这被描述为战斗物联网（Kott等人，2017）。在这些情况下，人工智能将发挥关键作用，以确保网络的健壮性和弹性，并细化数据，提取、过滤、整理、交叉链接和交流相关信息。所有这些用途都带来了严重的道德问题

首先，考虑使用人工智能增强系统鲁棒性。这是指用于软件测试的人工智能，这是一个新的研发领域。它被定义为

“新兴领域旨在开发AI系统来测试软件、测试AI系统的方法，并最终设计能够自我测试和自我修复的软件”^脚注7

从这个意义上讲，人工智能可以将软件测试提升到一个新的水平，使系统更加稳健（King等人，2019）。然而，将测试委托给人工智能可能会导致部署用于验证和验证系统和网络的国防人员完全丧失技能，随后对该技术缺乏控制（Yang等人，2018；Taddeo，2019a，b）

接下来，让我们关注系统弹性。人工智能越来越多地用于威胁和异常检测（TAD）。TAD可以利用现有的安全数据进行模式识别训练。正如Taddeo等人（2019）所强调的，在某些情况下，威胁扫描仪可以访问文件、电子邮件、移动和端点设备，甚至网络上的流量数据。监控也扩展到用户。人工智能可以通过监控行为和生成生物特征来验证用户，例如，用户移动鼠标的独特方式（BehavioSec:Continuous Authentication Through Behavioral Biometrics 2019）。在这种情况下，风险是显而易见的。这种人工智能的使用将用户的隐私置于急剧贬值的压力之下，如果数据保密性遭到破坏，用户将面临额外的风险，并产生大规模监控效应（Taddeo，20132014b）

AI可以提取信息来支持物流和决策，也可以用于前瞻性分析、内部治理和政策。这些也许是人工智能的一些用途，具有更大的潜力来改进防御行动，因为它们将有助于及时有效地管理人力和物力资源，改进风险评估并支持决策过程。例如，毕马威的报告脚注8强调，国防机构可能只有几分钟的时间来决定导弹发射是否构成威胁，与盟国分享调查结果，并决定如何应对。在这种情况下，人工智能将大有裨益，因为它可以整合来自卫星和传感器的实时数据，并详细阐述关键信息，通过减轻战争迷雾和可能的人类偏见带来的不确定性，从而促进和改进人类决策过程。挑战在于，人工智能的这些使用必须确保系统不会做出有偏见的决定和不适当的歧视，同时也提供了一种保持问责制、控制和透明度的手段

人工智能的对抗性和非动能使用

随着网络威胁的升级，应对这些威胁所需的防御策略也随之升级。英国和美国采用了主动网络防御策略，使计算机专家能够利用诱饵目标中和或分散病毒，并重新进入黑客系统删除数据或完全销毁数据。2020年2月，英国还成立了国家网络部队，作为国防部和GCHQ之间的联合倡议，该部队的任务是打击敌对的外国行为者。在国际范围内，北约现在可以依靠主权网络效应来应对网络攻击，正如布鲁塞尔峰会所商定的那样^脚注9这可能使联盟能够惩罚（归因）攻击并阻止攻击者在未来再次攻击（Taddeo，2019a）

人工智能将彻底改变这些活动。攻击和响应将变得更快、更精确、更具破坏性。它还将扩大攻击者的瞄准能力，使他们能够使用更复杂、更丰富的数据。增强现有的攻击方法是现有技术的明显延伸；然而，在恶意软件中使用AI可以改变攻击的性质和交付方式。市场上已经有了自主和半自主的网络安全系统，该系统具有预先确定的对活动的响应的“剧本”，将代理限制在已知的行动中（DarkLight提供了第一种人工智能来增强网络安全防御，2017）。能够学习对手行为并生成诱饵和蜜罐的自主系统（Acalvio Autonomous Deception 2019）也正在商业化。此外，人工智能支持的网络武器已经原型化，包括自动恶意软件、破坏医疗图像和攻击自动驾驶车辆（Mirsky等人，2019；诸葛等人，2007）。例如，IBM创建了一个原型自主恶意软件DeepLocker，它使用神经网络来选择目标并伪装自己，直到到达目的地（DeepLocker:人工智能如何为一种隐蔽的新型恶意软件提供动力，2018）

随着各州使用越来越激进的人工智能驱动策略，对手可能会做出更激烈的反应（Taddeo和Floridi 2018）。这可能会扩大为网络攻击和应对的加剧，进而可能带来升级的严重风险，并导致动态后果（Taddeo 2017）。为了避免事态升级，人工智能的使用必须尊重作为国际法规基础的正义战争理论的关键原则（Taddeo，2012a，b，2014a），如《联合国宪章》、《海牙公约》和《日内瓦公约》脚注和国际人道主义法，^脚注12，并为引发冲突的伦理和政治辩论设定了参数。至关重要的是，为侵略性和非动力性目的部署人工智能应尊重反应的比例原则，区分合法和非法目标，确保在出现错误时采取某种形式的补救措施（Taddeo，2012a，b，2014a），并在指挥链内保持责任和控制。最终，对人工智能的对抗性和非动力学使用的伦理分析应有助于理解如何在网络空间中应用正义战争理论，并用于塑造关于该领域国家行为监管的辩论（Taddeo&；Floridi，2018）

人工智能的对抗性和动力学用途

人工智能用于攻击性和动力学目的的用途多种多样，从自动化武器系统的各种功能到遵循人类预先编程指令的系统，再到完全自主，在这种情况下，武器系统识别、选择和攻击目标，而无需任何人类输入。例如，考虑STARTLE，脚注13，一个为皇家海军开发的支持人类决策的系统。它配备了态势感知软件，可以利用人工智能技术的组合来监测和评估潜在威胁。同样，高级目标为美国陆军开发的杀伤性自动化系统（ATLAS）脚注支持人类识别威胁并优先考虑潜在目标。道德问题因武器系统的自主程度、它们可以部署的力量水平以及可能的目标（无论是物质还是人类）的性质而异

尽管许多国家已表示承诺不开发或使用完全自主的武器系统，但仍有必要考虑和解决这些系统带来的道德问题，以便为开发和使用包含人工智能但在操作中不完全自主或可能不以人为目标的武器确定界限

一个关键挑战是确保人工智能的对抗性和动态使用能够尊重正义战争理论的原则，例如必要性、相称性和歧视性。因此，例如，人工智能系统必须能够区分携带武器的战斗人员和非战斗人员，或识别武装冲突中普遍接受的投降迹象。这可能是有问题的，因为人工智能，至少在目前的发展状态下，不足以分析上下文；在某些情况下，它识别谁是合法目标，谁不是合法目标的能力可能比人类差得多（Sharkey，20102012a，b；Tamburini，2016）

责任差距是另一个关键的道德挑战。如第节所述。3，尽管在所有三类人工智能的使用中，责任差距都是有问题的，但考虑到所涉及的高风险，在考虑对抗性和动力学案例时，责任差距尤其令人担忧（Sparrow，2007）。当再加上对手的尊重和她的尊严时，这种差距变得更加紧迫。在战争中尊重对手是维护战争道德的重要方式（Nagel，1972），与对手的人际关系被认为是实现这一目标的关键。就使用自治法律会切断这种关系而言，它们破坏了他们所针对的人的尊严，并导致一种有道德问题的杀戮（Asaro，2012；Docherty，2014；Ekelhof，2019；Johnson&；Axinn，2013；O'Connell，2014；Sharkey，2019年；Sparrow，2016）

最后，法律对国际稳定的影响产生了问题。一方面，法律可以缩短国家可能参与的敌对行动的时间跨度，从而有助于促进稳定。它们也可以成为对可能的对手的有效威慑。另一方面，法律可能导致不公正的战争，阻碍国际不稳定。一些人认为，这是因为法律的使用可能会降低战争的障碍（Brunstetter&；Braun，2013；Enemark，2011），可能会增加战争的数量。例如，法律的广泛使用可能允许决策者发动战争，而无需克服军事人员的潜在反对（McMahan，2013）。同样，一方使用LAWS导致的不对称战争可能会导致另一方更弱，更多地诉诸叛乱和恐怖战术（Sharkey，2012a，b）。因为恐怖主义被认为是一种不公正的战争（或者更糟糕的是，一种不分青红皂白的谋杀行为），部署法律可能会导致更大的不道德暴力事件

人工智能使用伦理指南

在过去几年中，人工智能的伦理设计、开发和使用提出了若干框架（Floridi&；Cowls，2019）。例如，Jobin等人（2019）在其综述中确定了84个人工智能伦理框架。道德准则可以在许多方面有所不同，例如由机构提出（从政府到非政府组织），根据其应用范围（例如，从私营部门的指南，例如社交媒体，到所有开发和使用人工智能的实体的指南，如欧洲值得信赖的人工智能指南），以及他们寻求管理的应用（例如，国防应用到更广泛的公共部门的应用）

尽管现有框架涵盖了广泛的范围，尽管军事伦理和正义战争理论有着悠久的传统，但人工智能在国防领域（尤其是非动能领域）的使用在政策和学术文献中都很少受到关注。迄今为止，美国国防情报局（2020a）定义的在国防中使用人工智能的原则是这种缺乏重点的唯一例外。在本节中，我们分析DIB原则，以确定其优点和局限性。目标是在开始描述原则之前提取有价值的经验教训我们在本文中提出的

DIB确定了五项原则：负责任、公平、可追踪、可靠和可管理的人工智能；它们旨在应用于人工智能的动力学和非动力学用途，无论是对抗性的还是非对抗性的。以下各小节依次分析了每项原则，重点是DIB（2020a）和更广泛的支持报告（DIB，2020b）中描述的原则，其中DIB描述了每项原理的合理性及其实施的具体建议

负责

DIB原则规定：

“人类应行使适当的判断水平，并对国防部人工智能系统的开发、部署、使用和结果负责”（DIB，2020a，第8页）

这一原则没有争议，并且与其他伦理框架保持一致（数字、文化、媒体和体育部，2018，5；Gavaghan等人，2019，41；日本人工智能学会[JSAI]2017，第3页）

在支持文件中，关于如何实施这一原则的建议提出了一个三级责任体系，第一级涉及控制人员

“任何国防部系统的设计、需求定义、开发、采办、测试、评估和培训，包括人工智能系统”（DIB，2020b，第27页）

第二级讨论了在敌对行动中使用人工智能（无论是动态的还是非动态的）；在这种情况下，只要指挥官和操作员“掌握了系统行为、相关训练、情报和态势感知的适当信息”（第28页），职责就根据指挥和控制结构确定。第三级责任是指在敌对行动结束后纠正行动机制。这一级别涉及国防部（DoD）和私营部门采购人工智能技术。DIB支持文件规定，人的责任取决于“人的适当判断”

此方法仅部分正确。它有两个主要限制。一方面，“适当”判断的定义仍然模糊，因此，特别是在考虑到某些人工智能系统缺乏透明度和可预测性所带来的问题时，这一定义存在问题。另一方面，根据三级系统的责任归属有可能将责任甩给第一级，因为在大多数情况下，人工智能系统的意外后果可以与设计和开发问题联系起来。这可能会对参与指挥和控制的行动者感知其在使用人工智能方面的责任的方式产生不利影响

公平

DIB原则规定了这一点

“国防部应采取慎重措施，避免在开发和部署作战或非作战人工智能系统时出现意外偏差，从而无意中对人员造成伤害”（第8页）

该原则侧重于与公平和正义相关的问题；然而，它避免直接引用这两个概念。在支持文件中，不在该原则中使用“公平”一词的原因如下：

“该原则源于国防部的口头禅，即战斗不应公平，因为国防部旨在创造条件，保持对任何潜在对手的不公平优势，从而从一开始就增加阻止冲突的可能性”（DIB，2020b，第31页）

该文档接着说

“国防部应该有适当偏向的人工智能系统，以更成功地瞄准某些敌对战斗人员，并最大限度地减少对平民、非战斗人员或其他不应成为目标的个人的有害影响”（国防创新委员会（DIB）（2020b，第33页）

那么，这种偏离的动机是国防人工智能应用的独特性。在考虑人工智能的公平性时，DIB原则只关注人工智能的使用对国防部人员的不公平影响，而忽略了在网络和动态战场上部署人工智能时缺乏公平性可能带来的问题。这是误导性的，因为它可能表明，需要寻求对对手的优势，可能会证明不公平，甚至不公正的做法是正当的。事实并非如此，因为我们区分了辩护中的公正和不公正行为，并惩罚了后者

在平民和非交战环境以及敌对活动中适用正义原则的方式存在差异。正义战争理论和国际人道主义法定义了这一原则的术语，以及如何在进行敌对行动。这些术语有时与民用术语截然不同，但仍然定义了公正行为的空间，因此也定义了防卫的公平性。国防人工智能的伦理准则需要定义在该领域内相关的、与正义战争理论提供的原则一致的人工智能的正义使用原则（Taddeo，2014a）

可追溯性

这一原则间接解决了人工智能缺乏透明度带来的伦理问题。它说明了这一点

“国防部的人工智能工程学科应足够先进，以便技术专家对其人工智能系统的技术、开发过程和操作方法有适当的了解，包括透明和可审计的方法、数据源以及设计程序和文件”（DIB，2020a，第8页）

值得注意的是，该原则的重点不在于技术的透明度，而在于国防部人员的技能及其对人工智能系统的理解水平，因为这有助于人工智能系统在开发和部署阶段的过程和决策的可追溯性。如支持文件所述，开发阶段的可追溯性是指收集“设计方法、相关设计文件和数据源”（第34页）并与相关利益相关者共享，而在部署阶段，可追溯性包括过程的监控、审计和透明度。如DIB支持文件所述：

“有些系统可能不仅需要审查用户访问，还需要审查使用记录和用途。这一要求可以减轻与人工智能系统标签外使用相关的危害，并强化责任原则。简言之，国防部将需要重新思考如何追踪其人工智能系统，谁有权访问特定的数据集和模型，以及这些人是否在重复使用m用于其他应用领域”（第35页）

虽然支持文件中提供的分析正确地将流程的透明度与人工智能的负责任使用联系起来，但它忽略了人工智能的透明度与人类责任之间的关系。事实上，人工智能的使用、过程和决策的可追溯性可能会导致错误、故障或意外后果，从而弥补这项技术缺乏透明度的不足。然而，尽管有用，但采用这一原则的方法提供了一种补救办法，而不是解决人工智能缺乏透明度所带来的挑战。没有透明度的可追溯性非常有限。虽然它可能会促进负责任地使用人工智能，但它并没有阐明这项技术的错误和失败的责任，也没有提供一个机会来迅速识别人工智能系统的错误和不希望的结果的来源。DIB文件没有强调这一点，也没有提出任何建议来克服人工智能系统缺乏透明度的问题

可靠和可管理

关注AI可靠性的原则指出：

“国防部人工智能系统应该有一个明确的、定义明确的使用领域，并且这些系统的安全性、安全性和鲁棒性应该在该使用领域内的整个生命周期内进行测试和保证”（第8页）

这一原则与经济合作与发展组织（OECD）提供的原则之一产生了共鸣，该组织强调了这一点

“人工智能系统必须在其整个生命周期内以稳健、安全和安全的方式运行，并且应持续评估和管理潜在风险”^脚注15

在支持文件中，DIB（2020a，b）强调需要可靠的AI（而不是可信的），其“安全性、安全性和稳健性[…]应该得到测试和保证”（DIB，2020a、第8页）。这一原则特别旨在促进验证和验证，并提高人工智能的鲁棒性。我们认为，这是在防务中使用人工智能的一项关键要求，也是明确重申监控人工智能系统的必要性的一项重要要求，尤其是当这些系统部署在防务组织内时（第5节对此有更多说明）

同时，DIB支持文件强调了人类智能体能够脱离或停用显示意外自动扶梯行为的系统的重要性。支持文件强调了鉴于某些人工智能系统的不可预测行为，尤其是在复杂和动态环境中运行的人工智能系统，人类控制的必要性（DIB，2020b，第39页）^脚注16

在这些原则，但它是专注于可治理人工智能的原则的核心，该原则规定了这一点

“国防部人工智能系统的设计和工程应能够实现其预期功能，同时具备检测和避免意外伤害或破坏的能力，并能够人为或自动脱离或停用展示意外扶梯或其他行为的部署系统”

虽然指出了正确的方向，但就其规定了在某种形式的控制下维持人工智能的必要性而言，该原则在理想的控制形式应该是什么、如何实施以及道德上可接受的控制的最低水平是什么方面仍然是模糊的。

这些都是需要考虑的重要方面，尤其是随着国防机构越来越多地在混合团队中部署人工智能，包括人工智能和人工智能。在这种情况下，可管理的人工智能提供了过于笼统的指导，无法识别，例如，对人工智能系统的道德健全的控制形式，或如何将失败的责任归因于该技术的滥用或过度使用

在这方面，DIB原则中的一个显著遗漏是缺乏对人类自主性的关注。虽然这是可以接受的，因为自治可以被视为实现个人领域和个人追求自己选择的能力的原则，但这也是一个错失的机会。自主保护个人对基于人工智能的决策提出异议的能力。从这个意义上讲，随着人工智能越来越多地嵌入国防组织的决策过程中，当人工智能决策被认为是错误的或不适当的时候，保护人类代理人对人工智能决策进行抗辩和推翻的能力是很重要的。从这个意义上讲，自主原则使人们能够对人工智能的使用进行更强有力的控制

人工智能的维持和支持以及对抗性和非动能使用的五项伦理原则

在本节中，我们提供了五项专门为解决在国防领域部署人工智能带来的伦理问题而设计的伦理原则。本文规定的原则涉及人工智能的维持和支持用途以及对抗和非动能用途。它们应被视为更全面的道德框架的第一个组成部分，该框架还应解决人工智能的对抗性和动态使用问题，这将是本项目即将开展的第二部分的重点

为了在道德上健全，为了国防目的，人工智能的维持和支持以及对抗性和非动能使用应遵守以下道德原则：

i
对齐和可重写使用
ii
公正透明的系统和流程
有意义的人类控制
可靠的AI系统

合理和过度使用

AI的（非）采用需要合理，以确保AI解决方案不会被过度使用，从而造成机会成本，或过度使用和滥用，从而产生风险。同样，如果人工智能导致了不必要的后果，那么使用人工智能（或不使用人工智能）的决定应该始终是可推翻的^脚注17

即使在根据道德原则设计和部署时，人工智能仍然是一项具有道德挑战性的技术。它的使用可能为国防带来巨大的优势。然而，人工智能不是一颗银弹。这是一个应该从人工智能的道德治理中吸取的教训，以促进社会利益。正如Floridi及其同事（2020年，第1773页）强调的那样：

“重要的是，一开始就要承认，在许多情况下，人工智能将不是解决特定社会问题的最有效方法。这可能是因为存在更有效的替代方法，或者因为部署人工智能将带来不可接受的风险”

与此同时，人工智能还可能侵犯人权和国际人道主义法，或对国际稳定构成风险（读者将回忆起与对抗性和非动力性使用人工智能相关的滚雪球效应的风险）。这就是为什么决定（或不）将任务委托给人工智能系统时，应仔细分析任何特定部署环境中的道德风险和利益，以证明其合理性

在考虑维持和支持以及对抗性和非动能用途时，这一原则产生了不同的建议。在第一种情况下，该原则要求针对人工智能系统部署后的预期收益，例如，根据人工智能系统可能对工作和人类专业知识产生负面影响的可能性，权衡使用人工智能系统的收益，人工智能系统可以加快决策过程或优化物流和资源分配，或者考虑人工智能融入人类团队（人机团队）时对人类自主性的影响

当决定将人工智能用于对抗性和非动能目的时，例如用于进攻性网络行动时，必须确保人工智能系统将尊重必要性、人性、区别和相称性原则（英国和国际人道主义法2018年，未定）。这可能被证明是一项复杂的任务，因为国际人道主义法的原则和正义战争理论的基本原则都是针对动态形式的冲突，因此，在非动态战争的情况下实施这些原则可能存在问题。例如，考虑相称性和评估无形实体（例如数据或服务）相对于要实现的具体军事目标的预期损害的问题（Taddeo，2012a，b，2014a）。要满足这一原则，就需要将正义战争理论的基本原则的范围从动能操作扩展到非动能操作，这是一项复杂但必要且并非不可能的任务

鉴于人工智能的学习能力及其结果的潜在可预测性不足，即使使用人工智能是合理的，也应该对其提供的解决方案的道德健全性进行持续监控。同样，每次部署人工智能系统时，都应制定程序，及时有效地推翻诉诸人工智能的决定

公正透明的系统和过程

人工智能系统不应实施任何不当歧视，也不应导致任何违反公正战争理论原则的行为。为此，人工智能防御机构应确保部署的人工智能系统及其嵌入的过程保持透明（可解释），以便于识别任何违反正义战争理论原则的行为、意外和错误结果、责任归属、，并保证有可能对过程和结果进行审查和质疑，以确保其在道德上保持健全

三个方面至关重要：

建立道德审计流程
>
确保以尊重正义战争理论原则的方式部署开发和采购的人工智能系统，人工智能系统的开发或采购和部署道德审计应涉及整个决策过程，因此，道德审计应关注人为和人工因素，以确保两种因素都尊重相关的道德原则（Mökander&Floridi，2021）

人工智能系统和流程的透明度使人们能够访问相关信息。前者需要可解释性，而后者需要可追溯性。人工智能的透明度源于设计和开发可解释技术的努力。因此，内部和采购的人工智能系统的设计和开发必须考虑到可解释性。国防机构应考虑积极参与其采购的人工智能技术的“设计-开发-部署”周期，并通过制定标准和提供可供测试的可信空间，为开发阶段做出贡献。为了促进这一过程，采购政策应考虑到对相关第三方的道德审查。虽然出于国家利益和安全考虑，这一领域的审查很可能不公开，但重要的是由独立机构或委员会进行，这些机构或委员会应得到支持，以制定客观、深入的评估，并对公众的评估负责

人工智能系统通常以分布式方式设计和开发，模型、数据、培训和实施可能由不同的参与者管理。与此同时，人工智能从经验中学习：过去的部署可能影响未来的结果。这就是为什么透明度要求溯源和实践，以确保在人工智能的设计、开发和部署的分布式和动态性质中，不会丢失导致可能不希望的结果的事件链

人类道德责任
人类仍然是唯一对部署用于防御目的的人工智能系统的结果负有道德责任的代理人。虽然人工智能系统可以被认为是道德代理人，但只要它们执行具有道德价值的行为（Floridi&；Sanders，2004），他们不能对这些行为承担道义上的责任

然而，由于人工智能发展的分布式和互联方式以及其结果缺乏透明度和可预测性，将人工智能系统的行为责任归咎于人类被证明是有问题的。可以采用两种方法来实现公平流程的责任归属：
- 遵循指挥、控制和通信链
- 无故障反向传播方法
  >
根据线性方法，责任归属于指挥、控制和通信链。在这种情况下，决策者应对人工智能的不必要后果负责，无论这些后果是由人工智能系统的故障、结果的不可预测性还是错误的决定造成的。为了公平地分配责任，决策者必须掌握足够的信息，并了解特定人工智能系统在给定环境下的工作方式、其稳健性、可能产生不可预测（和不期望的）结果的风险，如果人工智能系统不能按照预期运行，那么所需的有意义的控制水平以及可能出现的危险。线性方法需要一定的认知阈值。这意味着人工智能的使用必须与人员的适当培训相结合，包括决定部署人工智能系统的人员和使用人工智能的人员，以便他们了解人工智能系统工作的方式、与系统相关的风险和利益以及部署人工智能决定的道德和法律含义。这种方法基于这样一个理念，即知情的决策者选择使用人工智能，同时意识到这可能意味着的风险并为此承担责任

径向方法有助于解决人工智能系统的不期望结果，这些结果不是源于人类智能体的意图，也不是源于道德中立的行为。这种方法解决了不同的、独立的、道德中立的因素汇聚而产生的不道德后果。在相关文献中，这被定义为无过错责任（Floridi，2016b）。它指的是这样的情况：虽然可以确定导致道德上好/坏结果的因素和行为的因果链，但不可能将执行道德上好的/坏的行为的意图单独归因于这些因素中的任何一个，因此，所有因素都要对结果承担道德责任，因为他们是决定结果的网络的一部分

这不是一种全新的方法，因为它类似于严格责任的法律概念。根据严格赔偿责任，对不希望的结果的法律责任归于一个或多个代理人的作为或不作为造成的损害，而不管行为的意图和控制的可行性如何。在考虑人工智能系统在国防基础设施、决策过程和作战中的集成时，需要表现出的是，根据放射状方法，赋予道德责任

“系统中发生了一些邪恶，并且相关行为造成了此类邪恶，但无需确切说明此类行为的代理人/来源是否粗心大意，或他们是否无意造成此类行为”（Floridi，2016b，第8页）

然后网络的所有代理对网络的结果承担最大责任。正如Floridi（2016b）强调的那样，这种方法并不旨在为系统的行为分配奖惩，而是旨在建立一种反馈机制，激励网络中的所有代理改善其结果。如果所有代理都在道德上负责任，他们可能会变得更加谨慎和小心，这可能会降低不希望的结果的风险。例如，当道德责任与代理人的声誉挂钩时，这就变得相当有效

有意义的人类控制
根据之前的原则，人工智能的部署应始终设想有意义的人为控制形式。必须制定有意义的人类控制形式，以限制人工智能系统的结果无法满足最初意图的风险，及时识别错误和意外后果，并确保及时干预或如有必要，停用系统

有关LAWS的相关文献中广泛讨论了有意义控制的概念，事实上，在考虑这些系统时，控制是需要考虑的关键因素。然而，在考虑使用可能不会导致使用武力的人工智能时，也需要进行有意义的控制。这是因为

“军事系统必须能够在设计阶段难以预测或预测的各种高度动态环境和用例下安全有效地运行。它们还必须能够应对故障以及复杂、不确定和不可预测的事件和情况，其中军事领域的动态需要对可接受的行为进行复杂的判断基于交战规则、国际法和对合法性、相称性和风险的判断。正因为如此，通过规范、设计、培训、操作程序和保证过程的组合来维护人的控制在许多（如果不是所有的军事系统）中被视为至关重要”（Boardman&；Butcher，2019，第2页）

对人工智能的有意义的人类控制具有动态、多维和情境依赖性的特点，可以专注于人机团队的不同方面来进行。例如，斯德哥尔摩国际和平研究所和红十字国际委员会确定了人类控制武器系统的三个主要方面：武器系统的使用参数、环境和人机交互（Boulanin等人，2020）。还可以考虑更多方面。例如，Boardman和Butcher（2019）建议，控制不仅应该是有意义的，而且应该是适当的，因为它应该以这样一种方式进行，以确保人类在决策过程中的参与仍然重要，而不会损害系统性能

虽然有意义的控制可以是动态的、多维的和情境依赖的，但规定它的原则只有在它定义了一个较低的阈值时才有效，低于该阈值时，控制是最小的，以至于变得不相关。因此，该原理可以最小限度地和最大限度地实现。至少，实现这一原则需要在环路上有一个人，能够理解系统的功能及其含义，并能够及时有效地“拔出”系统。该原则最大限度地要求人工智能系统负责人将技术、法律和道德培训结合起来，以确保让系统工作的决定得到所有相关方面的通知，而不仅仅是对系统的审查

因此，该原则不允许开火，也不允许使用人工智能，因为它认为控制是一个要素，可以根据对意外后果的严格风险评估以及对国防和国际稳定的相关负面影响进行调整。在这些评估无法补充更低水平的有意义控制的情况下，使用人工智能系统在道德上是不必要的。应当指出的是，当联合成果责任归属协议、人工智能的滥用和人工智能系统的错误以及有效的纠正和补救程序到位时，这一原则最能得到落实。责任的归属取决于对透明度的尊重

可靠的人工智能系统
使用人工智能系统的国防组织必须对授权给人工智能的任务的执行情况进行有意义的监控。监测应足以适应系统的学习性质及其缺乏透明度，同时在资源（尤其是时间）和计算可行性方面保持可行

AI具有较差的冲击响应（鲁棒性），对输入的任何轻微改变都会不成比例地降低模型的性能（Rigaki&；Elragal，2017）。因此，如果系统未按照程序部署，则出于防御目的部署在人工智能上可能有利于对手（Brundage等人，2018；Taddeo等人，2019），该程序设想了在出现错误或系统退化时进行监测和及时干预的形式。这就是为什么该原则规定在系统部署过程中对系统进行监控，并采取适当措施验证和验证系统并评估其稳健性

监测可能包括新的采购形式，设想国防机构在设计和开发过程中发挥积极作用；人工智能模型的内部设计和开发；使用系统供应商直接收集、整理和验证并安全维护的系统培训和测试数据；具有适当水平的强制性对抗训练形式改进人工智能模型以测试其鲁棒性；人工智能模型的陪练；以及如Taddeo等人（2019）所建议的，使用某种形式的电子基线模型监测野外部署的人工智能系统的输出

如第。本文的第二部分，人工智能系统是与环境交互的自主、自学习的主体。他们的行为与他们的设计和训练一样，取决于他们所接受的输入以及一旦部署后与其他代理的交互。出于防御目的负责任地使用人工智能需要考虑到人工智能系统的自主、动态和自学习特性，并开始设想从设计到部署阶段的监控形式

结论

正如我们在本文开头提到的，在国防中使用人工智能的伦理原则不会破坏国际人道主义法。相反，它们提供了关于遵守后可以做什么的指导，以及关于国际人道主义法没有处理或没有明确处理的人工智能在国防中的使用。与此同时，这些原则需要与支持我们社会广泛使用人工智能的更广泛的伦理原则保持逻辑一致，例如，经合组织原则，以及塑造国防机构及其在民主社会中作用的价值观。例如，美国国防情报局在其文件中明确表示，其原则基于国际人道主义法以及美国武装部队的核心价值观。这种一致性很重要，因为它确保了尽管存在依赖于领域的差异，但在国防中使用人工智能的伦理原则仍与我们社会的基本原则保持一致。这是至关重要的，因为它将决定拟议原则之间的权衡，这些原则将不时作出，并随着部署的背景而变化

最后，我们想以一个警告结束我们的分析。这些原则不应该作为一种算法来遵循，它们也不提供一套指令，如果盲目遵循，就无法确保合乎道德的结果。它们提供了指导方针，以激励和阐明关于在国防中使用人工智能的伦理考虑。为此，关键是，做出使用人工智能的决定的人和执行这些决定的人都能够考虑到本文中提供的原则，以及人工智能的法律和技术方面的知识，以协调不同的原则、利益和目标，而不违反我们社会的基本价值观和权利。