道德互操作性的需要

最近的头条充斥着在广泛领域使用人工智能系统造成的重大危害的例子。一种反应是，人们一再呼吁各组织采用原则和实践，从理论上讲，这些原则和实践有助于确保以负责任和道德的方式设计、开发、部署和使用人工智能系统。这些呼吁在高后果环境和领域（包括国防和安全）中的人工智能应用中尤其广泛。政府和国防组织，以及相关的私营公司和非营利机构越来越多地采用道德和负责任地使用人工智能的原则、框架和方法。现在，人们正致力于将这些原则转化为适当的流程、培训和政策，以获取、测试、评估和部署人工智能系统

这些原则通常值得称赞，但其多样性为国防和安全环境中的人工智能系统治理提出了一个新问题。特别是，不同党派正在采用类似但不同的原则。当这些团体随后想要或需要合作时，他们必须确定其他人的人工智能系统是否符合他们自己的道德原则。也就是说，这些组织需要确定某些人工智能系统是否在道德上可互操作，因为人工智能与采用组织的原则和系统是一致的。例如，假设A和B国家参与联合维和行动，并且A拥有符合A/i>道德原则的人工智能增强监视系统。该系统仅当也符合B的道德原则时才应作为联合作战的一部分使用，就像无线电系统仅当可与两国的通信网络一起使用时才应用于联合作战一样。或者，假设国家C和D希望合作追击恐怖网络，并且C使用半自主自然语言处理（NLP）系统过滤电子通信。国家D只有在能够确定这个系统以及由此产生的情报遵循D负责使用技术的原则的情况下，才应该（在道德上）合作

有多种类型的互操作性，包括技术集成、共享行为准则、法律承诺和通用策略。特别是，人工智能系统可以围绕技术互操作性提出重大挑战和机遇（Reeves，2021）。然而，技术和道德互操作性在概念上是独立的，应单独考虑。我们这里的重点不是不同的人工智能系统何时可以（技术上）集成，而是它们应该何时（道德上）集成。此外，对这个问题的任何回答都必须提供切实可行的操作指导（而不仅仅是文字）。关于国防组织应该采用什么样的道德人工智能原则（例如Taddeo等人，2021），有一些重要的建议和辩论，但我们关注的是这些组织如何运作并实现其道德人工智能原理，无论它们是什么

人们可能希望道德互操作性问题只是一个理论问题；也许它从未真正出现过，或者在现实世界中很容易解决。不幸的是，这种希望是徒劳的：第1.1节表明，道德互操作性在国防、安全和情报环境中的人工智能系统的道德治理中可能是一个严重的实际挑战。然后，第2节考虑了解决这一挑战的几种自然方法，包括通过确定满足一套伦理原则的操作特征范围。考虑到这种映射，可以通过从两套原则的角度表明AI具有可接受的操作特性来建立互操作性。不幸的是，我们认为只有当我们非常广泛地解释“作战特征”时，这种映射才是可能的，而且几乎肯定比任何国防组织都能接受的更广泛。这些实现道德互操作性的潜在途径将需要比在国防、安全和情报领域合理预期的更多的透明度和披露

第3节提出了一种替代方法，该方法从现在普遍的观察结果开始，即尽管在术语上存在差异，但各种伦理人工智能原则的实际内容存在显著重叠（Fjeld等人，2020）。这种内容上的重叠导致允许的人工智能系统和使用上的重叠。例如基本上每个国防组织的道德人工智能原则都允许使用（精心设计的）人工智能系统来优化车辆维护。道德互操作性不应成为适当使用此类维护优化系统的问题（即，采用者组织可以道德地使用人工智能）。我们认为，各种原则之间共享的实质性操作核心可以为自我认证系统提供基础，该系统将在许多情况下（但并非所有情况下）实现道德互操作性。对于伦理互操作性的挑战，不太可能有一个领域或系统通用的解决方案，但我们的建议可能会使国防组织在以伦理方式扩大共享人工智能使用的同时，继续其当前的大部分合作。当然，道德互操作性的挑战几乎肯定适用于许多非防御环境，Sect也是如此。4探讨了挑战的其他实例，以及我们建议的决议如何适用。第5节提供了未来研究的机会和我们的结论。但首先，我们考虑道德互操作性是现实问题还是仅仅是理论上的可能性

实践中的道德互操作性
联合作战通常涉及来自不同国家的国防部门为实现共同目标而合作。因此，这种多国努力提供了明显的情况，在这种情况下，道德上的互操作性可能是必要的。事实上，北大西洋公约组织（NATO）已经制定了一项战略（NATO，2021），明确提到了负责任人工智能互操作性的重要性，尽管重点主要是技术问题，而不是道德问题。我们在Sect。2，但有必要从一开始就注意到，这一协议表明人们意识到了人工智能在协作和跨组织边界部署方面的独特挑战
与此同时，由于在撰写本文时，国防组织官方采用的道德人工智能原则很少，因此这些挑战的解决变得复杂（Stanley Lockman，2021）。最突出的一套是美国国防部（DoD）根据国防创新委员会（DIB，2019）早些时候的提议，于2020年2月通过的《人工智能伦理原则》（DoD，2020）。最近，英国国防部（MoD，2022b）的《2022年国防人工智能战略》（defense AI Strategy 2022）包含了一套“雄心勃勃、安全、负责任”使用国防人工智能的原则（MoD 2022a）。其他国家表示，他们的国防组织将在不久的将来采用官方的人工智能伦理原则。因此，我们在跨国背景下对伦理互操作性的讨论将部分依赖于政府官方文件，这些文件阐明了各国在国防中使用人工智能的伦理立场，即使这些文件不一定具有约束力。我们建议，这些文件清楚地表明了指导该国国防组织围绕人工智能进行决策的伦理原则。重要的是，这些信号表明了不同国防组织之间的显著差异，无论是在实际的原则集上，还是在原则冲突时平衡原则的（隐含）方式上（Whittlestone等人，2019）

特别是，几个盟国正在围绕涉及主权概念的（道德）人工智能实施国家战略。例如，2019年法国人工智能工作队文件《支持国防的人工智能》将值得信赖和负责任的人工智能原则与法国政府审计算法和用于训练算法的数据的能力密不可分。该文件明确阐明，“因此，维护数字主权还包括控制算法及其配置，以及数据治理”（AITF，2019）。同样，澳大利亚也将主权的概念纳入了其关于国防人工智能伦理的讨论。澳大利亚国防科技集团的《国防人工智能伦理方法》（以下简称《方法》；Devitt等人，2020）列出了澳大利亚国防人工智能道德方法的五个方面：责任、治理、信任、法律和可追溯性。在信任方面，该方法强调主权能力是一种担忧：“缺乏对主权人工智能的投资可能会影响（澳大利亚）实现主权决策优势的能力”（Devitt等人，2020，第21页）。正如Devitt和Copeland（2021）进一步阐明的那样：“要获得信任，人工智能系统需要在国家主权供应链内安全可靠”（第22页）

基于国家主权的伦理原则对伦理互操作性提出了一个明显的问题，因为很难想象在这种情况下发起者国家将放弃其人工智能算法的所有权。国防人工智能系统可能是一个国家最宝贵的资产之一，任何国家都不可能将控制权或所有权让给另一个国家，即使是在涉及盟友的联合行动中。然而，主权原则意味着，采用国只有在拥有这种控制权的情况下才能在道德上使用人工智能系统（或其产品）。如果一个国家坚持将主权控制作为其道德人工智能原则或计划的一部分，那么与其他国家的互操作性几乎肯定会面临挑战（即使这种整合在技术上可行）。因此，解决不同人工智能原则的方法，即使是在盟友之间，也是至关重要的

作为一个具体的例子，澳大利亚皇家空军（RAAF）的杰里科计划旨在发展一支综合的第五代部队，利用人工智能以机器速度处理和整合来自先进传感器平台的大量信息（RAAF，2019）。与此同时，美国空军和太空军正在开发先进作战管理系统（ABMS），将传感器和指挥控制系统分解，作为国防部联合全域指挥控制工作的一部分（Hoehn，2022a，b）。与英国皇家空军的杰里科计划一样，ABMS在很大程度上依赖人工智能来处理和共享跨服务的数据，并允许更快的决策

在联合作战中，美国国防部的资产可能会使用人工智能来处理和合并卫星图像中的数据，作为反导系统的一部分，然后希望与英国皇家空军的资产共享这些数据和建议。这种交流取决于伦理互操作性：美国人工智能系统生成的数据和建议是否符合澳大利亚伦理原则？由于主权是后一原则的关键部分，特别是信任原则，数据交换和人工智能建议（理论上）要求英国皇家空军资产对反导系统拥有重大控制权（美国可能永远不会允许）。即使国家主权要求“仅”详细了解人工智能的算法和训练数据，美国国防部也不太可能披露这些信息，即使是为了促进联军的空中行动。传统上，建立联合行动的重点和努力大多集中在技术问题上，例如确保英国皇家空军部队能够在技术上接入美国国防部网络。然而，互操作性不仅仅是一个技术问题；它还需要仔细注意各方的道德原则

人们可能会看到这个例子，认为国家边界是互操作性的主要障碍。然而，同一国家内的机构之间也可能出现道德互操作性的挑战。例如，国防部的五项原则之一是人工智能系统必须是可管理的，其中包括要求人类可以脱离或停用以非预期方式运行的作战部署人工智能系统。相比之下，美国国家情报总监办公室（ODNI）提供的《情报界人工智能伦理原则》（IC）并未提及可治理性（ODNI，2020b）。ODNI的《人工智能伦理框架》（AI Ethics Framework for the IC）对其原则进行了扩展，概述了其实施情况（ODNI，2020a），该文件确实强调了人类参与决策过程的重要性，这取决于特定人工智能系统的评估风险水平。这种强调可能看起来类似于国防部的治理原则，但实际上源自ODNI的责任和问责伦理原则。同样，ODNI框架规定，机构应确定有权修改、限制或停止系统的个人，以应对关注（ODNI，2020a）。然而，这种强调再次源于ODNI对责任和问责制的关注，而不是对治理的关注

现在考虑一个由IC操作的AI系统，用于处理地理空间图像，并在这些庞大的数据集中找到特定的信息、对象或事件。2020年的项目融合将此类系统与国防部炮兵部队联系起来，使IC操作卫星的数据能够在不到二十秒的时间内被美国陆军炮兵用于瞄准（Feickert，2021；Freedberg，2020）。更具体地说，开源报告表明：（a）IC的AI系统正在分析地理空间图像，以确定目标位置；（b）这些处理后的数据被发送给国防部指挥和控制单元；以及（c）该单元将目标数据传送给美国陆军火力指挥中心。从集成电路的角度来看，没有道德需要能够断开或停用人工智能系统；责任和问责制只要求IC确定系统分析的可靠性，特别是因为（从他们的角度来看）没有人的生命直接受到威胁。从美国陆军的角度来看，他们正在使用一个人工智能系统（尽管是间接的），因此它必须是可管理的：也就是说，如果人工智能图像处理系统表现出意外行为，它必须能够被停用，或者至少与目标决策断开连接。因此，我们看到了一个具体的例子，在这个例子中，人工智能系统满足了发起者的道德人工智能原则，但不满足采纳者的道德AI原则。也就是说，我们认为这个例子可能代表了伦理互操作性的失败，尽管技术互用性取得了成功，随着项目融合旨在包括其他国家（Feickert，2021），未来的挑战可能只会更加严峻。通过操作特性的互操作性
鉴于国家之间以及政府和私营企业之间广泛的正式和非正式合作，道德互操作性是现代国防组织中人工智能系统治理的一个重大挑战。也许解决这一问题的最明显的途径是找到一些共同或共同的术语来表达各种原则。事实上，最近通过的《北约防务人工智能负责任使用原则》（北约，2021）似乎提供了这样的术语：它们“基于现有和广泛接受的道德、法律和政策承诺”，“旨在为北约和盟国提供一致性，以实现互操作性。”，该文件还明确指出，“这些原则不影响或取代现有的国家和国际义务和承诺”，因此它们不能解决道德互操作性的挑战。例如，如果一个国家的原则要求主权，那么第1.1节中提到的问题仍然会出现，因为主权要求将取代北约原则。更一般地说，北约原则仅为盟国的道德责任人工智能提供了最低基线。理论上，一个发起者国家的人工智能系统可以满足北约原则，而不完全满足北约盟国的国家级原则。也许最重要的是，北约原则并没有提供可供采纳组织用来验证或确认道德互操作性的作战方案，而是呼吁建立这样的作战方案，包括“盟国的最佳实践”。我们这里的重点问题恰恰是如何实现这一需求，从而补充北约协议。
更普遍地说，人们没有找到实质性规范伦理理论所需的共同语言，即使是在国防部门之外：“隐私”或“安全”等术语没有普遍接受的含义，也没有一套更精细的术语可以将所有伦理原则翻译成一种语言。虽然许多道德原则都以共同的想法为基础（Fjeld等人，2020；Floridi&；Cowls，2021），但不太可能有一种共同的语言。相反，人们可能会致力于制定兼容的监管制度，其中国防组织使用类似的开发、测试和认证过程。道德和负责任人工智能的“最佳实践”建议（例如，来自美国国防创新单位（DIU）；Dunnmon等人，2021）可以说增加了适当类似做法的可能性。然而，即使采纳者组织知道发起人使用相同的流程来确定道德合规性，他们也不一定知道系统在道德上是可互操作的，因为发起人的流程将基于发起人的原则和价值观，因此，本节的其余部分考虑了不同方法的可行性，该方法侧重于不同伦理原则的共同经验含义。特别是，理解人工智能系统的一种方法是根据其操作特性：系统如何在不同的环境中运行，包括它遭受不同类型操作故障的环境？理想情况下，系统的运行特性提供了系统性能的相对完整描述，因此应独立于发起者或采用者提出的特定道德原则。假设我们可以根据一套特定的道德原则确定所需、允许或禁止的操作特征。在这种情况下，我们可以直接确定道德互操作性方法：查看系统并检查其在相关环境中的位置，以了解采用者的道德原则。也就是说，操作特征可以提供一种方法来确定道德原则（即原则“所指”的人工智能系统）的“延伸”，因此我们可能可以检查该描述级别的道德适用性。此外，操作特征通常可向盟国或合作伙伴披露，因为保密问题通常涉及方法和机制，而不是系统行为（通常在实践中可以直接观察到）。因此，人们可能希望通过披露人工智能系统的操作特征的始作者来解决道德互操作性，其次，采用者只需检查考虑到采用者的道德原则，这些操作特征是否是允许的。如上所述，这类解决方案类似于通过识别相关概念扩展中的差异来解决语言分歧的方法。这种方法也类似于将不同的道德理论结果化的策略（Portmore，20072009），因此我们可以识别差异或分歧。当我们不确定两种伦理理论是否真的不一致时，后一种策略是有用的；例如，什么时候一些义务论观点实际上与特定的道德伦理不一致？我们可以通过对每一种理论进行结果分析来解决这个问题，也就是说，通过确定每种理论的结果含义来揭示每一种学说的“行为”含义。当然，道德理论不仅仅是它们的结果论含义。然而，结果化可以帮助揭示操作的相似性和差异性。类似地，人工智能系统不仅仅是其操作特征，但操作特征的共同框架可能提供了一种解决道德互操作性问题的方法，即使不足以说明两套不同的道德原则是否“真正”相同。然而，一个自然的问题出现了：（人工智能系统的）操作特性究竟是什么，需要为这种方法指定？我们考虑了这个问题的三种可能的答案。
技术特性
操作特性的最小集合将是那些仅依赖于人工智能系统本身的特性。理想情况下，这些行为或属性仅取决于AI系统的零和一（加上机器人系统的硬件），例如基准数据集的性能或软件实现预期功能的正式验证（Dennis等人，2016）。当然，国防组织很少愿意分享实际的源代码或机器代码，即使是与盟友。因此，这种方法需要就可由采用者或可信第三方测试的适当性能标准达成一致，或者就人工智能系统本身具有特定性能特征的其他可信认证达成一致。通过类比，发起者的无线电可以被证明与采用者的系统互操作，只要证明它们可以适当地传输而不会产生干扰；采用者不需要访问无线电内部工作，只需要访问无线电的性能特性。
在我们的运行示例中，希望能够适当指定和验证人工智能系统的操作特性，以便采用者（澳大利亚或美国陆军）知道这些人工智能是否符合其道德原则。（我们假设人工智能满足发起者的道德原则，否则他们可能首先不会使用它。）例如，我们可能希望澳大利亚能够在基准图像数据集上使用美国卫星人工智能性能规范，以确定美国系统是否符合其道德人工智能原则。类似地，美国陆军可以尝试使用集成电路的人工智能+传感器的操作特性（例如，功能特性的正式验证），以确认系统满足国防部关于可管理性的道德使用原则（而不仅仅是ODNI原则）可以以标准格式记录的测量值，如数据表（Gebru等人，2021）或模型卡（Mitchell等人，2019）。理想情况下，道德互操作性的建立不需要使用任何信息，只要采用者能够通过与人工智能系统的定期交互（可能需要额外的可信验证）来获取信息。也就是说，这种方法可以在很大程度上“免费”解决道德互操作性挑战，而不需要额外的努力或披露

不幸的是，这种方法很难奏效，因为满足大多数道德人工智能原则需要的信息不仅仅是纯粹的技术细节。例如，可管理性要求用户能够“脱离或停用表现出非预期行为的部署系统”（DoD，2020），因此这一原则的满足取决于部署AI系统的更广泛的社会技术结构。相同的人工智能技术（即相同的0和1）是否可以治理，取决于它的部署和使用方式，包括周围的系统。事实上，即使是无线电等技术，也不能仅仅基于技术原因而被视为“互操作性”：通信技术的互操作性还取决于使用实践、语言以及除硬件和软件之外的许多因素

社会技术系统的特征
这些仅关注技术的担忧表明，我们可能能够在人工智能系统的基础上建立伦理互操作性，并对相关社会技术系统进行描述，我们可以简单地称之为“社会技术人工智能系统”，如果必须描述更广泛的社会技术系统，那么保密问题显然会更大一些，但在许多情况下，需要披露的信息将相对没有问题。例如，如果存在AI图像处理系统故障，用户停止图像采集的能力（即，管理AI系统的能力）可以通过关于机构使用的方法和过程的相当一般和高级信息来建立

这种方法的一个担忧是难以提供社会技术系统的精确规范。没有通用的正式语言来具体说明组织过程、社会规范和实践、部署或使用的背景或社会技术系统的许多其他要素。如果没有这样一种语言，就会持续存在术语混淆的风险，因为发起者和采用者对特定术语有不同的理解。这些情况很容易导致采用者得出结论（错误地）人工智能系统满足他们的伦理原则，因为他们误解了社会技术系统的确切结构和动态。然而，这种担忧可能是可以克服的，因为结构化形式语言和社会技术系统规范的发展是当前活跃的研究课题（例如，Chopra&；Singh，2018；Singh，2014）。虽然我们还不能利用社会技术人工智能系统的操作特性来解决道德互操作性的挑战，但我们可能希望这种方法在不久的将来能够提供解决方案

不幸的是，即使我们有这样一种正式的规范语言，道德互操作性的问题也将持续存在。特别是，在某些情况下，我们需要有关社会技术人工智能系统的生命周期和历史的信息，以确定它是否符合采纳者的道德原则。也就是说，目前对社会技术人工智能系统的描述通常不足以确定该系统是否满足通常类型的道德人工智能原则。例如，国防部的可管理性原则是指人工智能系统的“预期功能”（国防部，2020），这取决于驱动系统发展的历史问题和背景。国防部可靠性原则明确提到了过去的事件，因为它认为人工智能系统应该“在其整个生命周期内接受测试和保证”（国防部，2020）。澳大利亚方法的信任原则也出现了类似的问题，这取决于供应链的特征或在尝试合作之前进行的测试和评估。偶尔可能会出现这样的情况，即在某一时刻对社会技术人工智能系统的描述足以验证它是否满足某些道德人工智能原则，但这些情况很可能是例外。对于道德互操作性的挑战，使用操作特性的通用解决方案将需要更多信息

系统生命周期的特征
鉴于前几小节中的考虑，我们可能会考虑相反的极端：也许“操作特征”必须包括关于整个人工智能系统生命周期（构思、设计、开发、部署、使用和修订）的信息。当然，这样的规范将远远超出对操作特性的通常理解（因此前一句中的吓人引语）。然而，前面的例子提供了强有力的证据，证明只有在这种范围和规模的信息下才能满足道德人工智能原则。此外，道德人工智能原则的拟议操作（例如，美国DIU）通常强调在人工智能系统生命周期的所有阶段考虑决策的重要性

这一级别的信息几乎肯定足以让采用者确定人工智能是否为他们所接受，因为它将包括人工智能生命周期中使用的所有各种选择、约束、评估和过程。如果一个人知道在什么环境下产生人工智能（或其输出）所做的一切，那么他应该知道足够的信息来判断它是否符合一套道德的人工智能原则。假设澳大利亚军方知道美国卫星图像处理人工智能所进行的所有测试和评估（以及其创建和改进的所有其他内容）。在这种情况下，皇家空军可以判断人工智能输出是否符合该方法的道德人工智能原则。因此，我们似乎找到了解决道德互操作性挑战的方法

当然，对这个想法的描述立即揭示了它的不可行性。几乎可以肯定的是，发起者将不愿意分享所需的细节和信息。例如，DIU案例研究（Dunnmon等人，2021）描述了规划、开发和部署中的各种决策，但总是以高层次、定性的方式。保密和保密问题，即使是同一政府内的国防和安全组织，也意味着这一战略在实践中几乎永远无法实现。当我们从国防组织扩展到更广泛的国防工业时，这个问题可以说更加严重，因为这些组织也有重要的知识产权考虑。没有理由认为这种极端的信息共享是可行的，无论它是否能为道德互操作性的挑战提供解决方案

贯穿本节的核心张力是可验证性和保密性之间的关系：收养人验证需要属于（合法）发起者保密范围的大量信息。我们认为，发起者几乎永远不会愿意与采用者分享足够的信息，以便后者检查人工智能系统是否符合采用者的道德原则。我们建议，唯一可行的解决方案是发起者确定系统是否符合采纳者AI伦理原则。人们可能会立即反对收养人永远不会（也不应该）接受发起者关于满足收养人原则的主张。发起者通常不会分享领养者的利益、道德观点、对其原则的理解或验证过程的其他相关方面。因此，领养者几乎没有理由认为发起者能够代表他们成功地完成这项工作^Footnote3我们同意这一担忧，但认为“发起者验证”可以提供一种在道德互操作性挑战上取得进展的方法。我们现在转向阐明和捍卫这一观点

替代路径

尽管不同的伦理原则可以对特定的人工智能系统做出不同的判断，但在社会技术人工智能系统在伦理上是允许的方面也存在实质性的重叠。例如，所有现存的原则都同意，允许使用提供适当解释或透明度、在误差方面无偏见的天气预报系统，基于卫星的人工智能系统仅执行图像校正或增强（以不影响图像下游使用的方式），在每一套建议的道德人工智能原则下，这可能是允许的。当然，从理论上讲，任何系统都可能以违反某些道德人工智能原则的方式使用，这就是为什么人工智能的操作特性本身是不够的（如第2.1节所述）。然而，在各种原则下，有许多情况被视为合乎道德；并不是每一种情况都涉及道德互操作性的挑战^脚注4也就是说，我们应该能够阐明符合国防组织大多数或所有道德人工智能原则的系统、用途和环境

根据这些意见，我们提出了以下框架（并在本节的后面部分考虑反对意见）。我们始终假设每个国防组织都有机制来确定一些社会技术人工智能系统满足其自身伦理原则的总体要求。考虑到这样的过程，有兴趣合作的国防组织应该努力确定一套社会技术人工智能系统，所有相关方都同意该系统处于“违反自己的道德原则的低风险”区域，并且每个合作方都同意的环境极不可能违反他们自己的一套道德人工智能原则。也就是说，第一步将是国防组织确定哪些潜在的社会技术人工智能系统“在道德上是安全的”，因为他们很有可能通过自己的（内部）道德评估，包括理解原则、解决权衡、，
我们从一开始就强调，这些都是而不是通常使用的“低风险”人工智能系统。系统造成的伤害风险在概念上，通常在实践中，与系统违反一套道德人工智能原则的风险是分开的。在一个方向上，可能造成伤害的系统（在某种意义上也是“有风险的”）仍然可以符合一个人的道德人工智能原则。例如，美国海军的宙斯盾作战系统，脚注5，用于防御一系列威胁，是一个人工智能驱动的系统，为高后果、潜在的生死行动提供决策支持。日本、西班牙、挪威、大韩民国和澳大利亚（除美国外）都在使用宙斯盾系统，尽管存在“风险”（从能够造成重大伤害的角度来看），但它很可能满足这些国家的任何一套道德人工智能原则，因为它是高度可解释、可控、透明和无偏见的。另一方面，用于低后果领域和决策的人工智能系统很可能不满足一个人的道德人工智能原则。例如，一个旨在支持人力资源选择晋升候选人的人在环人工智能系统在危害方面可能相对较低，但在道德人工智能原则方面却相当偏颇、不透明，通常存在问题。“违反一套道德原则的低/高风险”类别并没有直接映射到“低/高危害风险”类别。
回到我们最初的例子，我们认为，只要两个团体之间（在更广泛的社会技术体系中）有密切的互动和协调，美国陆军使用集成电路资产不会构成违反国防部道德人工智能原则的重大风险。例如，我们建议，通过监控和了解集成电路资产的性能，可以满足国防部对可管理性的要求，即使国防部团队无法直接控制人工智能。最明显的是，不同的防务组织可以参与双边或多边谈判，具体讨论如何确定这些组织的空间。北约的原则，以及其他努力，如国防伙伴关系，为此类谈判带来了希望，可以达成有用的、切实可行的协议。重要的是，这些讨论不需要公开任何实际的方法、算法或系统。相反，谈判的目标将是就社会技术人工智能系统达成一致，如果这些系统被设计、开发、部署并以特定方式使用，那么这些系统将满足所有各方的道德人工智能原则。
此外，没有假设这些讨论会导致所有国防组织的低EPR区相同。有可能，甚至有可能，低EPR区会因具体涉及的党派而有所不同，这正是因为他们的道德AI原则存在差异。例如，北约可能会选择一个不同于“五眼”的低EPR区，因为不同的国家，以及不同的伦理AI原则将摆在桌面上。随着防务组织更好地理解其原则的范围和含义，这些低EPR区域也可能随着时间推移而发生变化。
鉴于此类协议，我们建议发起人防务组织可以自我证明社会技术人工智能系统属于相关的低EPR区。需要进一步研究，以确定将自我认证传递给潜在采纳者的最佳机制。无论如何，该认证将使采用者组织能够以适当的信心使用系统（或其输出），使其满足他们的道德人工智能原则（因为低EPR区的所有东西都被认为很有可能满足每个群体的道德人工人工智能原则）。也就是说，我们有一个（部分）解决道德互操作性问题的方法^脚注6
我们承认这个框架并不能提供完美的解决方案。特别是，可能有一些社会技术人工智能系统实际上会满足采纳者的一套道德原则（因此可以使用），但这些系统不在低EPR范围内，因此无法通过自我认证过程协同使用。然而，没有任何机制能够实现完美的道德互操作性。我们认为，与其冒险让一个群体使用违反道德原则的人工智能系统，不如谨慎行事。如果国防组织愿意容忍这方面的更多风险，那么他们可以协商扩大相关的低EPR区

该框架将在实现道德互操作性方面取得重大进展，但我们现在考虑其可行性的五个潜在问题。首先，近年来，关于国防人工智能的国际谈判和审议以失败而闻名，因此人们可能有理由担心，关于低EPR区的谈判注定会失败。至少有三个希望成功的理由。首先，这些讨论将集中在确定每个人都同意违反道德原则的低风险案例上。相比之下，先前的谈判主要集中在潜在高伤害风险的情况下（例如，具有潜在致命影响的系统或其他武器化AI），在这些情况下，分歧明显更多。其次，关于社会技术系统低EPR区的协议实际上不会限制任何国防组织为其自身用途而创建的内容。这些区域仅用于实现道德合作。第三，也是最重要的一点，这些谈判将在各方之间进行，这些各方可能希望找到道德互操作性问题的解决方案（例如，国防盟友，或军方及其供应商），因此有达成协议的重大动机。关于北约人工智能原则的协议提供了积极的证据，表明围绕道德互操作性的谈判可能取得成功

第二个担忧是，国防组织可能担心自我认证行为可能会泄露有关能力和技术的信息。即使是试图合作的盟友也不想分享绝对的一切（如第2.3节所述）。发起者声明“该系统位于商定的低EPR区（因此采用者可以在道德上使用它）”传达了更多信息，但我们认为这是相对最少的信息。发起者提供的人工智能接入已经揭示了一个具有各种能力的系统的存在，以及该系统符合发起者的道德人工智能原则的事实（否则他们可能不会自己使用）。因此，自我认证声明仅揭示了附加信息，即系统不处于可能违反采纳者道德人工智能原则的潜在争议区。我们认为，这对能力相对缺乏信息；实质性信息已经在合作提议中传达^脚注7
第三，发起者组织可能会声明特定的人工智能系统处于低EPR区，即使该系统不在，或者发起者懒得检查。这种担忧是对任何基于自我认证的系统普遍担忧的具体版本：自我认证者准确和勤奋的动机是什么？我们同意自我认证失败是一个潜在的问题，但我们注意到两个原因，认为诚实的自我认证在这种情况下更有可能。首先，自我认证所需的大部分（可能是全部）信息将通过发起人的内部道德人工智能认证过程获得，在该过程中，他们确定自己的道德人工智能原则被该系统满足（例如，国防部要求的，2021）。自我认证不太可能需要发起人付出大量额外努力；不应该有显著的额外成本<第二，这些自我认证会发生在盟友之间，因此如果始作俑者从事欺骗行为，将存在巨大的潜在风险。虽然国防组织仍可能参与欺骗，但这种行为可能会损害可能有价值的关系。对于国防承包商和供应商来说，这种动机尤其突出国防组织采用他们的人工智能系统

第四个担忧是，一些国防组织提出了强调国家控制的道德人工智能原则（例如，澳大利亚、法国），我们早些时候认为，这一承诺意味着这些组织（几乎）永远不会采用另一个团体的社会技术人工智能系统（或其输出）。如果采用者必须拥有某种强烈意义上的主权控制权，那么其低EPR区内唯一的人工智能系统将是创始者割让给他们的那些系统（而这些系统很可能很少）。我们承认，主权控制原则可能会阻止参与这一框架，尽管这些原则可以说会阻止任何涉及人工智能的合作。也就是说，问题不在于我们提出的框架，而在于当一方坚持主权控制时的合作理念。然而，更重要的是，我们的框架可以说与国家控制原则所依据的理由是一致的。这些理由主要集中在建设能力和减少依赖的重要性上；也就是说，合乎道德的人工智能应该保持或增强国家在国防人工智能方面的独立性。这些目标可以很容易地纳入关于低EPR区的协议中。例如，一个关注减少（有问题的）依赖性的收养国可能会要求社会技术人工智能系统只有在有明确机制确保持续使用的情况下才具有低EPR。或者，一个关注提高能力的采用者可能要求低EPR区域AI在方法方面透明。当然，其他国家可能会拒绝这些要求，从而缩小低EPR区。在最坏的情况下，一个国家可能会发现自己无法就低EPR区达成任何协议。然而，最坏的情况恰恰发生在该国无法确保其他国家的人工智能系统可能符合其道德原则，因此他们不应该首先使用这些系统的时候。也就是说，这一框架实际上将使一个国家能够继续遵守其道德原则

第五，有人可能会反对这个框架将使每个国防组织能够继续使用自己的一套道德人工智能原则，而不是那些被迫为共同标准进行谈判的团体。有人可能希望，我们能够就在何种情况下，什么样的防御人工智能在道德上是允许的，达成共识。如果我们制定并实施一个道德互操作性框架，那么我们就消除了实现这一理想的一些压力，因为我们将有一个机制，让国防组织在不制定共同语言或原则的情况下解决分歧。然而，这一理想可能是遥不可及的：即使是《北约人工智能原则》，虽然是朝着建立共同基线的正确方向迈出的一步，但也承认国家义务和承诺是存在的，必须得到尊重。更实际的是，呼吁制定“共享术语”，而不仅仅是清单，有时被用作谈判中的拖延战术。在其他领域（例如，网络安全），进展主要是当各方专注于具体案例而非抽象原则的协议时。我们认为，这里也是如此，我们提出的框架可能会增加国防人工智能的道德使用，而不是成为障碍

道德互操作性的规模

我们关注的是国防和安全环境中的人工智能，因为这涉及相关方明确的道德原则声明和频繁的合作需求（至少是盟友和朋友之间的合作）。这些背景生动地说明了道德互操作性的需要和困难，因此在解释挑战和可能的解决方案时特别有用。然而，道德互操作性的挑战显然不仅限于国防和安全环境，而且在任何一方想要使用人工智能技术或源自另一方的输出时都会很容易出现。最明显的是，先进的人工智能系统越来越多地由一小部分公司开发，这些公司随后向其他公司、非营利组织或政府提供“人工智能即服务”。这些服务的采用者或接受者通常与发起者或开发者具有不同的道德原则，因此必须面对道德互操作性的挑战

考虑一些非辩护的例子^脚注9一家公司希望使用Microsoft Azure AI平台为其客户生成建议。微软有一套负责任的人工智能原则和实践，^脚注10及其发布的方法Azure可能符合微软的原则。然而，相关的问题是，这些方法是否符合使用Azure的公司的道德原则，而不是微软本身。或者，考虑一个想要使用Google/Jigsaw Perspective API系统的社交媒体平台，该系统可以检测消息或其他内容中的毒性。谷歌有道德AI原则^脚注12，这些原则可能指导他们的工作，但相关的问题是Perspective API是否满足平台的道德原则。同样的谷歌原则可能也涵盖了谷歌健康公司开发的诊断人工智能系统（例如DermAssist脚注13），但道德互操作性的挑战在于，诊断人工智能是否符合希望使用它的当地医疗服务提供商的道德准则和原则。或者，考虑一家公司，其目标是更符合道德的招聘实践，并决定与pymetrics合作，pymetric提供了额外的措施和方法来支持招聘多样化、合格的候选人。pymetrics已经接受了第三方审计（Wilson等人，2021），以确认其系统遵循自己的道德原则，^{脚注14^{但这里的相关问题是，他们的系统是否符合招聘公司的道德原则。作为最后一个例子，联合国粮食及农业组织（FAO）支持2020年罗马人工智能伦理呼吁中的原则，脚注}15}旨在利用IBM和微软的人工智能系统提高世界各地的农业产量（FAO，2020）。这里的道德互操作性挑战在于，粮农组织是否以及如何能够得到微软和IBM的适当保证，确保其人工智能系统也符合罗马原则，而不仅仅是公司本身的原则

这些例子表明，道德互操作性是几乎所有行业普遍存在的问题。发展一套道德的人工智能原则的努力在关注技术可能被滥用或不当使用的方式方面提供了明显的好处。然而，同样的努力也给（道德）合作和协作带来了相当大的、相对不被注意的挑战

这些例子为Sect。2操作特性不能为道德互操作性提供通用语言。例如，将内容标记为“有毒”的Perspective API算法的规范提供了足够的信息，无法确定采用社交媒体平台的系统是否“可管理”，因为该规范低估了可用的控制级别。在采购和采购合同中包含可靠性或其他要求的提议可能足以满足法律目的，但几乎从未达到道德目的。另一个极端是，pymetrics显然不愿意公布其系统历史、测试和开发的所有相关细节，因为他们甚至没有向第三方审计团队提供这些信息（Wilson等人，2021）。隐私（发起者的人工智能）和可验证性（采纳者的道德人工智能原则的满意度）之间的核心张力并非针对特定的防御。紧张的原因在其他部门可能有所不同（例如，发起者希望隐私保护其知识产权，而不是国家安全），但无论如何，对运营特征的呼吁也不会奏效

第。3是暗示性的，但不能完美地转化为非防御设置。发起者自我认证人工智能系统落入商定的低EPR区的一般想法仍然可以抽象地起作用，但在非防御环境中，建立这些区的谈判将具有完全不同的形式。在非防务环境中，有更多的参与者，他们之间的权力失衡更大。例如，与希望与美国国防部合作的国防组织相比，更多的公司希望使用Microsoft Azure AI。此外，在与微软接触时，采用公司的议价能力相对较小。期望每一家C公司都与微软进行双边谈判，以建立一个仅用于C使用Azure的低EPR区是不切实际的，但微软不提供指导也是不合适的

出于这些原因，我们建议专业协会和贸易组织应在解决非国防环境中的道德互操作性方面发挥关键作用。也就是说，我们建议IEEE、人工智能伙伴关系（PAI）或国家制造商协会等组织应参与为其部门和成员制定低EPR区的审议程序。这些区域可能不具约束力，因为这些团体没有特别的执法权力。相反，它们将像行业标准一样发挥作用，遵守这些标准将使公司确信自己遵守自己的道德原则，即使在使用他人开发的人工智能系统时也是如此^脚注16如果发现公司的自我认证存在欺诈行为，这些区域还可能支持合同语言来制定惩罚措施。理想情况下，这种“标准”低EPR区域的存在将激励公司开发其内的人工智能技术，从而可能导致更符合道德的人工智能系统

结论和未来研究

道德互操作性的挑战对国防组织来说尤为突出，但随着道德人工智能原则越来越多地被采用，这一挑战将出现在任何想要使用人工智能系统或其他团体输出的团体身上。无论行业如何，人工智能系统的开发人员和用户都应该接受道德互操作性的挑战，因为替代采用者不担心始作俑者遵守前者的道德人工智能原则是否会为有问题的“道德外包”打开大门。“采用者不应该仅仅通过让其他团体为他们开发系统，就能够使用违反他们自己的道德人工智能原则的系统。如果组织认真对待他们的道德承诺，他们必须确保他们使用的每一个人工智能，无论来源如何，都符合他们的原则

与此同时，一些关于伦理互操作性的开放研究和应用问题仍然存在，包括我们的积极建议。首先，我们认为，道德互操作性需要一些自我证明组件，但绩效标准的审计和验证也可以发挥作用。一个挑战是更好地理解自我证明和验证的不同平衡的优点和缺点：特别是，在真实世界的案例中可以使用多少验证，从而减少自我证明的范围？与此相关，高级别防御人工智能原则的持续实施可能会影响自我证明的可接受性和价值，这取决于不同组织是以相似还是不同的方式实施。其次，我们提供了一些人工智能系统和使用的简单示例，这些系统和使用极不可能违反组织的一套道德人工智能原则，但对（可能的）低EPR案例的空间进行更全面的描述会有所帮助。第三，尽管我们先前认为EPR和“常规”风险是不同的，但在某些情况下它们是相关的，因此我们的积极建议与各种新兴的基于风险的法律和监管框架（例如，欧盟AI法案或美国NIST风险管理框架，在本文撰写之时，这两个框架仍处于起草阶段）之间存在潜在的联系。第四，我们认识到，在某些情况下，一个组织可能需要使用另一个参与者的人工智能系统，即使它没有落入谈判的低EPR区。在这些情况下，道德上的互操作性再次构成了挑战，因此需要针对这种情况的方法或框架

道德互操作性是一个重大挑战，尤其是在国防和安全部门，但我们不需要听任“一切顺利”，也不需要容忍道德外包。这里提出的积极建议为此类保证提供了一条途径，从而提供了一个潜在的途径，使组织能够实施其道德人工智能原则并应对道德互操作性的挑战

简介