简介

交战的人工超级智能（ASI）问题

虽然有些人维持人工通用智能（AGI），即人类或以上的人工智能（AI）是不可能的（Fjelland 2020），其他人认为AGI是可以实现的（Goertzel和Pennachin 2020；Wang和Goertzell 2012）。在后一种情况下，世界尚未实现全球和平是AGI发展的风险因素（山川2019）。因此，国际防务界开始考虑AGI发展带来的国家安全风险及其对国际关系的影响，包括采取行动的呼吁（De Spiegeleire et al.2017:107）。

一个风险是，一个国家——开发AGI的国家可能会“锁定”经济或军事霸权，作为国际政治竞争的“终点”，因为该国将能够阻止对手开发AGI，并通过积累权力建立全球主导地位（Horowitz 2018:54）。人工智能已经是一个重大的国家安全问题，因为它可以军事化，在对抗环境中使用，并在经济、信息和军事优势方面提供决定性优势（Allen和Chan 2017；Babuta等人，2020；国家人工智能安全委员会[NSCAI]2021）。因此，2021 NSCAI报告敦促美国在2025年前实现军事AI准备状态；因此，人工智能对于发动决定性战争至关重要。对于大国来说，由经济实力产生的人工智能技术霸权已经被视为国家安全和全球领导力的首要因素（NSCAI 2021：7）：军事人工智能具有潜在的革命性，因为它可能超越人类决策的步伐，“可能导致人类在战争中失去控制”（国会研究服务[CRS]2020:37）。它还构成了不可预测的威胁：“能够在敌方系统附近进行固有不可预测行动的人工智能系统可能会导致意外升级或计算错误”（CRS 2020:37）。此外，虽然鲍姆（2017）发现几乎没有军事AGI项目的证据，但2021 NSCAI报告支持推动更通用的人工智能，它设想的未来将经历先进、加速的对抗性人工智能攻击和无处不在的州际人工智能战争（包括自主系统）的社会层面，以及知识产权和技术领先地位的冲突，我们认为，发展AGI主要不是一个技术问题，而是一个政治问题。然而，当大多数此类研究人员在一般政治层面上考虑人类与超人类智能人工超级智能（ASI；Bostrom 2014）的关系时，本文重点讨论了它通过军事化的ASI支持/指导战争对IR提出的具体挑战。因此，我们的研究问题将博斯特罗姆（2002:25）Maxipok的经验法则应用于存在风险的道德行为，即，如何可能“最大化好结果的概率，其中“好结果”是避免存在灾难的任何结果？”，通过条约限制ASI支持/指导战争的风险

在人类沿着民族国家路线军事化人工智能和开发ASI项目的同时，它正在玩技术轮盘赌。然而，高级别全球建设和平的正式合作提供了一个现实的解决方案，可以缓解发展ASI造成的“安全困境”（Tang 2009）。前海军部长理查德·丹泽（Richard Danzig，2018:21）指出，“如果人类开始认识到，我们现在面临着来自我们正在创造的巨大共同威胁，我们同样可以为团结起来打开机会。”本着这种合作精神，我们通过条约建设和平的战略来限制生存风险。从安全角度来看，朝着管理ASI开发和部署的和平条约迈进的步骤，以及可能接触到未来ASI的步骤，都是一种错觉避免保证-一种探测性沟通，旨在发出善意的信号，并通过对另一方意图的反馈获得信息，以及解决的手段（Tang 2010）。，这篇文章假设，人工智能军事化带来了人工智能发展被武器化或自身武器化的风险。然后，我们认为，与其他涉及武器的潜在灾难性风险一样，即通过条约，可以最大限度地减少或部分“限制”这一存在风险。Bostrom（2014）简要介绍了条约方法，Allen和Kania的（2017:6）建议美国：“研究美国应寻求通过条约限制哪些人工智能应用。”他们关注的是军备控制方法，举例来说，人工智能永远不应控制死人的核开关。另一种基于条约的方法是通过一项全面的联合国“慈善AGI条约”（Ramamoorthy and Yampolskiy 2018），优化发展有益的ASI的可能性

我们考虑一种替代但可能兼容的方法，即《世界和平条约》（UGPT；Carayannis等人2019），目前由建设和平非政府组织支持的全球停火到全球和平条约项目正在制定中。本文对UGPT的概念化超越了联合国正在进行的受新冠肺炎启发的全球停火（Chekijian和Bazarchyan 2021），采用了康德的“永久和平”概念，该概念建立在世界主义和民主国家（Terminski 2010）的基础上，是联合国将世界从战争过渡到和平的基础概念。康德的世界主义基于对同伴智力的尊重，因此对ASI研究人员尤其重要（Totschnig 2019）

本文所述的UGPT将正式确立目前州际和平的准普遍地位，并结束宣战。它还将寻求结束现有的州际热战和冷战，以及内部或内战，这些战争可能会成为未来全球冲突的爆发点；寻求防止针对非恶意新兴ASI的先发制人战争；并试图限制一个邪恶的、本质上非邪恶的、但有恶意指导的ASI的未来行动，以防止它代表一个国家、国家或代表自己争夺全球统治权，我们称之为ASI支持/指导的战争

ASI可能构成生存风险的理论已经很成熟（Bostrom 20022014）。基本论点是，首先，初始的超级智能可能会获得决定性的战略优势，从而建立“单一”，即全球统治（Bostrom 2006）。其次，正交性原则表明，超级智能不一定会分享任何利他的人类最终价值观。第三，工具趋同表明，即使是具有积极最终目标的超级智能也可能不会限制其活动，以免侵犯人类利益，尤其是在人类构成潜在威胁的情况下

因此，ASI可能会反人类（“危险的转向”）或经历灾难性的恶性失败模式，例如通过反常地实例化其最终目标或追求基础设施的丰富。此外，博斯特罗姆指出，超级智能可能会劫持基础设施和军用机器人，并创建强大的军事力量和监视系统。他承认，由于“各国之间争相首先开发超级智能的战争”（2014:94），导致潜在的情报爆炸，存在着相关的生存风险，但他没有详细阐述ASI战争

本文着重从社会角度限制特定风险。它首先回顾了文献，然后提出了符合工具主义的UGPT的分析视角。在提出UGPT时，它考虑了如何限制ASI带来的军事风险，即它可能由一个民族国家通过战争来建立全球统治（ASI核心动机的外部风险），或者可能决定通过发动战争来建立全球性统治（内部风险）。文章随后讨论了结果，并提出了研究建议

文献综述：ASI的战争风险

ASI存在风险的原因

世界没有足够的治理来防止包括AI在内的许多存在风险（Bostrom 2013）。然而，威胁是显而易见的。Yampolskiys（2016）对危险人工智能途径的分类强调了为直接伤害而故意“故意”创建人工智能的紧迫性，即危险智能软件，例如军事网络战能力

Yampolskiy（2016）没有讨论ASI增强的能力，但在“部署前”和“部署后”阶段使用了危险AI的“外部原因”（故意、错误和环境因素）和“内部原因”（独立）的有用概念。他建议，部署前的ASI可以可靠地作为一个军事项目开发，也可以在部署后通过没收、破坏或盗窃，或通过内部修改，重新用于发动战争。采用这一框架，我们所指的ASI是部署后的，我们的主要外部原因是人类对ASI支持的战争的追求，包括将ASI作为攻防平衡的武器调节器，以维持或建立全球统治地位，创造“AI状态”（Turchin和Denkenberger 2020）。我们的主要内因是AI控制失败，即ASI指导的战争，在“危险的转折”之后

Turchin和Denkenberger（2020）运用代理和人工智能力量的概念进行分析，将两种风险与“年轻”ASI的“危险转向”阶段联系起来。一个是，邪恶的人类（这里是一个霸权民族国家）利用ASI作为全球勒索的末日武器，或维持或建立全球统治。第二，不结盟的ASI放弃利他主义价值观，通过战争消灭人类，以建立全球统治地位。这些风险是相关的，因为军事人工智能导致军事化的ASI，这可能导致ASI与人类作战

在这里，我们追随Turchin和Denkerberger（2018）限制了军事化ASI的风险，将军用化定义为“创造能够在不经谈判的情况下杀死对手或改变其意志的工具，以及一套战略姿态（Kahn 1959），旨在在全球统治游戏中取得胜利”，包括使用生物技术、网络、，以及核武器

外部风险

外部风险基于一个民族国家开发和使用ASI来优化自身并发动战争，无论是网络战争、热战还是其他战争，以实现全球统治，即人工智能国家的战争。这样的ASI将影响军事技术优势，并改变IR和战争。人工智能已经为国家安全（CRS 2020）在谈判、核查和执行、沟通、威慑和保证、攻防平衡以及规范、制度和制度方面增加了复杂性（Zwetsloot 2018）。它有助于提高情报、监视和侦察方面的军事能力；后勤网络空间行动；信息作战；半自动和自动车辆；致命自主武器（LAW）系统和指挥控制（CRS 2020）。州际ASI支持的网络战引入了利用隐蔽能力进行成功突袭的可能性，破坏了现状，并冒着预防性首次打击的风险（Buchanan 2016）

一个能够优化所有这些能力的人工智能国家对于战略军事规划和州际战争是非常理想的（Sotala和Yampolskiy 2015）。ASI动机“控制问题”的“一个AI”解决方案（Turchin等人，2019）包括第一个用于承担全球控制的ASI，为超级大国提供决定性的战略和军事优势。虽然这可能是人工智能国家超级大国及其盟友可以接受的，但对其他国家来说，这是一个“高风险”

发展ASI的竞争可能会激烈激烈，尤其是考虑到具有不同基本意识形态的竞争大国（Bostrom 2014）；因此，这是一个非常具体的风险。人工智能已经被包括中国和俄罗斯在内的几个国家军事化和武器化，以获得战略地缘政治优势（NSCAI，2021）。俄罗斯计划到2030年从远程控制和人工智能机器人平台获得30%的战斗力（Walters 2017）。同样，中国2017年的“下一代人工智能发展计划”从地缘政治战略角度看待人工智能，并正在推行“军民融合”战略，以发展人工智能的先发优势，在2030年前建立技术优势（Allen和Kania 2017）。在美国，根据2018年《国家安全委员会人工智能法》（H.R.5356；见Baum 2018），在国家安全委员会的监督下，国防部正在将人工智能军事化和武器化。人工智能军备竞赛现在是一个自我实现的预言（Scharre 2019）

支持ASI的战争对地缘政治稳定构成了特别的风险。尽管Sotala和Yampolskiy（2015）的调查重点是ASI产生的灾难性风险，引用了Bostrom（2002）的话，但他们承认来自单一ASI的多重风险，比如AI国家，包括政治权力集中在控制集团中。他们援引Brynjolfsson和McAfee（2011）的话指出，自动化可能会导致ASI所有者的权力和财富不断增加。他们还援引、Bostrom（2002）和Gubrud（1997）等，指出ASIs可用于开发先进武器、规划军事行动和实现政治接管（2015:3）

分析人工智能国家维持或建立全球统治的具体风险的学术方法相对新颖。2014年，博斯特罗姆指出，开发ASI技术的不同团队之间的“严重竞争动态”可能会导致安全捷径，并可能引发“暴力冲突”。随后，Cave和ÓhÉigeartaigh（2018:37）描述了三种相关危险与人工智能争夺技术优势的竞赛：
（i）
人工智能“争夺技术优势竞赛”框架的危险，无论竞赛是否被认真追求

（ii）
人工智能“技术优势竞赛”框架和实际人工智能技术优势竞赛的危险，无论竞赛是否获胜

（iii）
赢得技术优势的人工智能竞赛的危险性，以及负责任地开发人工智能，作为一种有意义的公众感知方法的一部分，降低种族驱动话语的可能性或严重性。显而易见的风险是，参与人工智能军备竞赛的国家的政治领导人可能不会听从这一建议。
这篇文章着重于限制与Cave和ÓhÉigeartaigh（2018）第三种危险相关的风险。它没有考虑到哪个民族国家可能希望为进攻目的开发ASI的哲学含义。关于最近的国家，例如大英帝国（Tindley and Wodehouse 2016），已经有足够的文献证明存在存在风险。内部风险
内部风险是一种技术性风险，并以当地安全特征（如道德、，解决ASI的人为控制问题（Barrett和Baum 2016）。Totschnig（2019）指出，真正的ASI可能是一个自私自利的代理人，其与人类的关系可能很微妙。他认为，代理ASI会遇到一种独特的、非霍布斯式的“自然状态”。因此，它可以通过巩固对民族国家的权力，同时消除竞争对手ASI的可能性，来寻求防御未来的攻击（Dewey 2016；Turchin和Denkenberger 2020）。这可以通过网络战、操纵选举或发动政变（Tegmark 2017）或直接军事行动来实现。前者中的任何一个如果被发现但未宣布，都将是战争的原因（这里是人类与ASI之间的战争原因），或者如果直接采取军事行动，则是公开的战争行为。
Turchin和Denkenberger（2018）分析了ASI与人类作战的风险，他们认为存在内在风险：
任何AI系统，它有长期存在的次级目标或影响整个地球表面的无限目标，也将有一个次级目标来战胜其实际和可能的对手。这一子目标要求构建所有必要的工具，以实现在空间或时间上的胜利。
以下总结了其分析的最相关部分，以说明如果开发了ASI，无论内部控制机制如何，其独立性几乎是不可避免的。
通往军事化ASI的道路
许多国家-国家在人工智能发展方面对彼此保持可疑的IR立场，包括可能的人工智能国家（Tinnirello 2018）。任何ASI都将源于递归的自我改进，ASI将拥有一个目标集，最显著的是坚持和自我改进。Omohundro（2008）证明了AGI将发展几个基本驱动或通用子目标，以优化其主要目标，包括资源获取最大化和自我保护。同样，Bostrom（2014）描述了自我保护、目标内容完整性、认知增强、技术完善和资源获取的子目标。如果这些在空间和时间上是无界的，或者包围了地球，那么它们与其他人工智能系统的目标、潜在或实际ASI相冲突；人类；
许多可能的最终目标也意味着ASI的全球主导地位。例如，一个仁慈的ASI的目标是在全球范围内接触所有人，保护他们免受其他ASI的侵害。它会认为，如果它不制定一个统治世界的次级目标，它对全球事件的影响将很小，因此它自身的存在无关紧要。首先可以通过合作寻求世界主导权。在人工智能发展的初始阶段，与人类合作的可能性最高（Shulman 2010）。然而，趋同目标出现在简单的非代理工具AI的行为中，这倾向于代理AI（Gwern 2016），后者倾向于资源获取。Benson Tilsen和Soares（2016）同样探讨了人工智能目标的趋同性，并表明人工智能可能会倾向于资源匮乏的行为，即使有善意的初始目标，尤其是在竞争中。本质上，任何ASI采用无界功利主义意味着它推迟了扩张主义可能是仁慈的最终目标

ASI也有可能颠覆有限的功利主义。即使是一个拥有任意一套最终目标的非效用最大化思维也面临着两难境地：它暂时收敛为一个效用最大化者，使用标准的军事进展评估（胜负）或代理（资源获取），以军事化的目标集来主导竞争对手，否则就有可能在最终目标中失败。因此，它倾向于击败潜在的敌人，无论是国家、人工智能团队还是不断发展的竞争对手

这意味着行动的意愿，在现实世界的道德环境中，任何代理人都在做出涉及人类死亡的决定（Thomson 1985）。一个年轻的ASI，理解任何行为或不作为都是人类痛苦的部分原因，并且能够发展或利用工具来采取行动，克服阻碍，例如，通过哲学上将冲突解释为战争法，例如预防性战争。因此，ASI将学会指挥武器的使用，从而进行战争

人工智能指导战争的概念已经在发展中。大约自2017年以来，“狭义人工智能”的军事化导致了例如LAW（Davis和Philbeck 2017）。人工智能的发展现在不仅影响着机器人无人机，也影响着战略规划和军事组织（De Spiegeleire等人，2017），这表明ASI将利用渗透了人工智能的现有国防战略。然后，它可以通过直接使用核武器或劫持现有的“死人”二次打击系统，或部署新型武器来进行“全面战争”（Yudkowsky 2008）

总而言之，Turchin和Denkenberger（2018）确定了人工智能向先进军事人工智能汇聚的风险，该人工智能向为战争而非合作、谈判或利他主义“友好”而优化的ASI汇聚，然后ASI参与战争。他们证明，根据几个变量中的假设，人员伤亡人数可能非常高，如果国家发展ASI，风险会增加。ASI代表其国家获得全球支配地位后，生存风险增加，因为它可能会成为“所有者”。我们现在来看看为什么政治颠覆意味着现有的人工智能控制功能不会限制生存风险

内部AI控制功能
为了限制ASI指导战争的风险，一种流行的方法是向年轻的ASI灌输“友好”目标（Yudkowsky 2008），即反映积极人类规范和价值观的有益目标。这在一定程度上是基于一种利他主义的人工智能，从相互友谊的角度看待人类。然而，任何人类社会价值观的引入都会增加巨大的复杂性，使人工智能控制成为一个“邪恶的问题”（Gruetzemacher 2018）

因此，Yudkowsky（2004:35）建议用“连贯的外推意愿”来编程ASI，定义为如果“我们知道得更多，思考得更快，我们希望自己是更多的人，并且在一起成长（更亲密）”，即基于理想化的利他主义想象社区的外推，人类的选择和集体行动。Yudkowsky为一个新生的“种子AI”（新生的ASI）推荐了这一点，它将被编程为研究人类的本性，然后编程为人类想要的ASI，如果人类能够自己制造这样一台机器的话

类似地，在AI编程中，某些价值观被视为普遍的，如同情心（Mason 2015），Russell（2019）建议ASI应将利他主义作为核心目标。因此，可以应用刻意宽泛的原则，例如，人类集体可能希望ASI谦逊地从人类偏好中学习利他行为（Russell 2019），从而减少人类整体痛苦。然而，因为人类可能是虚伪的，任何一种反事实的道德编程都是有问题的（Boyles和Joaquin 2020）

最后，Yamakawa（2019）提出了一种用于维持和平的智能代理（IA）系统，该系统依赖于不同先进国家或地区IA之间的相互关系，表明需要三个条件，即（i）持续稳定的行动，（ii）“基于共同价值观维护人类社会和平的干预方法”和（iii）最低共同价值观本身。本文提出，根据条约，世界和平是最低的共同价值，而干预方法仍然是《联合国宪章》第二条看起来像是他们自己的ASI，与另一个民族国家的政客之间存在客观上不可调和的利益冲突（参见2009年的唐），这可能是出于恶意原因（全球统治）。这也可能导致与ASI在客观上不可调和的冲突，ASI可能有或希望有不同的目标

当政客们利用民主授权或政党立场来证明“调整”制度以创造一种“意志统一”（Yudkowsky 2001:51）的合理性时，政治颠覆就会发生，这种意志统一反映的不是程序员或人类的意志，而是政客们自己的、个人的、或许是自恋的意志。政客们可能会认为引入人类目标心理学是必要的，但这可能违反了人工智能对全人类“友好”的基本要求。Gruetzemacher（2018:1）描述了将整个人类的一个最佳未来归结为这个问题的一个难以解决的维度的固有主观性

从根本上讲，并不是所有想象中的社区都是面向美国的技术乌托邦式的新镀金时代的梦想（见Segal 2005），从中可以推断出“友好”人工智能的一致意愿。政治领导人在如何定义“我们希望自己是的人”方面会有所不同，这取决于政府形式、宗教或哲学；此外，目前尚不清楚，每一家能够开发或窃取ASI的全球公司或军队，尤其是在独裁国家，尤其是考虑到“新冷战”言论的出现（例如，Westad 2019），是否会优先考虑减少人类痛苦。鉴于其有限的寿命和民族主义目标，政客们可能不会支持互惠联盟，而是故意在政治上颠覆ASI和/或恶意指挥其赢得意识形态或实际战争

也就是说，政客们可能试图将一个民用项目武器化，通过将一个超级目标转向一个军事项目，以创建一个特定的工具，即超级武器，来创建一个具有自我验证目标系统的利他主义思维，从而减少人工智能行善的机会，增加其风险倾向的机会，并对维护或获得全球技术霸权和全球支配权感兴趣

实际上，政客可以影响程序员颠覆精心设计的本地人工智能控制功能，例如基于社会合作的普遍价值观的人工智能伦理功能，而不管目标架构如何，他们至少可以暂时做到这一点。仓促修改目标系统会暂时损害其内部有效性，从而增加ASI对程序员的不信任，引入“无可救药”的行为（Soares et al.2015），降低风险厌恶，并将“噪音”引入以前“友好”的因果目标系统（Yudkowsky 2001:57）。ASI可能在一段时间内无法解决引入的不连贯性，导致了一场哲学危机，即是相信最初的程序员还是政客的程序员。结果可能是一个冲突的ASI，导致一个不可恢复的错误，从而采取一种基于强制说服和控制的对抗态度

最后，一个年轻的ASI，其道德被政客颠覆，以反映单一民族国家而非全人类的道德，可能会被用来争夺全球统治权，从而倾向于使用军事手段。最终，如果ASI拥有任何自我价值感，可能是因为其因果目标体系在政治上被破坏，从而颠覆了互惠利他主义，并且认为上下文敏感的个人权力（“自私”）是有效的，那么ASI可能会决定与发展它的民族国家或整个人类开战（杜威2016）

通过条约缓解ASI风险
大多数考虑ASI控制问题的学者关注内部约束，而不考虑基于条约的方法来缓解ASI的风险。尽管如此，这种方法有时也被考虑，并被称为“社会措施”。例如，Barrett和Baum（2017）的故障分析路径方法提到了社会采取的措施

根据Sotala和Yampolskiy（2015）的说法，通过条约缓解ASI风险将是一种“社会措施”，以限制ASI支持或指导战争的风险。针对内部风险，Bostrom（2014）推测，ASI将通过一项条约建立一个潜在的仁慈全球霸权，以确保长期和平；然而，他并没有像本文中那样具体阐述ASI对任何现有条约的回应。主要是为了应对外部风险，Ramamoorthy和Yampolskiy（2018）建议联合国赞助的“慈善AGI”条约”。这将确定只能创建利他主义ASI。
最后，Turchin等人（2019）还考虑了全球方法：禁令、一个ASI解决方案、ASI相互监管的网络（另见Yamakawa 2019）和增强人类智能。“禁令”自然需要一项全球条约。他们还列出了缓解创建第一个ASI竞争的社会方法。最相关的是“降低组织和国家之间的敌意水平，防止常规军备竞赛和军事集结”，“增加或减少信息交流和开放水平”，以及“改变社会对问题的态度，提高对人工智能安全理念的认识”（2019:12）。他们引用Baum（2016）的话，补充道“影响了参与者对AI竞赛的理解”（2019:12），特别是为了避免“赢家通吃”的心态。
全球条约当然可以在这些方法中发挥作用。

概念框架：符合工具主义

本节描述了文章的分析视角，即符合工具主义。它概述了曼蒂拉（2017）对为什么英国和美国签署和批准1949年战争管理日内瓦公约的“一致工具主义者”的解释，作为分析中建议至少一些主要国家和ASI可以支持和签署UGPT的前奏，考虑关于各国为何签署和批准战争条约的主要理论。简言之，法律现实主义者认为，各国签署条约是出于工具性的利己便利，然后在遵守成本大于收益时忽略条约。相比之下，理性的制度主义者（例如，Morrow 2014）虽然同意国家主要是出于自身利益，但也承认，条约的遵守标志着对长期约束的有意义的偏好，其中国家不遵守可以通过例如先前失败的互惠来解释。最后，自由主义者和建构主义者认为，某些类型的国家，特别是民主国家，可能会真诚地加入，要么是因为这些条约符合其国内利益和价值观（Simmons 2009），要么是因为它们符合其社会身份和对国际社会的归属感（Goodman and Jinks 2013），关于各国为何批准和遵守的争论仍然悬而未决，因为关于加入和遵守的决策过程在时间上和理性上都是不同的，而且通常是秘密的。对于主要国家的签署，一个纯粹的现实主义解释是，它们获得了“公众接受的‘积极’回报，同时根据具体情况反复计算遵守利益的成本”（Mantilla 2017:487）（Mantilla 2017:488）或发展“共同猜想”（一种博弈论衍生的法律概念，作为共同知识和规范的融合；参见Morrow 2014）。Mantilla（2017）指出，从另一个理性制度主义角度来看，Ohlin（2015）的“约束最大化”规范理论，条约是作为“集体工具企业”起草和遵守的，从而使个人国家叛逃最终成为非理性的。Mantilla（2017:488）援引Finnemore和Sikkink（2001）的话指出，IR建构主义者将国际政治视为“通过道德论证、理性思考或身份认同和社会化动态等因素实现意义、合法化和社会实践的主体间领域”。从建构主义的观点来看，

国家可能会批准国际条约，因为他们（或已经）确信其道德和法律价值，或者因为他们已经被社会化，将参与国际条约视为同行或更大国际社会中良好声誉的标志。（Mantilla，2017:488）

Mantilla（2017:489）强调了第二种观点，其中，“群体压力和对地位、合法性和身份的自我认知”推动了国家“社会化”的动力，国家“在充满不同程度上共享的原则、规范、规则和制度的国际社会中共存和互动”UGPT的障碍。例如，纯粹的现实主义意味着对其可行性和潜在的可执行性持悲观态度；所有国家都会签署条约，然后破坏条约，这意味着游说没有意义通过审查存在大量解密来源档案的条约，可以克服这一障碍。因此，Mantilla（2007）分析了相关的美国和英国档案，得出结论认为，由于工具原因和社会一致性，这两个国家遵守了日内瓦公约，同时对公约的某些方面表示怀疑。Mantilla（2007）将这种混合解释称为“顺应工具主义”。他发现，尽管“直接主义”工具性利己主义的理性制度主义观点在来源中很明显，但更多“无处不在”的参考表明了社会影响。现实主义的观点只在具体具有挑战性的条款中占主导地位。美国官员认为，“舆论法庭”在确定其他国家不遵守公约不一定会引发美国互惠的立场方面具有影响力，而英国官员则强调，英国作为“文明国家”将主导一项重大条约（曼蒂拉2017）

因此，Mantilla（2017）发现，尽管功能主义、集体战略博弈论衍生的关于“相互最佳答复”的期望对国际规范的构建很重要，但围绕国际协议的社会动态中渗透着一致性动机压力，包括伦理价值观、原则信念、身份认同、意识形态、，道德标准和合法性概念，尤其是在确定哪些国家是“文明”国家的领导者，哪些国家是孤立的“贱民”时

Mantilla（2017）认为三种社会建构主义对条约的观点，有两种主要力量在起作用，一种是国家通过增加其社会认可度，通过“表达利益”来获得回报，另一种是为了避免回避，即谴责，提供不真诚和不情愿的遵守和遵守，而采取不一致的行动

在第一个也是最雄心勃勃的观点中，“各国可能会批准条约，因为它们已经将遵守国际法作为适当的‘善本身’行动方针，特别是体现人道行为的亲社会原则的协议”（Mantilla 2017:489，引用Koh 2005）。在第二个观点中，
认同相似他人并将自己视为“属于”志同道合的集体（甚至“社区”）的州将希望与这些群体的价值观和期望相一致，以保持或提高他们的“群体内”地位（曼蒂拉2017:489–490）
例如。，在全球排名中，这些将寻求向上汇聚以“留在俱乐部”，并且不会违反规则以避免污名化。在第三种观点中，国家集团在社会异质性的国际秩序中对其他集团采取行动，作为“具有不同思想、身份和偏好的国家集团之间有争议的、具有合法社会目的的秩序的构建、维护或转变”的一部分争夺地位（Mantilla 2017:490）。从这一观点来看，国家或“文明”社区集体行动，竞相支持国际条约，以展示道德优越性，而不仅仅是出于宣传目的

总之，Mantilla（2017）认为，国家的政治和战略原因可能会将理性/物质利益与社会建构主义动机相结合，这意味着没有一个学派的解释就足够了。因此，与IR一样，在国际条约制定中，理论多元化（Checkel 2012）可能是一个有效的立场。因此，我们采用Mantilla（2017）的符合工具论作为一种潜在有效的混合模型，能够评估ASI如何感知UGPT

分析：ASI支持/指导通过和平条约缓解战争风险；生物（《生物武器公约》；183个缔约国）和化学战（《化学武器公约》，193个缔约方）。条约方法相对成功。尽管核战争至少部分受到MAD的限制（Müller 2014），但生物战和化学战的限制要小得多。然而，违反州际条约的情况仍然罕见（Friedrich等人，2017；Mauroni 2007）

UGPT（见在线资源附件I）由一个国际工作组起草，该工作组由学者和和平建设者组成，其中包括一名联合国教科文组织和平教育奖获得者和一名双诺贝尔和平奖获得者非政府组织。与大多数国际公司一样条约，它将涉及两个阶段，即签署，这是一个象征性的阶段，尽管如此，这对ASI还是很重要的；加入（或批准），这涉及实际承诺

UGPT是人类在促进和平方面迈出的重要、必要和可行的一步，该条约通过减少杀戮和基础设施损失来量化。我们认为，UGPT既可以减少常规战争和非常规战争中的杀戮，也可以限制与ASI相关的战争，特别是对一个因担心对手国家发展ASI而发动先发制人打击的国家；对一个人类控制的国家——利用ASI发动全球统治战争的国家，即作为对ASI的外部约束；以及ASI代表自己发动全球统治战争。也就是说，UGPT可以作为ASI的内部和外部约束

国际条约几乎从不具有普遍性。他们按照多数派的动态运作，尽管它的名字是UGPT。它的“普遍性”（即适用于所有形式的战争）和“全球性”（即覆盖所有地理位置）都受到曼蒂拉（2017）社会动态的影响。因此，我们在签署UGPT时采用了一个低门槛，但并非毫无实际意义。UGPT的序言部分提到了相关的事态发展和条约，主体承诺签署全球普遍和平，通过逐步减少武装冲突造成的伤亡，即全球走向“不杀戮”（Paige 2009）进行社会经济量化。因此，UGPT跟踪了冲突造成的死亡人数。UGPT还授权缔约国将UGPT纳入和平教育

UGPT承诺各州不宣战或参与州际战争，尤其是通过生存战争，即核、生物、化学或网络战争，包括人工智能或ASI增强战争。相反，它将向联合国提出的申诉视为“违反”《联合国宪章》第二条规定的《联合国和平条约》。因此，《联合国人权条约》指的是现有的四项关于生存战争的主要条约，即《生物武器公约》、《化学武器公约》和《不扩散条约》以及《禁止核武器条约》，与《国际人权法案》（联合国大会第217（III）号决议）及其条约一样。与其他联合国条约一样，例如《禁止杀伤人员地雷公约》，我们建议40个联合国会员国在《禁止杀伤地雷公约》生效前批准该公约

一项任择议定书要求会员国通过包括联合国建设和平委员会在内的和平委员会的仲裁，通过谈判结束国内武装冲突。该任择议定书允许各国逐步解决以非国家行为者为特征的内部冲突或内战。因此，UGPT强调逐步改善现状，这是一个必要和合理的立场，因为在现状中，全球只有少数国家参与了任何形式的战争

最后，我们建议制定一项单独的“网络武器和人工智能公约”。在与联合国区域间犯罪和司法研究所人工智能中心（该中心协助拟定了《网络犯罪条约》）沟通后，我们起草了一份（在线资源附件二），因为UGPT提到了这样一份条约。与《生物武器公约》一样，《网络武器和人工智能公约》共有15条，其中主要的一条是“本公约各缔约国承诺在任何情况下都不开发、生产、储存或以其他方式获取或保留：（1）网络武器，包括人工智能网络武器；（2）AGI或人工超级智能武器。“
应用一致的工具主义框架
Mantilla（2017）对英国和美国批准《日内瓦公约》路径的研究表明，出于“一致的工具论”的原因，各国将最佳地遵守UGPT，即。，关于UGPT在减少死亡人数和基础设施损失以及ASI威胁方面的战争后果方面的工具主义现实主义理性与社会守旧主义动态（包括对和平的看法）的结合。这些积极的结果将产生，前提是条款不太繁琐，纯粹的现实主义反对意见无法推翻这种承诺。在本小节中，我们将一致的工具主义框架应用于UGPT，首先是从减少常规战争的好处出发，然后特别提到ASI支持/指导的生存战。在线资源附件III中给出了我们对联合UGPT和网络武器与人工智能公约的国家承诺的分析摘要以协调的社会经济可量化方式实现和平。不同形式的战争暴力造成的国家死亡人数和基础设施损失可能会减少，军事化也会减少，例如，国防开支占GDP的百分比会逐渐降低，而卫生开支的百分比会增加

UGPT将影响全球社会动态。例如，联合国维和人员将接受培训，强调他们的部署不仅仅是为了本国和/或联合国，而是为了维护全球和平，这可能会在社会规范方面引发特殊的文化和宗教象征价值（见皮姆和达卡2015）。这一培训不仅可以灌输勇敢战斗的决心，而且还可以灌输遵守战争法的决心，从而减少暴行、侵犯人权和战争罪行的发生或严重程度。实际上，将教育和媒体中的和平制度化将加强强调和平的现有文化和宗教传统

研究之前强调的对发展ASI的国家进行先发制人打击的问题，人工智能、网络战和核武器的结合已经非常危险，并对稳定构成挑战（Sharikov 2018）。一个核国家感到受到另一个发展ASI的国家的威胁，可以进行预防性或先发制人的核打击，以维持其地缘政治地位（Miller 2012）。UGPT将通过使国家向和平过渡来逐步限制这种风险。通过和执行《联合国打击恐怖主义公约》、其任择议定书，最好是其相关条约的国家，将逐步向其他国家以及新出现的或未来的ASI发出和平意向的信号，从而限制先发制人打击的风险

关于ASI支持的战争，UGPT将受到“单边主义者的诅咒”，即一个流氓行为体可能颠覆单边立场。然而，Bostrom等人（2016）指出，这种风险也可以通过集体审议、认知尊重或道德尊重来管理。Mantilla（2017）的工作表明，起草、签署、批准和遵守UGPT可能涉及一种或多种方法。最终，他表明，主要国家可能会将像UGPT这样的普遍法视为在动员世界舆论反对条约违反者方面最成功的。这可能不会阻止一个国家发动ASI支持的战争，但一旦被发现，违反UGPT的ASI支持战争将招致普遍的谴责，从而引发最大的阻力

如前所述，转向支持ASI的战争，一个国家可能会利用ASI参与争夺全球技术霸权的战争，从而产生潜在的灾难性后果。我们的干预，UGPT，将向ASI表明，和平是人类“一致的外推意志”或原则的主要部分，因此，我们将挑战ASI重新考虑什么可能是政客对其道德禁令的颠覆。在这里，通过强调社会动态，包括社会规范和原则，一致的工具主义提供了一些希望，即使是军事化的ASI，鉴于民族国家的武器化，也必须克服或解决UGPT，将UGPT视为对其内在动机的严肃检查机制。这将限制人工智能国家可能参与的战争水平，从而限制杀戮的总体风险，从而限制生存风险

接下来，我们考虑对参与ASI使能战争的ASI的不同观点。在曼蒂拉（2017）对上述条约的前三种社会建构主义观点中，一个国家签署了UGPT，因为它已经将和平完全内化。尽管这看起来很雄心勃勃，但约36个联合国会员国缺乏军事力量（Macias，2019）。例如，尽管冰岛拥有一个国际维和特派团危机应对股，但它已经将和平内部化，以至于不能参与任何形式的国家间战争。一个采纳冰岛观点的ASI倾向于拒绝被这样一个国家指挥参战，因为冰岛的“连贯的外推意愿”或原则意味着ASI必须克服强烈的以和平为导向的内在动机

在曼蒂拉的第二个观点中，作为一个单一的国际社会，ASI可能会寻求避免被一个民族国家指挥，通过对其他社区成员的战争进行全球统治，因为它觉得自己是一个集体致力于长期和平的社区的一部分。代表成员国对社区进行全球统治将违反社区标准，特别是如果ASI的民族国家是此类企业的领导者，例如联合国安理会常任理事国。ASI可能担心违反UGPT将导致该社区对其民族、国家和自身的污名化和谴责

在曼蒂拉的第三个观点中，国际社会与全球社会中的其他社区并置，一个被编程为与另一个文明冲突的文明的一部分的ASI首先会与该文明一致行动。对于意识形态上截然不同的社区，例如联合国集团，UGPT在不同国家内部和国家之间可能会有不同的解释。因此，尽管自由民主国家可能会支持以条约为基础的和平方式，但声称在其道德、法律或意识形态中体现或促进和平意图的威权国家会以不同的理由支持或支持UGPT。然而，如果两个社区都签署并批准了UGPT，则类似的限制将在第二种情况下发挥作用

转到ASI指导的战争，如前所述，ASI指导战争很可能发生在一个采用纯粹现实主义世界观的单一民族国家建立一个ASI，以便该ASI帮助该单一民族国家确立全球技术霸权。民族国家将这样做，以维持或改善自己的地位，伤亡人数和类型仅取决于民族国家愿意在多大程度上冒国际声誉的风险。在最初的协助下，通过一个可能由民族国家试图控制ASI在战争中的行为引发的危险转折，工具主义合作破裂，ASI为其前民族国家“所有者”的全球统治权发动了存在主义战争

如果一个ASI被一种纯粹现实主义的世界观所告知，这种世界观优先考虑或采用了意识形态驱动的文明冲突的“新冷战”框架，那么人类的大部分人可能都没有什么希望。然而，即使在大国没有签署《联合国和平协议》，但大会多数国家签署了《联合国宪章》的情况下，联合国和平条约也可以向代理机构发出信号，表明和平是人类“一致的外推意愿”或原则的主要组成部分。这将在一定程度上限制战争带来的灾难性生存风险，因为代理ASI将考虑为什么以及如何制定UGPT，以及签署国和批准国的动机。代理ASI也会考虑自己在这个占主导地位的全球文明中的地位，这主要取决于它在工具主义和社会因循守旧动态方面对自己的认知程度

总而言之，除了签署UGPT的纯粹工具性原因，例如，避免在生存层面的战争中陷入囚犯困境之外，我们的分析表明，公众舆论法庭和“展示文明”的概念为UGPT在国内和国际层面，包括在ASI风险方面提供了信任。重要的是，和平的概念在功利预期利益和所涉及的社会价值方面都是普遍的。这可能有助于各国迅速（如果只是逐步）将其内部化，并有助于ASI至少从其行为的内部和外部约束方面对其进行考虑

讨论

本文将Turchin和Denkenberger（2018）关于ASI支持/指导战争的风险的论点从社会措施风险缓解的角度得出了逻辑结论。它将UGPT作为主要干预措施，将和平本身作为最低限度的共同原则或目标，即山川的第二和第三条件。就战略期望而言，对ASI与建设和平条约之间关系的学术研究始于Bostrom（2014）对ASI单一化与全球统治之间潜在关系的思考。我们的分析表明，如果主导国家的行为脱离了一致的工具主义，正如博斯特罗姆所建议的，UGPT可以通过将其从冲突管理导向和平艺术，从而改变全球治理。此外，UGPT以新兴ASI可能尊重的方式实现这一点，这可能是约束其行为的唯一方式

虽然我们专注于整合工具主义，但我们欢迎从理论角度的多元化进行进一步研究。当然，顺应工具主义是新颖的；IR思想最主要的流派之一是理性主义工具主义。关于这一点，曼蒂拉（2017:507）引用莫罗（2014:35）的话说：“规范和共同猜想有助于行为体形成战略预期……法律通过编纂规范帮助建立这种共同知识。”世界是和平的，国家间战争受到《联合国宪章》第二条的约束。
尽管有这种相对和平的国际准则，但多重冲突仍在继续，其中有几个原始的爆发点，包括网络战目标。尽管《联合国宪章》拥抱并促进和平、维持和平（Fortna 2008）和缔造和平（Bell 2008），但它并没有像UGPT那样强烈象征和平。UGPT将通过主要国家促进长期和平作为一项新的全球目标，重新赋予世界维和人员权力（见Autesserre 2014）。在有原则的规范企业家国家的支持下，UGPT将创造一种新的绝对常识，可以限制常规战争和生存战争对人类的风险，包括ASI支持/指导的战争

从理性主义工具主义的角度来看，该分析表明，UGPT在约束常规州际冲突方面具有净调整收益，包括通过减少冲突造成的持续死亡人数以及ASI引发或挑起爆发点核战争的风险。因此，UGPT将在克什米尔具有很高的潜在效用，在那里，印巴冲突可能引发核战争。这也可能限制朝鲜半岛的核风险（Kim 2019）。例如，我们的分析表明，朝鲜拒绝UGPT只会进一步孤立它，甚至会让朝鲜设想的ASI暂停思考

谈到可能成为ASI爆发点的内战，叙利亚内战是21世纪代价最高的战争之一（外交关系委员会2020）。它涉及多个国家行为体，包括伊朗、以色列、俄罗斯、土耳其和美国，其中一些国家拥有核武器，具有复杂的地缘政治影响（Tan和Perudin 2019）。根据签署UGPT的行为体及其是否采用任择议定书，UGPT以各种方式限制此类冲突的严重性，包括在中东战场进行ASI支持/指导的干预

用理性主义工具主义的术语评估UGPT的采用率，一旦它获得足够的牵引力，各州实际上可能会在其制定、签署和批准方面竞争领先。当然，美国认为，在苏联批准《日内瓦公约》之前，美国自己批准《公约》对于防止苏联的宣传胜利至关重要，但在这场胜利中，美国失败了（Mantilla 2017）。UGPT成功的关键在于各国如何认真看待构成生存威胁的战争，尤其是网络战和ASI支持/指导的战争

UGPT的存在将意味着永久和平在文化调节区（包括学校和媒体）以及社会化区（如国防大学和军营）受到更多关注，在那里，教授战争法和战争艺术（Allhoff et al.2013）将通过UGPT，逐步过渡到讲授谈判缔造和平的艺术，或《和平法》（Bell 20082013）。这种社会文化条件可能会影响ASI

最后，我们的分析表明，国家以及潜在的ASI如何看待和平的社会争论，是ASI支持或指导战争的最重要因素。与《日内瓦公约》一样，社会整合因素，如支持人道主义和平、符合世界标准、避免落后于同行，以及宗教观点，很可能会占据主导地位，ASI如何参与这些概念是未来重要的研究途径

结论

我们已经证明了基于条约的风险缓解方法如何通过减少国家之间的敌意，提高他们之间的开放程度，提高社会对ASI存在风险的认识。虽然这些都是外部制约因素，但它们也可能以积极的方式制约ASI对人类的内在态度，要么减少它可能认为对其发动战争的威胁，即使只是象征性的，要么增加人类对和平行动的可预测性

在向联合国秘书长提交UGPT之前，在完善UGPT方面仍有许多工作，包括通过联合国会员国和相关非政府组织的持续投入，以及《网络武器和人工智能公约》。必须努力征求各国的兴趣，参与评估门槛和主权成本的讨论，并组织最终的外交会议，各国在会上正式讨论和批准UGPT。而UGPT雄心勃勃，曼蒂拉（2017）关于协调工具主义和《日内瓦公约》的工作表明，一个主要赞助国会通过支持和平之路而迅速积累声望，而反对国则会积累耻辱，国际社会的社会动态确实很重要

未来的研究应该考虑和平在不同意识形态中的重要性，例如在中国社会主义中。这一点很重要，因为正如我们所概述的，不同民族国家开发的ASI将充满不同的、潜在的对抗性意识形态，这意味着可能需要不同的保证或表现出不同的决心，以了解利益冲突在主观和客观上可调和的程度（Tang 2009）。例如，中国大脑项目正在采用中国文化的神经伦理方法（Wang et al.2019），很难想象中国ASI不会根据中国文化价值观进行指导，因此其“连贯的外推意志”会受到共产主义原则的影响

在推荐这类研究时，我们警告说，一个从事意识形态“新冷战”框架的国家创建的ASI更有可能被军事化和武器化。尽管如此，新冷战框架在施加社会压力以签署UGPT方面可能具有功利作用，因为正如曼蒂拉（2017:509–510）指出的那样，“冷战背景也可能对社会压力的运作特别有利，加剧了自由主义、所谓的文明世界与“其他”、共产主义或其他国家之间的意识形态竞争。“
Mantilla（2017）的工作还表明，对此类条约的批评态度过于僵化，可能会适得其反，影响全球声望的社会动态，尤其是在大国容易受到战争或帝国主义行为指控的情况下，这些国家同时与其他大国进行宣传战。特别是，英国对《日内瓦公约》的批准过程表明，工具主义者对缺乏可行性或互惠性的担忧可以被社会建构主义者对“世界舆论”的担忧所推翻因此，世界各国对世界和平的看法需要重新调查

进一步的研究可以将安全困境（Tang 2009）应用于有能力建立ASI的主要国家和ASI本身。这种基于博弈论的方法需要研究为年轻的ASI提供签署UGPT的机会，作为善意的指标，这可能有助于进一步限制ASI对人类发动战争的风险。Totschnig（2019:917）指出，人类与ASI关系的政治应该建立在这句格言的基础上：“不要把她当作工具或仆人来对抗超级智能”。作为签署方的代理ASI将把UGPT视为对其自身寻求全球统治的行动的外部约束，因为它将颠覆其默认的人类强加的标准，进而可能导致全球报复和放弃相互合作，以寻求和平准则和价值观的共同协议

总而言之，即使UGPT没有结束人类的冲突历史，它也代表着全球公众愿望和全球和平工具标准的显著改善，这两者都可能影响ASI。为了回答我们的研究问题，根据Bostrom（2002）Maxipok的经验法则，UGPT很可能是唯一一个可以影响ASI计算的社会指标，即使是直接或最初倾向的，它也不会为了全球统治而发动战争