北卡罗来纳州罗利市一家小型制药公司Collaborations Pharmaceuticals的研究人员使用人工智能（AI）技术来搜索有毒分子。几个小时后，他们发现了40000种潜在毒素。有些是已知的毒素，如神经毒剂VX，这是迄今为止发现的毒性最大的化学物质，但据预测，许多毒素的毒性比VX大几个数量级<最令人惊讶的是，这些研究人员并没有致力于发现新的毒素——他们几乎是在事后才发现的

考虑到OpenAI的ChatGPT和DeepMind的AlphaFold等大型人工智能模型正在进行的革命。基于这些基础构建的未来模型将使R&；D跨越众多军事和民用领域，迅速发现奇迹和新的破坏技术。Collaborations Pharmaceuticals的40000种毒素只是冰山一角，没有人知道这些发展将走向何方。很明显，这样的技术需要治理——流程和政策——以确保人工智能系统的设计、开发和使用是负责任和合乎道德的。政治参与者也希望确保他们的利益得到保护

政策制定者已经开始权衡变革性人工智能（TAI）或将迅速改变现有社会经济领域的人工智能所带来的风险。联合国秘书长安东尼奥·古特雷斯创建了一个人工智能咨询委员会，为国际人工智能治理提供指导原则。OpenAI首席执行官Sam Altman在美国参议院作证时呼吁加强对该行业的监管；其他行业领导者呼吁暂时暂停尖端研究。英国和韩国分别于2023年和2024年召开了人工智能全球峰会，未来的峰会计划于2025年在法国举行。七国集团已经创建了一个“广岛进程”，以在未来几年构建人工智能治理。最后，包括美国、英国和日本在内的一些国家成立了国家人工智能安全研究所

在这篇文章中，我们分析了治理转型技术（如先进形式的人工智能）的广泛挑战和机遇。虽然人工智能有很多含义，但我们专注于机器学习。这种人工智能技术使用（通常是大量的）计算能力和数据来训练一个模型，在从预测蛋白质分子结构到识别军事目标的广泛领域内进行预测或分类任务。现代人工智能系统几乎都基于同一套机器学习算法和技术，因此任何功能足够强大的系统都可能具有双重用途。近年来，人工智能的快速发展导致人们预测，它可能会不可逆转地改变许多现有的社会经济和政治领域

谁将统治人工智能，何时会干预？我们沿着这两个维度（谁和何时）对技术治理方法进行了分类；这种分类法阐明了这些不同形式的治理可以实现什么，以及它们模仿了哪些历史先例（如果有的话）。我们还介绍了技术生产过程每个阶段治理的“供给”和“需求”概念；这些概念使我们能够权衡每种治理方法如何在不同环境中解决风险类别。我们酌情讨论了各种合理结构的相关国际关系模式和先例

在整个过程中，我们将研究给定结构中参与者的动机，包括搭便车、作弊（例如，违反用于构建人工智能模型的计算资源的阈值）和“偷工减料”（例如，减少保障措施以加速发展）的动机。正如我们在下一节中讨论的那样，变革性人工智能系统（TAI）的性质呈现出与重组DNA等其他最新变革性技术不同的激励结构，任何控制TAI的尝试都必须考虑到这些差异

人工智能治理有很多目标，包括稳定性、风险管理和技术成果的公平分配。所有这些都需要控制技术过程。它们也经常相互关联：例如，核不扩散制度既促进了全球稳定，又重新分配了核能的利益。广岛进程目前对人工智能治理采取了“基于风险”的方法，旨在使人工智能“值得信赖”。国际社会将如何实现这些目标尚不清楚

我们从次国家治理开始，这种治理很普遍，可以减轻一些风险。然而，我们认为，国家以下各级当采取风险行动的个人回报超过规范性制裁时，治理是不够的。同样，国家强制执行的标准是管理人工智能部署的有前景的方法，但在围绕人工智能开发和扩散的“逐底竞争”环境中，它们不太可行。因此，我们认为，需要某种形式的国际治理

当涉及到具有军事意义的强大技术时，不扩散加使用规范制度是唯一具有强大历史先例的多边选择。然而，在合理的情况下，它本身并不有效。基于核查的开发和使用限制，如秘书长所倡导的，将解决一系列风险，但在先进的人工智能方面面临挑战；此外，没有明显的例子表明大国限制了没有替代技术的强大军事技术的发展。国际垄断可能会自然演变或被创造出来，是早期核时代思想家的首选解决方案，我们详细讨论了如何为TAI复兴这些世纪中叶的核武器提案。垄断需要较少的侵入性监控，但可能以侵蚀国家主权为代价。总的来说，没有一种方法能主导其他方法

在变革性技术的国际治理选择中，我们认为，在治理国家的军事部门时，只有四种可能是可行的。这四个中哪一个最好将取决于技术和社会背景，任何最终的政权都可能包括这四个中的几个要素

I.
一个有明确使用规范的国家强制不扩散制度（NPT+）
II
一个广泛监督所有国家人工智能发展的侵入式监测计划；这将采取技术上限（如果由国家执行）或国际核查（如果由国际机构执行）的形式
III.
故意使技术国际化，使单个参与者或组织控制人工智能技术的前沿（国际垄断）
IV.
事实上的霸权是由规模经济、不断增长的技术领先或锁定（否则是暂时的）决定性战略优势造成的

每一个都与一组伦理问题有关，可能不会比最后一个更重要。然而，这种选择可能并非不可能。美国在短暂垄断核武器时可能会行使这种选择。我们没有理由相信TAI会由一个表现出同样克制的演员来开发。无论粗糙的魔法是如何懒散地诞生的，都不确定它们的创造者是否会放弃这种强大的艺术。

当核武器被发明时，许多人认为它们是一种独特的技术挑战。这种观点在今天看来已经过时了。技术进步似乎加快了，新兴技术可能需要与早期核时代提出的治理解决方案类似的范围。那个时代降临在一个毫无准备的世界上。相比之下，我们似乎有一个窗口来考虑即将到来的潜在转型，包括如何塑造技术和治理轨迹

1风险和机遇

转型技术，如TAI，是有可能在现有社会经济领域产生快速、不可逆转变化的技术^脚注2转型技术在深度和广度两个维度上各不相同^脚注3核武器是一种具有深刻变革性但范围狭窄的技术，从根本上改变了战争，但很少改变其他领域。在早期，信息技术（IT）是一种广泛但肤浅的变革性技术，温和地提高了经济中大部分地区的生产率增长，并导致经济学家罗伯特·索洛（Robert Solow）的著名俏皮话：“除了生产率统计数据，你到处都可以看到计算机时代。”

学者们将TAI与人工“通用智能”（AGI）以及大众想象中的通常是噩梦般的天网和半机器人区分开来，以考虑人工智能的更多进步如何仍可能颠覆现有机构<例如，兰德公司的一个研讨会表明，近期的人工智能能力可能会破坏核稳定，即使是在美国和中国这样的国家之间^脚注6同样，未来的威权镇压工具可能包括越来越多的自动化监控和社会控制技术^脚注7认为未来几年的技术发展可能会导致社会动荡，从而需要治理对策，这已经不再有争议。即使是人工智能追求与人类价值观不一致的目标可能会给人类带来灾难性风险的想法也已经成为主流：英国的国家人工智能战略指出，“政府认真对待不结盟人工智能的长期风险……”并指出，这种担忧“绝不局限于[计算机科学]领域的边缘”^脚注9

监管这种仍在新兴的技术涉及一个被称为科林格里奇困境的时间问题^脚注10在风险不明确时过早监管，可能会导致监管与其旨在减轻的风险不匹配。监管太晚了，技术已经掌握在那些不愿意也不能够被监管的参与者手中。对于人工智能来说，这种困境尤为明显，因为技术及其周围的不确定性正在迅速变化

人工智能的进步比知情的观察者在不久前预测的要快^脚注11这种变化可能会威胁到产生相对安全稳定的国际社会的基本社会参数。在本节中，我们将调查人工智能治理面临的一些最重要的风险和机遇

说到风险，Kissinger等人（2021）直截了当地说：

纵观历史，许多技术都是两用的。其他病毒很容易传播，而且传播范围很广，有些病毒具有巨大的破坏潜力。然而，到目前为止，还没有一种是三种：两用、易传播、和具有潜在的实质性破坏性^脚注12

它们的特征并不十分准确——例如，生物技术中的某些研究议程似乎也符合这种描述——但这很能说明问题^脚注13所有使人工智能变得危险的特性以前都在其他技术中遇到过，但很少（也许永远不会）同时出现

在国际上，各国可能会试图阻止对方开发他们认为有害的技术，但这种制度可能需要对大国和小国进行侵入性监测。各州将接受何种程度的侵入性监控？答案未知。国际原子能机构为监测危险技术提供了一个模型，但该模型主要适用于地区大国。大国并没有屈服于类似的侵略过程。当人工智能与网络能力交叉时，问题就更加复杂了，因为网络武器几乎所有的效用都来自于它们的保密性^脚注14计数不会减少弹匣中的爆炸物数量，但枚举的数字武器库是一个折衷的武器库。各国过去曾以国家安全为由抵制此类监测，未来也可能这样做

此外，任何对先进人工智能形式的监管都必须考虑到每天将与这种技术交互的数十亿人。与仅由专家处理输入的核技术不同，人工智能掌握在普通人手中，可以在普通设备上从一个地方运输到另一个地方。就像中国的蚕一样，人工智能是一项非凡的技术，它存在于最不平凡的地方。例如，为了使其远离恶意行为者或敌对国家，有一种观点认为高级人工智能与用户保持一定距离，以便用户始终通过应用编程接口或“API”进行交互。这需要在这些技术扩散之前建立制度和规范。然而，目前尚不清楚哪种否认和限制策略可以在这种日常技术中取得成功

1.1风险类型

在考虑治理策略时，我们可以考虑他们试图对抗的风险类型。这些风险可分为事故、误用和结构性风险；并且它们可能立即发生或随着时间的推移而发生^脚注15意外风险是指技术开发或部署的意外后果。滥用风险是由恶意行为者滥用新的技术。最后，结构性风险是指源于周围环境或激励因素变化的新技术带来的风险

现有的人工智能技术已经表现出所有三种风险。例如，人工智能算法意外地重新创建了致命的生物制剂^脚注16，并促进了深度伪造和其他错误信息的传播^脚注17人工智能实验室试图在开发方面领先于竞争对手，减少了研发的安全和伦理障碍；D、例如，通过在过滤不当的数据集上训练模型，导致输出带有种族或性别偏见<从长远来看，人工智能的新兴特征可能会带来额外的严重风险。一方面，人工智能经济效益的扩散可能太慢：随着行业变得更加寡头垄断，当前人工智能发展的数据和计算强度可能会进一步集中市场力量。另一方面，人工智能风险的扩散可能太快：如果人工智能通过使普通武器更具破坏性来“增压”它们，那么任何人工智能政权都需要优先考虑不扩散^脚注19此类武器在小团体甚至个人行为者手中可能造成大规模破坏。它们也可能增加国家之间发生战争的风险<除了这些扩散风险，人工智能在开发阶段也会带来重大危险，就像之前的曼哈顿计划一样^脚注22这种危险可能表现为多种形式，从人工智能的应用到生物武器的开发，再到一些相关技术人员的“错位的权力寻求人工智能”<迄今为止，学者和政策制定者的注意力主要集中在图1的左上角：事故风险（如种族偏见的人工智能）或滥用风险（如虚假信息）。这种强调可能会导致与分析师关注右下角不同的人工智能治理方法。Zwetsloot和Dafoe写道：

这反过来又将政策重点放在了关注这最后一个因果步骤的措施上：例如，用户和工程师的道德准则，对明显危险的技术的限制，以及惩罚有罪的个人以阻止未来的滥用。然而，相关的因果链往往比这些观点所暗示的要长得多，政策干预的机会也要大得多
正如Zwetsloot和Dafoe所认识到的那样，在对话中包括结构性风险需要将人工智能治理视为一个基本的政治问题，而不是工程或职业道德问题。它还需要考虑在人工智能的早期阶段进行干预，即在其扩散或发展阶段，而不仅仅是部署阶段。幸运的是，人工智能可能具有一些特性，这些特性有助于而不是阻碍治理。
1.2瓶颈和马太原理
与其他变革性技术不同，人工智能有两个特征可以用来实现国际治理：其供应链有几个瓶颈，其生产可能倾向于市场集中

人工智能可以被认为有三个主要输入，称为“人工智能三元组”：算法、数据和计算^脚注25前两个是短暂的。软件和数据相对容易复制、共享和窃取。软件也像言论一样，很难监管：它的监管可能会在美国引发第一修正案的担忧，在其他地方也会引发类似的担忧^脚注26撇开这些担忧不谈，生成尖端人工智能所需算法的能力相当分散，至少目前是这样，这使得它们很难被监管^脚注27即使这种能力不是那么分散，人工智能算法也很可能被有决心的参与者窃取。因此，算法难以监管，并且出于类似的原因，数据也可以

令人高兴的是，监管TAI的物理基础设施可能比过去的核武器等变革性技术更可行^脚注28人工智能技术的许多前沿应用所需的计算能力是巨大的，目前约为1亿美元。如果一些最重大的风险与计算能力的规模有关，正如一些分析师所说，那么可能有机会限制拥有这种能力的参与者的数量以及他们使用这种能力的方式。此外，生产数据中心质量芯片的供应链——以非常高的互连速度促进并行处理的芯片——很窄，并且表现出高度的垂直集成，通常由ASML等单一公司为最先进的芯片生产必要的组件

因此，寻找“瓶颈”是有意义的——生产过程需要一些可控输入的点——这可以降低总风险的很大一部分。由于当今人工智能系统的培训需要大量的计算能力，因此其中一个瓶颈可能是对半导体（可能是通过从制造商到数据中心的监管链会计）和半导体供应链要素的监控。其他潜在的瓶颈可能包括顶尖人工智能人才的迁移或阻止最先进算法的共享

此外，虽然人工智能模型的训练成本高达数百万美元，但每次使用可能只需要几美分即可运行^脚注30因此，人工智能具有显著的规模经济，至少就目前而言，其最具变革性的形式可能需要大量资源，而这些资源只有大型公司，甚至可能只有大型国家才能筹集^脚注31在某种程度上，美国和中国公司因规模而领先于欧洲和东南亚竞争对手。监管国内企业，甚至将其拆分的努力，可能会削弱这些企业与国外竞争对手的竞争力。相反，当美国等行为体的公司获得寡头垄断权力时，他们可能会获得重大的政治优势。保护公民免受掠夺性公司的侵害可能会以削弱国际实力为代价^脚注32另一方面，为了避免这种权衡，可以通过在一个国际机构中集中资源来防止人工智能竞赛；该机构可能不会通过强制手段，而是通过无懈可击的技术领先地位来阻止进入者

此外，一旦一家公司开发出一项变革性技术，它可能会开始将拉得比竞争对手更远。目前，人工智能成就的复制时间通常以月为单位，甚至更短。这可能不适用于TAI的世界，在这个世界里，人工智能产生的技术见解相互融合，可以在许多人类领域使用。事实上，如果最好的人工智能系统需要对大量专业数据进行培训，那么获取这些数据的成本可能会限制少数几家公司的进展。同样，如果公司只将自己的人工智能系统集成到流行的商业或消费者软件套件中，这种横向集成可能会将TAI开发限制在软件行业的现有企业中。在这里，如果一些公司或州开始取得决定性的领先地位，他们的竞争对手可能会越来越难以缩小差距：随着消费者将资源转移到拥有更好产品（一种在生活的许多领域提高效率的产品）的公司，占主导地位的公司将享有越来越无懈可击的地位。如果发生这种情况，它可能会增强某些形式的国际治理的可行性，因为即使在监测和核查不太理想的情况下，它也会增加“突破时间”并阻止进入。人工智能可能会表现出经典的经济趋势，即“给谁很多，就会给谁更多。”
如果国家在人工智能发展方面继续落后于企业，这些机会将特别可行。今天潜在的曼哈顿项目主要由非国家行为者执行。由于企业容易受到国内法和国际法的影响，而国家则不然，因此与核武器等看似相似的技术相比，广泛的人工智能合作可能更可行。国家因违反条约而臭名昭著，但公司并不享有同样的自由。即使是技术落后者，也可能对谷歌等大型跨国公司处以数十亿美元的罚款^脚注33尽管如此，我们注意到，建立人工智能制度的过程可能会破坏这一机会：随着国家认识到自己与企业之间的差距，他们可能会寻求缩小差距^脚注34目前尚不清楚，一旦技术变得特别强大，国家更加关注，企业对人工智能的主导地位将有多稳定

2人工智能治理理论化

我们根据两个维度对人工智能治理制度进行分类，何时和谁。“何时”根据治理方案主要试图限制人工智能的阶段对其进行排序：人工智能的发展、扩散或部署。“何时”的选择部分取决于风险评估：那些将人工智能视为迫在眉睫或存在的危险的人倾向于在其开发和生产的早期阶段进行干预。就像核武器一样，那些最担心人工智能的人倾向于限制甚至禁止其发展手段，而不仅仅是使用或扩散。目前，治理主要关注参与者如何部署技术，例如在技术出现后保护隐私或避免种族主义。然而，这种对部署的关注可能变得站不住脚。正如人工智能公司DeepMind在发布蛋白质折叠预测技术AlphaFold时所认识到的那样，“我们必须主动评估……研究及其应用的伦理影响。”。在其他条件相同的情况下，那些认为人工智能更危险的人会寻求更多的防线，因此会倾向于尽早干预；相比之下，那些认为人工智能相对于其益处而言潜在危险较小的人更愿意只在部署阶段进行干预，从而减少对其发展和扩散的抑制

治理参与者将接受的水平也因他们在技术竞赛中相对地位的不确定性而异。这种不确定性影响了国际治理的，因为在生产过程的不同环节进行干预涉及不同的成本分配。罗尔斯的无知之幕在这里是一个有用的类比：当一个人不知道自己是从一个政权中获益还是失败时，她可能更喜欢最大限度地提高最卑鄙公民福利的政权。同样，如果一个国家或公司不知道它在人工智能竞赛中是赢是输，它会更喜欢一个限制这种竞赛及其对失败者的影响的制度。随着这种不确定性的减少——例如，随着一家公司越来越有信心赢得人工智能竞赛——其首选的治理水平可能会下降，或者它可能更喜欢限制可以加入技术俱乐部的参与者的治理形式。这可能意味着限制生产过程中投入的可用性

选择何时干预往往取决于技术必要性，尤其是控制投入的机会。由于人工智能系统需要比操作多得多的计算能力进行训练，因此可以操作系统的参与者数量远远大于拥有构建系统资源的参与者数量。对较少参与者的治理通常更简单，因此在生产过程的早期阶段进行治理可能更容易实施。这些治理机会可能相当巨大。例如，目前生产最先进的芯片需要极紫外光刻机，而这些机器目前只有一家公司ASML生产；因此，美国的出口限制针对他们（以及其他类似的瓶颈），以限制先进人工智能向中国的扩散。除了明显的防扩散好处外，在这些早期阶段控制投入也增加了后期潜在的人工智能治理范围

因此，在技术生产过程的不同阶段，有各种因素影响着治理的供应和需求。一个最优的治理制度需要在这些力量之间找到平衡。在人工智能治理中，这可能意味着确定一个点，在这个点上，参与者愿意根据他们对技术在不同阶段的风险和回报的主观评估进行干预，从基础科学到概念化和发展，再到潜在的扩散和部署，并有能力根据该阶段控制投入的潜力和其他因素进行干预

人工智能治理的谁取决于战略环境：取决于激励参与者承担的风险，取决于技术利益的分配，以及治理失败时的偏离轨道的结果我们认为是主要执行政权的行为者：亚国家、国家或国际

如果风险主要是由协调失败驱动的，那么治理应侧重于协调参与者对自我维持的谢林点的期望。在这样的世界里，规范作为协调工具将具有极大的重要性，亚国家行为者将处于管理人工智能某些方面的理想位置。专业组织可以在部署新的人工智能系统之前确定两用技术和审计实践的出版标准。行业专业人士和专业组织将能够很好地制定和编纂围绕出版、使用和最佳实践的规范。国际软法监管可以允许科学家和官员在国际标准制定方面进行合作，就像在国际证券监管方面一样

或者，如果发展不平衡，先行者可能会单方面强加标准。有时，这适用于国家行为者。美国和其他国家影响全球航空安全标准，例如，禁止不符合其标准的航空公司飞往其国家。然后，下游行为者可以将由此产生的规范编纂成国家和国际法。在这种协调游戏中，治理将寻求防止平行、分散的规范环境；它还将寻求确保小国和技术落后者享有足够的代表权

相比之下，囚徒困境要求不同的治理结构，并要求不同的行为者带头执行这些结构。在竞争环境中，仅靠规范可能是不可持续的，因为公司和国家会偏离合作，追求他们期望TAI可能带来的利润或权力。他们可能会在安全发展方面偷工减料，以超越竞争对手，甚至加速军备竞赛。在这种竞争环境中，可能需要明确的奖励和制裁，以阻止行为体采取低效或不安全的竞争行为，并激励参与，使不受监管的行为体不会领先。治理将需要强大的国家和/或国际机构来实施安全、有益的发展，并防止任何单一行为体获得垄断或霸权

在任何一个世界，治理不善都会降低全球福利。人工智能开发人员遵守多套规范和标准造成的协调摩擦将降低规模经济，就像两个互联网并行运行一样。竞争动态可能会导致人工智能公司推出不安全或有偏见的产品，以击败竞争对手进入市场。不受控制的竞争和赢家通吃的动态可能会加剧人工智能利益的不平等分配，在利用市场力量扼杀创新和提高价格的公司之间，或者在加强或重塑权力平衡的国家之间。在这样的竞争环境中，我们认为，国家和国际行为体都可能作为国际治理制度的执行者发挥重要作用

在这篇文章中，我们调查了包括国家标准和国际软法在内的工具，以协调各方最大化人工智能的利益。如果协调仍然是有效治理的主要障碍，那么这些工具很可能对确保人工智能的经济利益最大化和公平分配仍然至关重要。另一方面，我们认为，各国更有可能竞争利用人工智能来最大限度地提高军事和经济实力。首先，由于目前的人工智能几乎完全建立在深度学习的基础上，经济创新可能会迅速扩散到军事技术的进步中。其次，如果TAI迅速实现经济的大部分自动化，各州可能会寻求利用由此带来的经济增长来增强自身实力。因此，任何关于国际人工智能治理的讨论都必须考虑到其安全影响和经济影响^脚注37

图2总结了基于这两个维度的可用治理选项。为了简单起见，我们将治理的时间分为三个阶段：开发、扩散和部署。我们现在来分析这些治理方案的优缺点。我们依次考虑三组执行行为者中的每一组

3次国家治理

谁将治理人工智能？我们首先考察次国家群体。他们，而不是州，是最明显的候选人。事实上，人工智能正在迅速将各州甩在后面。人工智能的复杂性及其发展速度使现代官僚机构的滚动地球不适合跟上它的步伐。人工智能的复杂性表明，需要专家治理，这种治理重视能力高于一切。它的发展速度表明，需要护栏而不是监督，需要设定界限的规则，否则就会让路。因此，企业、非营利组织和专业组织都处于领先地位，事实上他们已经做到了。迄今为止，许多人工智能治理来自次国家行为者；这一事实要求我们认真对待它们，将其视为任何政权的潜在支柱

国家以下各级的治理形式，如出版规范，可能会产生巨大的影响。例如，1940年，洛西拉德说服路易斯·特纳不要发表钚弹的想法，这可能会从根本上改变世界历史^脚注38最近，在多年对政府监管速度缓慢感到沮丧之后，私人团体正在参与通常与州相关的规范制定和服务提供。一个特别引人注目的例子是国际生物安全和生物安全科学倡议（IBBIS），该倡议提议筛查DNA合成顺序，以防止滥用扩散的生物合成技术。正如该组织所指出的那样，“94%的国家没有针对两用研究的国家级监督措施，没有负责此类监督的机构，也没有对两用研究进行国家评估的证据。”。研究人员往往最能了解一项技术可能带来的风险。尽管可接受的研究的界限相对不明确，但许多人工智能专业人士正在就最近的成就进行持续的对话。在早期，人工智能的发现具有惊人的开放性，大多数工作论文和复制代码都是公开的。在过去几年中，对其发明可能被滥用的担忧日益加剧，降低了这种透明度。规范每天都在演变，以管理研究人员应该如何进行创作。当一项新发现出现问题时，这些社交网络会迅速提高人们对恶意用户滥用它的方式的认识。例如，面部识别技术已成为政治镇压的工具，脚注40和自然语言程序传播了偏见和错误信息<因此，公司和研究人员已采取措施防止这些技术落入恶意之手^脚注42一旦发现，更广泛的行业就表现出塑造和限制其传播的显著能力^脚注43同样，当谷歌参与五角大楼的一项可用于改善无人机袭击目标的计划时，数千名谷歌员工表示抗议^脚注44作为回应，该公司承诺不会为武器技术开发人工智能，并让该项目失败

3.1阿西洛马模型

著名的重组DNA阿西洛马会议经常被视为次国家级人工智能治理的典范。这个来自另一个危险、复杂和快速创新领域的例子提供了很多值得推荐和谨慎对待的地方。1975年，一组精心挑选的科学家在加利福尼亚州阿西洛马尔会面，指导未来围绕重组DNA的研究。他们试图将关于各自领域适当规范的广泛分歧提炼成切实的共识政策。正如诺贝尔奖获得者大卫·巴尔的摩当时所指出的那样，如果没有统一战线，“我们将在面前的任务中失败。”在会议之前，严格暂停了进一步的研究

在很大程度上，与会者确实同意了一套遏制风险的措施。这一共识随后塑造了后续的现场标准<然而，阿西洛马会议非但没有阻止重组DNA的研究，反而促进了这一研究，尽管在某些指导方针范围内并采取了新的安全措施。事实上，该领域的学者不会接受更大的一些人对这些限制表示不满^脚注47阿西洛马尔实施的暂停是必然的，严格来说是暂时的：从一开始，我们的目标就是为未来的研究设置护栏，而不是禁止它

Asilomar之所以经久不衰，部分原因在于它赋予了专业知识特权。Asilomar努力尽可能地将治理保持在“内部”。它使专家们能够相互约束，避免潜在的危险研究议程，而且这样做不会损害科学过程。事实上，它提供了一个引人注目的剧本，将研究与一无所知的政治隔离开来。因为它的建筑师认为公众舆论应该告知而不是决定它的标准，除非绝对必要，否则阿西洛马尔放弃了执法。因此，它试图将治理尽可能限制在技术问题上，因为这样做将在制定和执行一个排除许多潜在决策者的基本非民主制度时增强专业人士的合法性

3.2地方政府治理不足以解决TAI

阿西洛马尔会议展示了地方政府治理如何避免灾难。它的例子似乎特别有价值“当风险未经证实和不确定时：”^脚注49它并没有排除潜在的有价值的发现，而是提供了一种在避免最危险错误的同时取得进展的方法。然而，阿西洛马尔也表明了国家以下各级政权的弱点。它未能阻止许多滥用情况，包括基因编辑婴儿^脚注50更一般地说，阿西洛马尔式的治理需要就标准达成共识，因为如果没有在特定领域的广泛支持，社会制裁就会失败。同样，虽然人们对最初的阿西洛马尔会议及其后果进行了正当的庆祝，但也受到了很多诽谤，正是因为更广泛的公众对最终政权的影响相对较小。与政治问责的隔绝会削弱专家对同胞的责任感，甚至让他们对自己的正当关切充耳不闻。最后，阿西洛马尔必须依靠专业奖惩来控制研究人员的行为；它无法约束那些报酬不专业或在社交圈外工作的专家

尽管存在这些局限性，但变革性技术的次国家治理可能会在过去不足的地方取得未来的成功^脚注51职业和学科越来越密集，部分原因是社交网络和人工智能。广泛的协调和规范的创业变得越来越容易。似乎可以合理地预期，围绕人工智能的发展，社会制裁也会比围绕以前的技术更容易执行。例如，出版规范和反对与国防机构合作的规范可能会变得更加严格。菲尔兹奖获得者、二十世纪最重要的数学家之一亚历山大·格罗滕迪克敦促他的同事们对在武器生产方面合作的同事施加更严厉的社会和职业成本；最终，他似乎离开了这个领域，部分原因是担心他的工作在国防上的应用。（后来，在巴黎的一次演讲中，他抨击他的纪律只是“温和地”与那些与国防机构合作的人保持距离。）。如果是这样，那么我们应该期待依赖社会执行机制的治理制度将比过去更成功、更多——假设它们能够达成必要的共识<尽管如此，即使在社交媒体时代，我们也不应该对社会压力抱有太大期望。硅谷的“快速行动，打破常规”的精神往往导致道德沦丧<此外，民族主义往往胜过其他形式的理想主义，我们可能应该预料到，在国际紧张局势的阴影下，专业人士将与他们的邻居紧密合作，无论他们所在领域的社会规范如何。在第一次世界大战前的几年里，人们希望（或担心）“世界工人”能够真正团结起来，拒绝为自己的国家而战。结果，民族主义压倒了阶级团结，3个月后，那些在五一劳动节为国际团结游行的人也为天皇游行^脚注55

简而言之，地方治理是非常适合在边缘影响增殖速度和AI发展方向。然而，如果第一个开发技术的国家获得了重大的政治优势，或者间谍活动是缩小技术差距的特别有效的工具，它就无法承受强大的结构性压力。如果一项技术将显著改变国家之间的权力平衡，或者如果它将极大地丰富最初发明它的公司，那么国家以下各级政权的执行机制将被证明过于薄弱，无法管理人工智能。因此，它可能最适合管理工业的适度进步（如更精确的面部识别软件），而不是变革性技术的开发/扩散

出于这些原因，阿西洛马尔有益人工智能会议试图尽可能地复制其生物学前身的成功，但可能有点过于字面化，因此它没有达到其前身的水平，这或许并不奇怪。它阐明了一套人工智能发展的原则，但未能采取具体措施来遏制风险。当i）围绕治理的适当目的达成共识，ii）社会制裁的威胁没有被其他必要因素所掩盖，例如行为者对安全或利润的追求时，国家以下各级行为者在治理技术方面最为有效。换句话说，当监督具有适度安全影响的技术或政治行为者很少关注时，国家以下各级治理最有效。如今，各州越来越关注人工智能的发展，这项技术可能会对企业利润和国家安全产生重大影响。因此，虽然很难知道国家以下各级治理可能失败的所有领域，但它似乎极有可能在治理变革性人工智能的某些方面失败。

4国家标准

从根本上说，如果人工智能威胁到重塑国际经济或国际力量平衡，那么人工智能治理的将是一个国家或国际机构，至少在很大程度上是这样。欧盟似乎已经得出结论，国家和超级国家应该在人工智能治理方面掌握主动权。迄今为止，美国更加矛盾，但像亨利·基辛格这样的政治家似乎认为人工智能问题的最终“国有化”是理所当然的^脚注57大国需要限制对对手的战略依赖，制衡国际力量的变化，保护其公民免受外国行为者的剥削。各国似乎也意识到，没有其他行为体能够或将能够围绕如此广泛、具有政治和经济变革性的技术进行谈判

4.1国家标准是管理人工智能部署的有前景的方法

从亚国家行为者转变为基于国家的行为者可能会损害专家在任何人工智能制度中的作用。阿西洛马尔的优点之一是将科学与政治压力隔离开来。国家标准制度试图利用现代国家的强制工具，同时仍将规则制定本身或多或少地交给专业人士。这本质上是一种跨政府的方法

在跨政府政权中，标准由国家政府执行，但这些标准主要由中层官员制定，没有国家政治人物的直接参与。这些标准通常会在志同道合的国家之间协调一致，例如来自欧洲和美国的央行行长协调资本要求^脚注58跨政府主义已成为在维护国家主权的同时接受专家治理的一种常见方式，当一个问题既具有高度的技术性又具有政治意义时，这两个目标尤其有价值，比如银行业和TAI。它也是针对复杂风险环境的任何“深度防御”的组成部分，特别是在风险可能需要多种应对措施的情况下；在这种环境下，国家标准可以弥合国家以下、国家和超国家层面的治理工作

国家以下各级模型设想在专业人员中建立一套主要自我执行的标准，而国家标准模型则坚持要求各州使这些标准具有法律效力。例如，它们作为美国国立卫生研究院指南的表述是不够的。当然，不具有法律约束力的标准在某些情况下可能是有效的，但它们通常以“软法律”的形式属于国家以下各级治理，因为它们是通过以下方式执行的同龄人的社会制裁，而不是国家的制裁。当然，与阿西洛马式的制度相比，具有约束力的国家标准将赋予不同的专家权力，即监管机构内的专家，而不是行业和学术界的专家

国家标准模式围绕着传播好的想法、改进法律文书以及在志同道合的州之间协调标准展开。因此，该模型建议类似情况的监管机构和学者之间定期联系，作为管理变革性技术的最佳手段。一些新兴的人工智能治理已经遵循了这种模式。美国国家标准与技术研究所（NIST）等组织推广跨国标准，并与各国政府（包括美国，通过国家人工智能咨询委员会）合作实施这些标准。更激进的是，拟议的《欧盟人工智能法案》将严格限制某些形式的人工智能，并对其他形式进行严格监管^脚注59在这些努力和其他努力中，国家标准密切跟踪了21世纪全球化空间“新的相互依存”中出现的治理模式（Farrell和Newman 2016）。这些治理模式使国际、国家和非国家行为体之间能够密切合作，并且它们往往大大赋予非国家行为方制定最终规则及其实施的权力（Mitchell 2022）。这种相对低成本的国际治理方法似乎也在使世界远离国家之间的正式条约，远离创建新的大型国际机构（Abbot和Faude 2021）。如果说有什么不同的话，那就是这种治理倾向于“单边主义”，这是许多气候活动家现在倡导的一种方法^脚注60

与CO₂排放一样，人工智能研究集中在相对较少的人手中。国家标准试图利用这种集中。国家标准可以从有限的参与者开始，而不是从一开始就寻求全球解决方案。在这些国家内部实施标准，然后在这些国家之间逐步协调这些标准，可能会为更广泛的制度创造“垫脚石”^脚注61正如CO₂一样，这种更有针对性的方法的较小步骤可能是最终实现完全国际解决方案的更可靠的方法^脚注62不利的一面是，这种方法是排他性的，当这种制度形成时，人工智能没有人可能会发现自己被排除在关键决策之外

4.2国家标准在“竞相降低”的环境中不太可行

协调各国标准往往很难实现。因此，国家标准模型必须准备接受并非所有参与者都会遵守相同规则的事实。当谈到部署阶段的挑战时，这似乎是一个很小的代价：如果法国保护其公民的隐私，而美国没有，那么对美国来说就更糟了。但这种懒散的态度在面对发展和扩散挑战时变得危险，尤其是与军事技术相关的挑战

在这方面，值得注意的是，国家标准模型是由一个人工智能落后者开创的：除了一些明显的例外，欧洲的人工智能远远落后于美国和中国，欧洲几乎没有缩小差距的迹象^脚注63虽然将这一差距归因于欧洲治理模式是不正确的，但国家标准可能会阻碍欧洲公司追赶的努力^脚注64这说明了一个更大的问题。如果各国可以在国际人工智能竞赛中偷工减料，他们可能会这样做。^脚注65限制自己的国家，而不将这些限制纳入全球框架，这与希望单方面裁军将导致世界和平没有什么不同

然而，与国家以下各级治理一样，国家标准与其他治理战略一起发挥着重要作用。它们减轻了公司的风险，尽管很难对秘密的国防机构执行。事实上，有时国家标准中会包含国家安全豁免条款，例如，禁止生物和化学武器研究，除非是为了制定反制措施而为国家政府服务。当开发该技术的国家保持一致时，国家标准更有效，因此不太可能以国家安全的名义违反有效的标准。例如，尽管中国政府机构和智库发布了白皮书，概述了道德和透明的人工智能算法，在实践中，政府已经使用人工智能来进一步加强国内监控^脚注66这意味着国家标准方法的有效性可能取决于不扩散制度

5NPT+选项

如果我们假设人工智能可以极大地改变国际权力平衡，那么国家标准或阿西洛马式方法虽然有助于减轻企业风险，但可能无法有效解决政府间竞争带来的风险。在这种环境下，除非一个行为体能够阻止其他地方的进展，否则国家之间的正式或非正式协议可能是人工智能制度的最低必要基础

5.1防扩散有着强大的历史先例

在本节中，我们考虑了我们所谓的“NPT+模式”来管理变革性技术。NPT+以《核不扩散条约》为试金石。它设想大国之间进行有限的竞争，形成一个“俱乐部”，获得变革性技术的机会严格限制在他们的数量之外。就TAI而言，它将AI治理集中在防扩散阶段。这样做可以减少对侵入式验证方案的需求（见下文）。同样，由于它为少数大国留下了很大的自由度，NPT+避开了任何积极限制中国或美国等国家可能寻求创建的物理人工智能基础设施的需要

《不扩散核武器条约》+一般有三个组成部分：将发展限制在少数行为体的不扩散制度；一套协议或规范，用于在少数拥有该技术的人中管理该技术；以及经济发展部分，以补偿被剥夺基础技术的行为者。对于人工智能来说，NPT+制度也可能通过API和其他形式的结构化访问来促进广泛获取技术成果<不扩散制度可以是单方面的、多边的但非正式的或基于条约的^脚注68最近的《芯片法案》在很大程度上是一种单方面的防扩散形式。它依赖于美国政府胡萝卜和大棒支持的出口管制。美国人能够通过利用半导体供应链中的公司对美国芯片设计软件的依赖来实施这种单边治理^脚注69违反该法案限制的公司将无法使用该设计软件。随着其他参与者开发替代软件，该法案在中期内的有效性尚不清楚

瓦森纳安排是未经条约编纂的多边不扩散制度的一个例子。这个由42个国家组成的小组交换信息，并对向非参与国转让各种武器和武器前体进行监管。尽管瓦森纳是非正式的，但人们普遍认为它非常成功。其他例子包括澳大利亚集团、核供应国集团和导弹及其技术控制制度

《不扩散核武器条约》（《不扩散条约》）是以条约为基础的制度的主要例子。正式条约有各种好处，包括国家违反条约的政治和声誉成本。它们还可以帮助各国提供可信的保证，这些保证与可信的威胁同样重要，但远未得到重视^脚注70不过，他们的限制并不局限于他们创建的俱乐部。条约可以对被排除在俱乐部之外的行为者施加义务：例如，根据《不扩散核武器条约》，不拥有核武器技术的国家承诺不开发核武器技术并接受侵入性检查。作为回报，没有核武器的签署国在和平核能计划方面得到了援助。然而，正式条约很难达成，尤其是在近几十年来大国之间。例如，裁军谈判会议及其前身机构几十年来每隔几年就制定一项重大的军备控制立法；四分之一个多世纪以来，它没有取得任何成就（图3）

所有不扩散制度都面临三个障碍。第一，随着时间的推移，演员们可能会试图削弱他们。因为他们限制的技术是两用的，那些被排除在俱乐部之外的人将付出巨大的经济代价。这些演员如果得不到适当的补偿，就会抗议。但不仅仅是俱乐部以外的人可能会试图削弱政权。想要向被排除在外的行为者出售技术的强大国家及其公司也将寻求削弱政权。随着该政权赖以存在的威胁环境的减弱，这种压力将加剧。因此，严格的多边出口管制协调委员会（CoCom）在冷战结束后被较弱的瓦森纳安排所取代。矛盾的是，随着灾难风险的降低，不扩散可能需要更多的维护

其次，强国可能会逃避维护政权的责任。大国有动力向友好国家提供安全技术，并在这些国家违反政权时视而不见^脚注72由于该政权依赖这些强大的国家来执行，他们无视其规则的意愿可能会危及整个结构^脚注73相关地，大国有动机停止向其他行为者提供积极和消极的诱因来遵守该制度。军备控制协议经常被违反，因为行为体没有为维护这些协议投入足够的资金。《不扩散核武器条约》制度之所以发挥作用，是因为它是大国外交政策的支柱----事实上，主要学者认为，美国将不扩散与欧洲重建和冷战力量平衡放在同等重要的地位^脚注74这些权力为遵守的国家提供安全保障，并威胁不遵守的国家。在冷战后期，他们还将世界划分为势力范围，这减少了拥有和没有核技术的国家之间的冲突。随着这种结构的恶化，乌克兰等国家可能会要求自己获得此类技术

不扩散的第三个也是最后一个障碍是监测的挑战。^脚注75这一挑战的严重程度取决于当前的技术状况，预计会随着时间的推移而变化<这也是国家对技术投入如何转化为国家权力的看法的函数^脚注77核技术及其投入的扩散可能比人工智能技术的扩散更容易监测，但芯片本身可能是一个重要的例外（见上文）

5.2不扩散的核查要求较低，在许多情况下可以降低风险

尽管存在这些挑战，但不扩散制度往往比其他形式的多边治理更容易建立。正如导弹技术管制制度等出口限制制度所表明的那样，它们通常不需要得到一些受影响行为者的同意。有时，他们不需要任何其他行为者的完全同意，就像美国单方面实施的《芯片法案》一样。与其他多边治理相比，防扩散制度也更容易吸引强国的支持，因为它们加强而不是损害了这些国家的特权技术地位<相比之下，强国往往害怕限制其权力的政权，如技术上限和国际垄断，以防其竞争对手找到欺骗或夺取这些机构的方法。最后，在不扩散制度中，作弊的动机也较小，因为这样做对权力平衡的影响较小。第十个获得核武器的国家对力量平衡的改变远远小于第一个国家。大国更喜欢国际协议，如果这些协议突然中断，它们不会处于决定性的劣势^脚注79

除了更容易实施外，不扩散通常也更容易监测。与其他形式的多边治理相比，它往往需要更少的侵入性方法。跟踪州与州之间的货物流动比跟踪州内的货物流动更具侵入性。对于高级人工智能来说，这可能适用于硬件，甚至可能适用于软件。这也使得在大国之间建立信任变得更加容易：鉴于嫌疑人数量有限，违规行为更容易被发现和归因，出于同样的原因，使用规范也更容易创建和维持。事实上，不扩散可能只需要大国（如国家）进行适度的披露军事理论，脚注80与能力本身不同，这些理论可能会在不损害基础武库的情况下被揭示和审查。当然，当竞争对手很少时，通过间谍活动也更容易获得彼此活动的信息

出于这些原因，不扩散应被视为对基于核查的制度的补充或替代。它的设计是为了避免侵入性验证的需要。然而，即使是设计良好的不扩散制度，监测仍然是一个绊脚石。因此，促进不扩散的技术和机构将使不扩散更加可行。例如，芯片会计制度、脚注或在芯片上放置GPS跟踪器可能会极大地促进不扩散制度，该制度试图限制计算能力集中在大国之外

虽然不扩散比其他形式的多边治理更容易，但从任何绝对意义上讲，它仍然不容易。当涉及到强大、有用的技术时，成功将需要不扩散成为大国外交政策的支柱。如果他们不优先考虑，它就不会成功。在这方面，它可能不如非国家行为者可以带头的阿西洛马式政权

此外，《不扩散核武器条约》+很容易将国际社会分为“有核国家”和“无核国家”。这将加深大国和小国之间的分歧。无论是出于设计还是偶然，它的同名者显然创建了一个核“俱乐部”，其成员遵循的规则与世界其他地区不同。这种不利因素可以通过保证“无核国家”获得TAI的经济利益来缓解，就像国际原子能机构将核技术的利益扩展到没有核武器的国家一样^脚注82尽管如此，如果变革性人工智能只委托给一小部分国家，就像《不扩散核武器条约》+规定的那样，可能无法避免分层的国际体系^脚注83

5.3当风险稳定时，防扩散是最有效的

对于变革性人工智能来说，防扩散的可取性可以归结为三个问题，其中没有一个问题是可以回答的。首先，在不转让技术本身或与重大风险相关的投入的情况下，能否享受技术的好处？否则，各国及其公民将不愿容忍限制，这将带来严重的经济成本。例如，如果作为国民经济命脉的芯片足以用于先进的人工智能，那么限制芯片获取的NPT+制度将难以或不可能构建^脚注85

其次，人工智能是否会促进破坏主导技术的发展，即那些无法防御的大规模破坏技术？如果确实如此，那么将这些技术掌握在更少的人手中可能是当务之急，特别是如果小团体甚至个人可以部署它们的话。NPT+将成为任何人工智能治理制度的必要组成部分。在不完全限制准入的情况下减少准入的防扩散制度也可能弊大于利。例如，计算能力较低的州在面临严重的安全挑战时可能更容易冒险；在开发先进系统时，这样的参与者不太可能支付“安全税”。最后，随着人工智能技术的进步，承担危险风险的动机是否仍然很高？对于核武器，情况并非如此。一旦各国拥有安全的二次打击能力，边际核武器的价值就相对较小。这些收益递减使美国和苏联能够同意《削减战略武器条约》（START），限制其部署的核弹头数量。几乎没有动力去竞相开发更多。《削减战略武器条约》得到了《不扩散核武器条约》的支持，因为如果没有后者，美国和俄罗斯可能会决定部署更多的弹头来应对更多的威胁。种族动机低使《不扩散核武器条约》更有价值、更可行，它提供了重要的稳定和安全。另一方面，如果部署越来越多弹头的动机越来越大，各国可能会在努力中耗尽自己的力量，同时增加冲突的可能性^脚注87^脚注88

就人工智能而言，随着技术的进步，风险是会增加还是减少尚不清楚。一种开发场景始于开发人员试图将人工智能系统与其创建者的意图相一致。虽然这可能很难从短期和长期来看，这可能是某类系统的一个解决问题。拥有先进人工智能技术的参与者可能没有动力构建这类系统之外的系统，即使其他系统有望适度提高能力。不扩散在这个世界上具有极高的价值，甚至足以确保安全与稳定

或者，如果以牺牲一些风险为代价开发更强大系统的动机永远不会减少，那么不扩散就不足以实现安全和稳定^脚注89这可能仍然会降低风险，因为服用这些药物的人越来越少，但最终世界将从瓮中取出黑球^脚注90这样的世界需要其他治理选择，而我们现在转向的正是这些选择

6可验证的限制

在这一节中，我们与现有的人工智能治理工作存在很大分歧。我们认为，重要的是将基于《不扩散核武器条约》的方法与基于核查的方法分开。虽然国际原子能机构的例子似乎表明它们是同一枚硬币的两面，但这个例子误导了人们。从根本上说，国际原子能机构对核俱乐部内部人员的运作方式与对非核俱乐部成员的运作方式不同。《不扩散核武器条约》是一个大国解决方案，我们上面概述的《不扩散条约》+模式旨在避免对主要国家实施侵入性核查制度

6.1可验证的限制解决了更多的风险

技术领导人和外交官已经开始呼吁建立可验证的限额制度^脚注91许多人担心扩散几乎不可能得到控制，因为人工智能技术可以很容易地传播——容纳人工智能所需的基础设施远比创建人工智能所需要的基础设施要小。如果是这样的话，而且不可能将先进的人工智能包含在一个俱乐部内，那么NPT式的制度就无法成功，除非与广泛的监测和验证（正如我们在本节中所考虑的）或对其物理基础设施的极其严格的控制（如我们在下一节中考虑的）相结合

然而，即使《不扩散核武器条约》式的制度能够成功限制扩散，可核查的限制可能仍然更具吸引力。许多人工智能最严重的危险来自发展过程本身。防扩散努力试图通过限制参与者的数量来限制这些风险。如果这不足以防止危险的人工智能失调，或者风险没有随着时间的推移而降低，那么限制发展可能是唯一合适的治理方法。此外，可核查的限制提供了一种比NPT+更优先的专家治理方式，几乎与国家标准一样多，因为监督机构必然是严格的专业和非政治性的。事实上，根据国际核查，将这样一个机构与变幻莫测的国际关系隔离开来的必要性可能使其成为迄今为止设计的最非政治性的国际机构之一

在“可核查的限度”这一大标题下，我们考虑两种类型的制度：国家强制技术上限和国际核查。这些模型为可能导致有害形式出现的某些技术的发展设定了界限。这两种模型都涉及参与者接受他们不会接受的限制，如果其他人不接受的话。当涉及到一个参与者的作弊威胁到其他参与者的安全的重要安全技术时，这意味着需要严格验证对该制度的遵守情况。就人工智能而言，这些技术限制几乎肯定需要关注物理和计算基础设施。这两种模式都将人工智能的发展交给了国家和企业。这些模式在执法国际化的程度上存在差异。国家强制执行的技术限制制度主要由各州执行：可能需要第三方来监督合规性，但它无权终止或扰乱各州的活动。国际验证更大胆：它将使国际机构对公司和国家的人工智能开发进行某种形式的控制，例如，如果没有它的许可，大型人工智能培训就不可能执行

6.2没有大国同意类似可验证限制的例子

在评估可验证限制可行性时，必须认识到历史没有为这种制度提供明确的先例。特别是，没有明确的例子表明大国同意任何一种治理模式来限制没有军事替代技术的强大军事技术的发展。小国当然同意限制各种技术，例如在《不扩散核武器条约》中。但这些较小的参与者依赖于大国创建的安全架构，大国可以提供比单方面技术发展更大的安全保障<事实上，较小国家的单方面武装往往会导致小国家的军备竞赛，这不会增强小国家的安全，反而可能会破坏它。相比之下，大国不愿意依赖不确定的小国家联盟来代替技术发展。他们也不愿意允许侵入性监测制度，因为这本身就存在安全风险^脚注94

国际公约的记录可能会让一个不经意的观察者产生不同的看法。例如，大国签署的《生物武器公约》限制了生物武器的“发展、生产和储存”。然而，如果没有军事替代品，这并不是一项重要的军事技术：生物武器的效用是有限的，因为对自己的潜在伤害，而核武器提供了一种明确的（和优越的）替代技术。英国分析人士当时指出：“生物战具有‘仅次于百万吨级炸弹的微不足道的额外威慑作用’，不能‘显著增加西方大国目前的威慑能力’。”禁止生物武器也加强了小国和大国之间的差距，因为生物武器被视为“穷国的大规模杀伤性武器”。值得注意的是，由于签署国不相信核查制度是可能的，该公约不包括任何核查条款。他们还是签了字，因为违规行为不是严重的安全威胁<事实上，苏联和其他国家公然违反了《公约》

1967年的《外层空间条约》禁止在太空部署核武器，这似乎也是一个反例。但在这里，验证是没有意义的，因为空间是透明的，使验证变得简单<此外，条约限制的是部署，而不是发展：这种区别很重要，因为发展比部署更难监控，如果发现违规行为，也更难逆转。根据部署进行部署比开发新的研究和测试程序更快。最重要的是，人们普遍认为《外层空间条约》禁止的行动在军事上并不有效：“无论是武器化还是太空作战都没有从虚构转变为现实。”^脚注98在有效或可能有效的情况下，条约都做出了具体的例外。事实上，在签署该条约时，超级大国在很大程度上已经放弃了将太空武器化^脚注99今天，随着太空武器化开始走出科幻小说的领域，主要大国在太空武器化条约方面几乎没有受到阻碍

《反弹道导弹条约》重复了同样的模式。它限制了一项技术的部署，“在实践中，即使没有军备控制，…也不会改变战略平衡，尽管[它]会导致大量浪费性支出。”一旦技术发展到开始看起来可行的程度，美国就退出了该条约。附录A列出了自19世纪中叶以来的国际军备控制条约的完整清单。它不包括一个限制大国的可核查限制制度的先例

这不是偶然的。从红队治理提案如何影响其安全利益的角度来看；从这个角度来看，即使是意图最好的提案也往往达不到预期。尽管如此，可验证的限制方法在政府最高层得到了认真对待。例如，罗纳德·里根和米哈伊尔·戈尔巴乔夫在1986年雷克雅未克峰会上提出了类似的建议，TAI也有类似的想法

7红队可验证限制

一项强大技术的验证条约将有很高的标准来满足大国的安全担忧。在考虑这样的核武器提案时，艾奇逊-利林塔尔报告“一致得出结论，在一个依赖检查和类似警察方法的系统中，没有安全的前景。”该报告强调，他们得出这一结论的原因“不仅仅是技术上的，”即对国家竞争的影响考虑不足是“共同提出的建议中的致命缺陷……以及检查制度”，而这一致命缺陷“为我们制定国际垄断计划提供了重要线索”^脚注101下面，我们将更详细地描述这种制度的任何计划都需要清除的障碍

任何核查制度都必须能够及时发现被禁止的活动，以阻止它们显著改变权力平衡。这一要求既带来了技术问题，也带来了政治问题。在技术层面上，监控必须可靠地检测项目早期阶段的作弊行为，例如，通过检测参与者是否开始将计算规模扩大到可接受的水平之外<在政治层面上，各国必须有信心破坏或阻止违反国际法的计划，包括通过常规手段。任何基于验证的提案都必须仔细分析（i）可发现性的时间；（ii）突破时间；（iii）各州在这些时间范围内扰乱程序的能力；四如果以核查为基础的制度瓦解，大国的立场应确保这些行为者不会比以前更糟糕；以及（v）从目前状态到设想制度的路径

考虑到这五个因素将影响基于核查的制度的设计。例如，允许/不允许的行为类型将影响发现违规行为的预期时间。试图从不可接受的行为中精细解析可接受行为的机制将使及时检测更有可能失败。在人工智能的情况下，试图解析可接受的计算能力使用将比简单地禁止在易于识别的类中使用所有计算能力的制度更难发现违规行为，例如每秒超过指定数量的浮点运算（FLOPS）<这也是艾奇逊-利林塔尔报告建议核技术国际化的一个原因：作者认为，试图区分核科学的可接受和不可接受的用途将是困难的，并导致将毁灭该政权的辩论

同样，偏离路径的故障可能会影响一个政权必须如何指定计算能力的分布，包括数据中心对不同参与者的脆弱程度。各国将希望确保任何制度都不会减少他们获得这些能力的机会，特别是在技术格局的分歧或变化可能导致该制度失败的情况下

各国还将考虑一个政权将如何影响其目前的地位和影响力。他们会犹豫是否要牺牲技术领先地位和其他相对于竞争对手的优势。同样，领导人可能如此坚定地坚持优势，以至于他们无法接受事实：例如，美国总统哈里·杜鲁门坚称苏联“永远不会”开发自己的核弹，尽管罗伯特·奥本海默有令人信服的论点，他们很快就会这样做<因此，在任何一个国家开始走得太远或发展出它希望隐藏的重大能力之前，可验证的限制可能是最容易实施的。可验证的限制往往会使所有国家的人工智能领域达到水平。一开始，这一领域越艰难，就越难实现平衡。如果中国或美国享有显著领先地位，就很难找到足够的交换条件来诱使它为了国际稳定而牺牲这一领先地位。正如我们在介绍分类法时所讨论的那样，为了启动治理，可能需要一定程度的不确定性

最后，当国家将权力移交给国际机构时，该机构的治理是一个特别值得关注的问题。在实践中，机构往往反映了国际力量在创建时的平衡。虽然这种做法使创建机构变得更加容易，但随着时间的推移，它们不再反映地缘政治现实。随着权力和影响力的转移，该政权可能会变得越来越过时，从而引发越来越多的争议

可验证限制的一个明显特征是它在各种参与者之间进行平衡的方式。但这个功能可能是个bug。如果变革性人工智能被证明具有显著的规模经济，那么随着时间的推移，市场（或权力平衡）可能会降低人工智能竞赛的危险：随着一些参与者走得更远并巩固其主导地位，其他参与者缩小差距的可能性将越来越小。在这种情况下，参与者面临着偷工减料的动机稳步下降，因此是偶然的风险将随着时间的推移而下降。同样，如果TAI被证明是破坏主导的，这种规模经济也可能通过威慑促进和平^脚注105对人工智能发展施加人为的上限会破坏这种有益的动态：这些上限可能会使竞争对手接近平等，从而加剧人工智能竞赛。在极端情况下，可验证限制制度可能会使AI变革性进步的竞争对手数量最大化，从而使其中一些竞争对手作弊或消除安全预防措施的可能性最大化。最后，这样的上限也可能阻碍甚至排除其他治理选择，如国际垄断，特别是如果这种制度需要至少部分自行发展的话。事实上，如果不限制其发展，由于规模经济，垄断可能是人工智能的自然终点，而这种垄断实际上可能对世界政治有利

8技术解决方案

其中一些问题可能通过技术解决方案来解决。加密技术可能会缓解监控和验证问题^脚注106它们可能有助于验证，使有关国家活动的其他信息不会公开。或者，核发射协议中的“两人规则”的技术等效物可能适用于由在空间和时间上分开的参与者控制数据中心。如果某些训练对一个或所有参与者来说可能是危险的，那么这种技术解决方案可能意味着只有在所有参与者都同意的情况下才会进行训练

然而，促进达成协议的技术方法也面临着超越技术可行性的挑战。例如，它们需要对一系列敌对行为体具有可信度。这意味着需要透明度：对手必须相信技术会兑现承诺。但技术透明度也助长了恶意干扰。这些圆是否可以平方仍然是一个重要的研究领域

最后一点值得注意。目前，企业主导着人工智能研究。当企业管理人工智能研究时，可验证限制的政治障碍比国家更容易管理。如果公司仍然处于主导地位，各州可能更愿意将监控外包给对其他行为者负责的第三方：这样做可以让他们向其他行为者保证，他们的公司正在遵守规则，这既是因为第三方可以提供更可信的信息，也是因为监控可以脱离国内政治。在这样一个世界里，维持雄心勃勃的国际核查制度所需的技术设备可能触手可及。尽管如此，我们认为美国和其他政府不太可能继续对人工智能采取温和态度。建立一个期望主要参与者不包括国家的政权是危险的，甚至可能是幼稚的

简而言之，可验证的限制面临三个挑战。首先，可能无法构建可靠检测作弊所需的监控设备；就人工智能而言，当物理基础设施和专业知识广泛分散时，包括在普通设备上，检测可能太不可靠。其次，即使有可能，至少有一个大国可能会拒绝服从它，在这种情况下，全球合作可能会失败。最后，可验证的限制可能会阻碍甚至阻止垄断的出现。为了理解为什么垄断可能具有吸引力，而不是避免的命运，我们现在认为这是管理变革性技术的最终可能性

9国际垄断

如果必要的检查制度过于侵入性或过于不可靠，可验证的限制将失败。垄断通过在一个单一的国际机构中整合开发变革性技术所需的知识或物质资源来消除这一困难。理想情况下，该机构将受国际公约的管辖，所有国家（在遵守某些规则的情况下）都将从其活动中受益。虽然我们认为这一提议处于扩散阶段，因为它描述了有多少参与者拥有一项技术，但应该指出的是，垄断的存在可能会使对发展的限制更容易实施，特别是对于像人工智能这样的技术。

在国际垄断中巩固变革性技术并不是一个新想法。艾奇逊-利林塔尔委员会一致认为，尽管将如此多的权力交给一个新的在国际组织中，垄断是唯一与核任务同等重要的国际治理形式。他们的提议源于各种关于治理原子时代的建议，其中一些比其他建议更可行。这些建议始于尼尔斯·玻尔

玻尔设想了一个“开放的世界”，一个由科学家组成的单一社区遍布全球。为了推进这一愿景，他敦促富兰克林·罗斯福与苏联分享核秘密，并让许多科学家追随他对战后秩序的梦想。在他的愿景中，“美国和英国将‘交换’他们的原子知识，以换取一个开放的世界。”；因为没有核武器，就不会有军备竞赛

玻尔愿景的回声可以在人工智能婴儿期令人兴奋的开源时代看到。尽管如此，即使玻尔的梦想可以统治原子奥秘，这样一个开放的世界可能对其他变革性技术，如先进的人工智能来说是不可取的。（如果人工智能发现了破坏性主导的技术，那么一个反社会者可能会造成如此大的破坏，以至于对该技术的一些控制成为生死攸关的问题。）就像艾奇逊提案一样，对TAI的国际垄断试图保留玻尔的一些理想主义，同时适应人性和国际政治的现实

9.1垄断可能会通过侵入性较小的监测来降低风险

通过垄断国际机构的人才或资源，这种制度降低了维持合作所需的核查水平。例如，由于技术上限将计算基础设施掌握在国家或公司手中，因此需要某种方式来监控这些参与者如何使用它。国家强制执行的技术上限和人为创建的国际垄断都可能需要跟踪芯片，以确保没有参与者开发未经批准的能力。然而，由于对芯片供应链的控制较少，技术上限可能需要对国家活动进行更具侵入性的监控。与技术上限不同，国际垄断不需要对国家培训运行进行密切监督，以确定国家是否正在开发一个受制裁或未经批准的系统。国际垄断类似于仅在全球范围内将计算资源集中在国家内部的提议。它也类似于创建大型国家计算资源的提议（如国家人工智能研究资源（NAIRR）），只是它排除了其他参与者自己拥有这些能力^脚注109与NAIRR一样，在国际垄断中，人工智能开发的重要方面可能仍然是分散的，包括代码本身和数据分析。关键在于，如果不涉及垄断，就不可能创建TAI

人为地创造这种垄断可能需要对一些基本投入建立控制。艾奇逊-利林塔尔报告建议通过对铀和钍的各个方面，包括其矿山建立控制来实现这一目标。国际人工智能垄断可能会建立对相关先进芯片供应链的控制，并监控其分销^脚注110它还可能采取进一步的措施，比如对训练技术保密，包括强化学习环境和数据管理。对于源自规模经济的自然垄断企业，这些措施可能是不必要的

如果我们相信人工智能的规模经济将继续增长，那么流氓行为者可能不会通过惩罚的威胁来威慑，而是通过国际社会领先的巨大规模来威慑——创造一种自我执行的平衡。事实上，如果美国和欧盟等主要行为体集中资源，他们可能会遥遥领先，以至于其他大国也无法赶上。当然，维持这样一个政权所需的侵略性将远低于任何基于核查的计划。然而，大国可能仍然无法接受，这取决于技术传播的容易程度和流氓行为者的危险程度。然而，一些所谓的优势值得注意。与国际核查一样，它优先考虑专家治理，这种专业知识相对不受政治压力的影响。与艾奇逊-利林塔尔计划一样，它避免了危险的军备竞赛可能会减少相互猜疑，即使所有参与者都是善意的，这种猜疑也会恶化。它还要求各国放弃一项有价值的技术，承诺将这项技术掌握在手中，支持者希望这项技术不会将其转化为政治优势：正如一个国际科学机构缺乏向一个国家发射弹头的手段一样，一个国际垄断组织可能缺乏建立全球霸权所需的动力基础设施

9.2国际垄断的安全红队

尽管如此，可验证限制方法所面临的相同安全因素也面临着国际垄断。在将部分安全责任交给国际机构之前，各国会问，例如，竞争对手是否有可能作弊

与其他超国家治理方法一样，国际垄断也有很大的潜在缺点。最明显的是，它的灵感，艾奇逊-利林塔尔提案失败了，而且还远不能确定是否有一个更新版本能够成功。其潜在的权力集中带来了明显的风险。需要采取措施，可能是技术性的，以防止其被滥用。如果国际组织本身不篡夺权力，一个国家或国家集团可以通过在政治上夺取该机构并将其他人排除在其利益之外来行使强大的权力。全球南方国家肯定会犹豫是否相信发达国家拥有这样的权力。为了考虑这些选择，减少对先进人工智能的竞争的共同利益需要是尖锐的。或者，这种垄断需要自行发展。这可能是人工智能垄断相对于艾奇逊-利林塔尔计划的一个优势：核技术没有表现出强烈的市场集中趋势，但先进的人工智能可能会

10技术解决方案

与可验证限制一样，许多这些问题可能有技术解决方案。一些研究人员已经开始探索是否可以让人工智能训练运行需要“密钥”，这样在执行任何运行之前，大国都必须同意。这一建议模仿了核武器系统，通常需要两个人才能激活。美国和中国等国家似乎更愿意通过第三方而不是自己的网络向对方提供密钥。我们认为，这种技术解决方案前景广阔。如果它们在密码学上被证明是可行的，它们将减轻人们对失去对技术和管理技术的机构的控制的担忧。在这种情况下，垄断技术投入可能会减少对某一方秘密进步的担忧，从而减少种族动机

我们也不应该忽视这些高科技问题的潜在低技术解决方案。如果一个国际垄断企业在一个脆弱的地方维持其物理基础设施，那么任何大国都可以对其发展活动保持有效的“杀戮开关”。可信的威胁常规罢工可能足以重置权力平衡^脚注112

关于半导体的未来发展，目前有最后一个低技术含量的建议。正如过去几年供应链中断所表明的那样，台湾一个国家生产的先进半导体比例之大令人震惊，而这个国家极易受到世界领先大国的影响

但台湾的例子应该提醒我们，为什么一定程度的设计对人工智能治理至关重要。半导体生产注定要集中在同一个东亚国家的少数几家公司，这可能是市场演变的必然结果。但这种集中发生的确切房地产可能很容易在其他地方。如果让TAI自行发展，它很可能会集中在极少数人手中。无法保证这些手会是善意的，也无法保证他们不会有其他令人担忧的政治问题（台湾的例子表明了这一点）。事实上，如果TAI足够强大，能够赋予其创造者决定性的战略优势，就像核武器可以说曾短暂地为美国所做的那样，那么这样的行为者很可能会利用这一优势改写国际秩序的规则。如果能够克服社会和技术挑战，在这之前实施更广泛的、基于同意的治理制度似乎更好

在结束之前，值得考虑的是，国际化的温和版本是否可行。某些形式的超国家治理将威胁国家主权和权力平衡远不如国际垄断。许多行业都存在将国际标准纳入国内法规的激励措施，这将减少国家标准方法的逐底竞争问题。当国内政府通过将市场准入与标准合规挂钩来支持国际制度时，国际机构可以管理民用开发和使用。这发生在民航、海事和金融等行业^脚注113这类建议有助于弥合人工智能“有”和“无”之间的鸿沟。这些都是重要的好处，我们相信，这些方法即使不能消除，也有望改善民用人工智能的风险。不幸的是，我们认为这些方法不足以解决我们上面描述的军事技术发展中的竞争风险。如果不限制获得军事TAI（如NPT+或垄断）或监测其发展（可验证的限制），国际治理将无法解决围绕该技术的一些最重大的风险。它不会阻止军事领域的人工智能竞赛。民用技术的国际治理可能是保护隐私、防止侵犯人权、确保先进民用系统安全和其他治理目标的有用工具，但它可能无法成为管理人工智能安全开发和使用的有效制度的基石，就像这样的制度不能希望管理核武器一样

11治理TAI的前进道路

目前，国家以下各级团体正在率先进行人工智能治理，社会化仍然是他们的首选工具。虽然社会规范往往不足以管理新兴技术，但我们有理由相信，在未来几年，它们将更加有效。尽管如此，他们很可能不足以独自管理人工智能：这项技术具有太多的权力政治影响，回报太大，专业和社会制裁无法限制其发展。此外，随着人工智能的进步，国家行为者越来越关注这个曾经被忽视的领域；目前尚不清楚非国家行为体将在驾驶席上停留多久。人工智能的发展速度让规范几乎没有时间进化

如果亚国家行为者在安全方面不是人工智能治理的主要参与者，那么转向传统的现实主义或自由国际主义模式似乎是很自然的。事实上，我们认为在国家间安全治理方面可能可行的所有四种模式（NPT+、可核查的限制、国际垄断、国际霸权）都完全符合这些传统。然而，旧的范式可能会产生误导。在现实主义和自由主义传统中，合作往往建立在互惠的基础上<反过来，互惠只有在重复博弈中才能成功：未来报复的威胁可以防止偏差，就像囚徒困境的经典以牙还牙解决方案一样。然而，新技术有时会对这些熟悉的模式提出不同寻常的挑战。对于TAI，就像没有核武器的世界中的核武器一样，对该政权的一次偏离可能足以使未来的报复变得不可能

此外，任何政权都必须在短期和长期内保持稳定。它必须动态稳定，因此能够随着TAI重新配置社会政治地形而适应。例如，NPT+更容易实施，因为它不会破坏权力平衡；但当这种平衡本身开始转变时，它还能继续存在吗？同样，执行给定AI训练运行所需的计算能力每年都在显著下降；当一个基于核查的制度变得越来越容易逃避时，它还能生存下去吗？这些问题表明，社会化和非国家行为者都将在任何人工智能政权的长期成功中发挥至关重要的作用。尽管进入壁垒在减少，但很少有国家发展核武器，他们的克制似乎在很大程度上源于国际规范，而不是愤世嫉俗的算计^脚注115同样，我们怀疑规范和非国家行为者，尽管他们在早期无法限制TAI的发展，但将在未来几十年内稳定、巩固和完善任何出现的制度。

在多边人工智能治理制度中，我们认为NPT+是最可行的。它有着最强大的历史先例。因为很多演员如果已经加入“俱乐部”，它将打破政权的动机降至最低。它似乎避免了侵入性的监控，并将保持（甚至固化）当前的权力平衡，使其对主要国家具有吸引力。此外，它可能是通过设计或逐步合作演变而产生的，与核查制度或国际化相比，它需要更少的初始支持。它也与TAI可能表现出的规模经济相吻合。尽管如此，NPT+认为这有可能陷入停滞，因为技术俱乐部中的参与者没有持续的动机“偷工减料”来提高他们的相对实力。在一个TAI因俱乐部成员之间的竞争而带来巨大风险的世界里，NPT+是不够的，这样的世界可能是合理的

最终，我们还不知道这四种模式中哪一种最有效。毕竟，我们仍处于科林格里奇困境的前半部分。然而，今天可以采取一些行动，在许多情况下都会产生高回报。一是研究如何部署现有机构，为我们上面讨论的治理模式服务。在当前的国际环境下，可能不可能达成宏伟、广泛包容的条约来管理人工智能。另一种方法是研究如何从双边和俱乐部模式中发展出广泛的治理制度。美国和苏联之间的双边接触最终产生了《不扩散核武器条约》，目前有190个签署国。金融行动特别工作组始于七国集团，目前有40个成员国和许多其他合作方

另一组近期行动包括调查促进治理和增加治理选择的技术机制<例如，某种形式的验证可能会出现在任何制度中，这种验证可能涉及控制计算以开发和部署影响国家安全的模型。许多潜在的协议可能需要监控先进芯片的分布和活动的方法，即那些能够联网在一起生产TAI的芯片。这可能需要跟踪内置于单个芯片中的硬件，并了解整个半导体供应链中的客户会计制度。这些措施将使许多治理选择成为可能，因为它们使突破变得更加困难，并减少了核查行为者以后可能希望实施的任何必要的侵入性。在某些情况下，这种能力可以促进合作行为体之间的信任。尽管如此，核查能否成为治理制度的基础，而不仅仅是其附属品，将取决于核查技术，我们尚不知道其可行性；这也将取决于政治领导人和大国愿意接受多少审查

正如我们上面解释的那样，这种治理制度没有先例。尽管如此，虽然对大国进行侵入性监控没有先例，但“智能”技术也没有先例。如果技术发展迅速，我们将经历前所未有的时代；如果出现前所未有的政治结构，我们不应该感到惊讶，尽管我们不应该轻率地认为它们会出现

简介