去年10月，国会女议员Anna G.Eshoo向国家安全顾问和科学技术政策办公室（OSTP）发表了一封公开信，敦促他们解决在民用和军事应用中使用人工智能带来的生物安全风险。她写道：“人工智能在生物技术、医疗保健和制药领域有着重要的应用，然而，我们应该像对待分子或生物制品等物理资源一样，警惕军民两用应用对美国国家安全、经济安全和公共健康的潜在危害。在7月联合国安理会关于人工智能对和平与安全影响的历史性首次会议上，秘书长安东尼奥·古特雷斯回应了这一担忧，指出“人工智能与核武器、生物技术、神经技术和机器人之间的互动令人深感担忧。”探索人工智能系统的两用性质如何扩大其他技术的两用性质的领域，包括生物、化学、核和网络技术，被称为融合。政策思想领袖传统上专注于孤立地研究不同技术的风险和好处，假设威胁领域之间的互动有限。然而，人工智能具有与其他技术集成并放大其风险的独特能力。这需要重新评估标准政策方法，并创建一种趋同风险类型，从广义上讲，这种风险可能源于两个概念中的任何一个：技术趋同或安全环境趋同

技术融合人工智能与其他技术领域的发展之间的直接互动产生了独特的好处和风险。这类融合的例子包括人工智能与生物安全、化学武器、核武器、网络安全和常规武器系统的互动

AI和生物安全。在评估风险评估框架在绘制人工智能和生物安全风险趋同图方面的相对效用的背景下，研究人员John T.O'Brien和Cassidy Nelson将趋同定义为“生命科学和人工智能之间的技术融合，使它们相互作用的力量大于各自学科的总和。“他们的工作调查了可能大大增加蓄意或意外高后果生物事件风险的领域之间的潜在相互作用。例如，这包括人工智能辅助识别新型病原体的计算机模拟设计中的毒力因子。随后的工作强调了深度学习在基因组学中的应用，以及高风险生物数据存储库中的网络漏洞。《原子科学家公报》最近的几篇文章确定了人工智能的发展可能加速生物风险的其他方式

人工智能和化学武器。作为融合的一部分瑞士联邦核、生物和化学研究所（NBC）的一项倡议，一家计算毒理学公司被要求调查参与药物发现的人工智能系统的潜在军民两用风险。该倡议表明，这些系统可以产生数千种新型化学武器

人工智能与核武器。越来越多的研究和宣传强调了人工智能融入核武器指挥、控制和通信（NC3）的潜在不稳定后果，这在未来生命研究所的电影《人工智能升级》中有说明6月在军备控制协会播出的一场由高级人工智能专家和政府官员参加的高级别讨论暴露了这种整合带来的许多安全问题。这些担忧包括无法验证和审查人工智能的决策，意外使用自主武器的风险更高，以及冲突升级的可能性增加

人工智能和网络安全。在网络空间领域，有报道指出，人工智能系统可以让恶意行为者更容易地开发出毒性更强、破坏性更强的恶意软件。它们还帮助对手通过针对指挥控制、网络钓鱼和勒索软件的新型零日漏洞（以前未识别的漏洞）自动攻击网络空间。考虑到当前人工智能的发展轨迹，自主发起的黑客攻击也有望成为近期的一种新兴能力

常规武器系统中的人工智能。人工智能的一个关键特征是，它使单个参与者能够以大规模和机器速度进行活动。有人认为，将这种模式应用于人工智能集成到常规武器系统（如杀伤人员无人机和无人机群）中，创造了一种具有大规模杀伤潜力的新武器类别。此外，美国的联合全领域指挥控制倡议旨在将常规指挥控制结构的各个方面整合到一个由人工智能驱动的单一网络中，这带来了许多风险，包括意外升级的风险

这些例子中的每一个都探讨了人工智能系统和特定技术之间的互动，但现实情况更为复杂。例如，人工智能、网络安全和核武器指挥、控制和通信（NC3）是如何相互作用的？人们如何看待上述因素与对关键基础设施的威胁的结合，如黑客攻击和破坏电网或水处理设施？如何评估先进人工智能系统与传统安全威胁和其他新兴技术相关的风险

通过安全环境进行融合除了这些直接互动的问题之外，还必须考虑人工智能系统的广泛使用导致错误信息和对技术日益尊重的环境如何影响大规模杀伤性武器的开发和使用的障碍。安全环境趋同包括技术发展改变整个安全环境，产生间接影响，加剧总体风险的情况。这里的影响可能更难调查。尽管如此，可预见的例子比比皆是

例如，人们可以想象，人工智能系统的发展使制造虚假信息和深度伪造变得更容易，这可能会增加国际舞台上的误解。这将降低生物事件成功归因的可能性。由于信息不对称和信号故障的增加，核风险可能会增加。两国在人工智能开发方面的激烈竞争也可能促使一方考虑使用大规模杀伤性武器或对另一方进行常规攻击

除了类型学之外，另一个相关的宏观问题仍然存在：是全面审查趋同风险，还是为趋同的每个方面创造单独的研究空间。例如，借鉴斯德哥尔摩国际和平研究所（SIPRI）设立的名为“BIO Plus X”的生物安全跨学科项目，可能会有一个名为“AI+X”的大型研究领域，全面评估人工智能系统对其他技术和大规模杀伤性武器威胁的影响，调查共同的途径和补救措施。同时，每种融合途径（如人工智能和生物与人工智能和核）之间的差异可能非常显著，以至于在一起检查这些风险时可能会失去重要的细微差别。可能的答案是两者兼而有之，但其构成值得认真考虑

关于趋同的不同学派。从表面上看，关于趋同的不同学派大致平行于关于技术进步的阵营划分。技术乐观主义者认为，人工智能系统将最大限度地发挥这些技术的好处，并有助于将其风险降至最低。好处包括更强大的核指挥和控制、更快的疫苗开发以及更好的网络软件培训；乐观主义者可能会证明，监管会延迟或阻碍这些好处

那些有安全心态的人可以更认真地权衡本文中讨论的问题，认为不受监管的人工智能开发可能会导致国际和国家安全的净减少

第三个阵营与现状相结合，指出缺乏对融合的利弊的实证研究，并对人工智能系统在这两个方向上的变革力量产生了更普遍的怀疑

鉴于人工智能开发和部署的快速、规模和普遍性，专家们必须从安全心态开始。所有这些技术都有广泛的军民两用应用，加速发展既有好处也有坏处。评估每种技术的收益-风险平衡已经是一个非常困难的实证问题。趋同进一步加剧了这一问题，并强调需要进一步研究，以量化利弊，并研究能够适应这种复杂性的框架

然而，随着研究的进行，研究表明，在许多高风险领域，与进攻技术相比，防御技术往往处于不利地位。例如，一种非常致命的病原体通常会超过疫苗的开发。研究每种技术交叉点的平衡至关重要，但新兴防御技术落后于新兴进攻技术的趋势要求决策者在应对趋同威胁时格外谨慎

防范趋同风险的政策。除了进一步的研究外，在政策领域还有很多工作可以做，以降低趋同风险

首先，至关重要的是，政府要为国家科学基金会等机构提供资金，以提高我们对趋同风险的理解。这应包括探索特定领域的技术趋同和安全环境趋同，以及对独立于技术领域的威胁趋同动态进行更全面的调查

其次，国会可能会考虑公共领域中越来越多的关于减轻特定人工智能途径风险的政策建议。最近的一份报告——海伦娜组织于5月召开的人工智能生物融合高级专家会议的高潮——提出了几项建议。其中包括测试大型语言模型是否存在生物滥用，强制进行DNA合成筛查，以及扩大生物安全和生物安全指导，将人工智能生物学纳入其中。参议院的一项新法案建立在政策建议的基础上，以防止将先进的人工智能集成到核武器指挥、控制和通信（NC3）系统中。人工智能国家安全委员会发布了关于减轻武器系统中与人工智能相关的风险（如扩散和升级）的战略指南。随着人们更好地了解其他趋同途径的风险，很可能会出现更多高价值的政策建议

重要的是，这些趋同路径中的许多可能会通过通常适用于先进人工智能系统的共同政策机制缩小范围。例如，部署先进人工智能系统的全面审批程序，包括强制性的独立审计和红队，可以通过拒绝批准部署具有高收敛风险的系统来帮助防止滥用和意外后果。让人工智能开发人员对他们创建的系统造成的伤害负责的法律责任框架也有望激励主要实验室通过设计充分测试和减轻趋同风险。最后，不同公司和国家之间的更多协调与合作，为人工智能开发建立共同的保障措施，可能会缓解地缘政治紧张局势，并劝阻相关行为者推动其人工智能技术的军事使用

随着所有这些技术的发展加速，核紧张局势达到前所未有的高度，调查新旧威胁的汇合将对维护和推进国家和国际安全至关重要

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：人工智能、人工智能、生物安全、常规武器、网络安全、军民两用、核
主题：Artificial intelligence，颠覆性技术医学博士、公共卫生硕士是未来生命研究所未来项目的主任。她还是Wyss的科学家和导师。。。

Hamza是未来生活研究所的美国政策专家。总部设在华盛顿特区，他的职责是推动与美国政府的接触。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介