麻省理工学院的研究人员最近设计了一个场景非科学家学生使用 ChatGPT 来帮助他们获取有关如何获取可能制造具有大流行潜力的病原体的 DNA 的信息。据报道，这些本科生的生物学知识有限。但通过使用聊天机器人，他们能够获得在实验室中制造危险材料并逃避生物安全措施的知识。该实验引起了人们对人工智能工具对生物威胁格局的影响的关注，以及此类应用如何导致全球灾难性生物风险。

最近几周，学者、美国政策界和公众一直在讨论基于人工智能的工具的生物安全影响和治理。情况说明书详细介绍了基于大型语言模型的顶级聊天机器人开发人员自愿承诺的安全措施，包括内部和外部安全测试，以防范基于人工智能的生物安全风险。 7 月中旬，马萨诸塞州民主党参议员爱德华·J·马基 (Edward J. Markey) 提出了立法，人工智能和生物安全风险评估法案，如果颁布，将要求负责准备和反应的助理部长研究如何使用人工智能工具来生产生物武器。各团体已发布报告，详细介绍了建立人工智能有效治理的建议，例如海伦娜项目报告，人工智能时代的生物安全.

为了涵盖人工智能工具影响生物威胁格局的所有方式，政策对话通常将通用聊天机器人与特定于生物学的人工智能生物设计工具组合在一起。了解每一类人工智能工具的工作原理、它们的功能和局限性以及它们在商业开发中的位置对于建立有效的治理非常重要。但最重要的是要认识到基于大型语言模型的聊天机器人和生物设计工具以截然不同的方式影响生物安全景观。因此，他们的治理应该独立考虑和发展。

大型语言模型驱动的聊天机器人。这些聊天机器人是大型语言模型和用户界面的组合。语言模型吸收大量数据，通常是人类语言的文本——从业者称之为“自然语言”。训练这些模型需要消耗大量的计算资源和时间，通常是几个月。通过这个过程，大语言模型学习了结构数据中语言的结构或语法，通常包含数千亿个参数。用户界面可以覆盖在模型上，从而生成易于使用的 AI 工具，例如 ChatGPT 、巴德或克劳德。根据训练数据中的信息，这些工具以类似人类的响应来响应用户的查询。由于训练数据通常是从互联网上获取的，因此这些聊天机器人的响应范围非常广泛，从餐厅推荐到编程代码中的错误修复。

基于大型语言模型的生物设计工具。这些应用程序比聊天机器人具有更具体的用途：它们旨在帮助完成生物工程任务不同程度的特异性。最近开发的基于大型语言模型的生物设计工具利用了与聊天机器人相同的方法，并被视为该方法的应用前景良好。生物特异性大语言模型不是在自然语言上训练大语言模型，而是在蛋白质的氨基酸序列或其他生物序列上训练。这导致应用程序输出生物序列，而不是自然语言。

这些工具可以了解生物分子的有利特性，并对有希望在实验室进行测试的选项提出建议，从而减少在找到具有所需特性的选项之前需要测试的选项数量。例如，UniRep 工具可帮助研究人员根据功能设计蛋白质，而 ESMFold 则可根据结构进行工程设计。例如，这两种工具都可以用来帮助更快地设计更好的疗法，以及改造生物体中的蛋白质，以改善生物制造的效率。

相关：

为了避免人工智能“军备竞赛”，世界需要扩大科学合作

除了蛋白质序列之外，还针对DNA 序列，甚至在聚糖（糖）序列，同时扩大其潜在的积极和消极影响。与聊天机器人不同，公开的生物设计工具通常缺乏用户界面并且需要计算机编程知识才能访问和使用，尽管我们正在努力使它们变得更容易使用。

对威胁形势的影响。正如麻省理工学院演示所证明的那样，通用聊天机器人可以让人们更轻松、更快速地访问容易出现的信息滥用。由于聊天机器人的输出基于其训练数据中的信息，因此目前不应将这些工具视为向恶意行为者提供新功能。例如，演示中的学生被要求使用 ChatGPT 来识别不属于国际基因合成联盟（一个合成基因组）成员的公司。 DNA 提供商致力于生物安全方面的最佳实践。人们的假设是，如果有人想要获取有害 DNA，从不属于该联盟的公司订购比从属于该协会的公司订购更有可能成功。正如预期的那样，ChatGPT 能够立即提供公司列表。但如果没有 ChatGPT，用户仍然可以获得相同的信息 - 通过在线搜索 DNA 合成提供商，然后将列表与联盟网站上列出的列表进行交叉检查。

一些聊天机器人已被设计不提供容易被滥用的响应，包括生物信息，但研究人员已经证明这些限制可以克服 .

然而，生物设计工具确实为用户提供了新的和改进的能力，这些能力可能被恶意地重新利用。目前，这些生物特异性工具一次可以设计生物分子的一种特性。这些工具可用于预测功能，范围从提高抗体变体的结合能力到改善蛋白质的荧光。它们可以输出一长串可能的选项，然后用户可以评估这些选项的其他属性，例如氨基酸序列。这使知识渊博的用户能够从本质上设计多个属性。

滥用的一个例子是使用生物设计工具来识别基于蛋白质的毒素，这些毒素预计在功能上与已知毒素相似，但在其他方面与发现的毒素有很大不同从本质上讲，传统的保护措施是无效的。

继续前进。在考虑聊天机器人和生物设计工具的治理时，认识到它们的差异非常重要。这样做将使未来的治理选择有所不同。短期内，聊天机器人的治理应侧重于防止用户访问容易被滥用的现有信息。整个人工智能社区正在不断努力实现这些目标，包括白宫概述的科技公司和负责任的人工智能组织等组织的自愿承诺中的目标情报研究所。在解决与聊天机器人相关的生物安全问题时，生物安全专业人员应帮助告知哪些类型的信息可能被滥用造成伤害。例如，Claude 背后的公司 Anthropic 与生物安全专家合作开发他们的聊天机器人。

相比之下，生物设计工具的治理应侧重于防止用户生成有害的新信息。可以通过社区规范和行为守则促进技术生物安全措施。这些措施将与现有的努力保持一致，例如天津生物安全科学家行为准则指南。在与生物设计工具并行的基于化学的场景中，研究人员能够稍微调整现有的化学设计工具，以最大化而不是最小化化学品的预测毒性。利用这些信息，研究人员能够识别化学物质的预测据说其毒性甚至比最强大的化学武器还要厉害。

相关：

最大遏制实验室的兴起

这种情况强调了恶意行为者可以相对轻松地重新利用最初为有益目的而构建的现有代码。但这并不意味着人工智能工具必须保持闭门状态。开发人员可以覆盖聊天机器人等用户界面，允许其他人按预期使用该工具，而无需更改代码。此类做法应在生物安全界进行讨论，并考虑纳入未来的指导方针和行为准则。

应采取其他治理措施，例如风险教育和提高生物设计工具的认识。然而，目前实际做到这一点还面临一些挑战。首先，需要开发和实施生物设计工具的分类框架，这将有助于确定适当的治理措施。基于大语言模型的生物设计工具只是生物设计工具的一种。其他生物设计工具，例如 AlphaFold2 和 Rosetta 不是基于大型语言模型构建的，但可以具有与基于大型语言模型的生物设计工具相同的应用程序。仅涉及基于大型语言模型的生物设计工具而不涉及具有类似功能的其他工具是不完整的。此外，生物设计工具在所需的用户专业知识程度（生物学和计算机编程方面）以及数据的类型和数量等方面也有所不同。考虑生物设计工具多方面前景的综合框架对于制定风险教育和提高认识举措非常有帮助。

此外，几乎没有经过同行评审的工作来分析生物设计工具当前对生物威胁格局的影响。生物设计工具的能力将随着时间的推移而增强，并且没有足够的风险评估框架来评估中长期影响。由于没有已发表的工作试图在专家之间就基于大型语言模型的生物设计工具对生物威胁景观的影响达成共识，政策制定者将发现很难就适当和相称的治理措施达成一致。 .

最后，世界上很少有人具备 diff 方面的专业知识人工智能、工程生物学和生物安全等新兴学科领域。这意味着该领域最有效、最全面的工作需要来自必须进行跨学科交流的专家团队。

开发基于大型语言模型的生物设计工具和聊天机器人的治理的紧迫性也存在差异。聊天机器人正变得越来越商业化和广泛传播，因此建立治理的窗口正在关闭。对于聊天机器人等成熟技术，出口管制或许可等更严格的治理措施通常比基于大型语言模型的生物设计工具等新兴技术更合适。在新兴的生物设计工具领域，我们仍然有时间了解其影响，并与技术开发人员合作，以确保未来的工具在构建时考虑到生物安全性，并在未考虑到生物安全性时提供举报渠道。

将基于大型语言模型的聊天机器人和基于大型语言模型的生物设计工具组合在一起时，确定一套适用于两者的治理措施将具有挑战性。这可能会给政策和科学界协调适当的治理措施带来障碍，并不必要地拖延减轻与聊天机器人相关风险的进展。需要开展大量工作来充分理解和传达生物设计工具的生物安全影响。如果对这两种应用之间的差异及其对生物威胁格局的影响认识不足，可能会导致对每种应用的治理不当或无效，同时损害有益的技术进步。

简介