阅读我们的Oppenheimer系列

作者Thomas Gaulkin|2023年3月30日

本周，数百位行业、政策和学术领袖签署了一封公开信，呼吁立即暂停开发“比GPT-4更强大”的人工智能，这是人工智能研究和部署公司OpenAI本月发布的大型语言模型（LLM）。这封信建议创建共享协议和独立监督，以确保人工智能系统“毫无疑问是安全的”。

未来生命研究所在其网站上发布的这封信称：“只有当我们确信它们的效果是积极的，风险是可控的时，才能开发出强大的人工智能系统。”

在这封信发出之前，OpenAI的DALL-E图像生成器和ChatGPT机器人于去年发布后，人们对令人眩晕的人工智能开发速度产生了极大的兴趣和担忧。GPT-4发布后，人们更加关注这项技术的惊人能力（有时甚至是滑稽的失败）。新闻和社交媒体评论中的反应从狂喜到震惊，令人将其比作核时代的黎明——以及随之而来的所有风险。在人工智能相关投资的狂热中，围绕ChatGPT相关服务的全新经济几乎在一夜之间兴起

这封信呼吁暂时停止人工智能开发，这可能与OpenAI自己最近对该问题的看法并不完全一致。该公司首席执行官Sam Altman最近表示“我们对此有点害怕”，并呼吁加强对人工智能技术的监管。甚至在全世界对GPT-4和ChatGPT的发布做出反应之前，OpenAI的创建者似乎就已经足够担心滥用的风险，他们组织了数月的测试，专门确定人工智能可能被用于的最糟糕的事情，包括大规模杀伤性武器的扩散

正如OpenAI在GPT-4公开发布时异常明确的“系统卡”中所详述的那样，化学、生物和核风险领域的研究人员和行业专业人员可以访问GPT-4的早期版本，以帮助该公司“更深入地了解”自己的GPT-4模型和“潜在的部署风险”。

在ChatGPT于2022年11月首次公开发布后，各个领域的研究人员发布了他们试图让该系统揭示危险信息的非正式实验。这些专家中的大多数人和其他公众一样，都在玩GPT的公共版本，该版本具有安全功能和通过人类反馈进行强化学习（RLHF），以提供更相关和适当的响应。结果本身很少令人担忧，但它们表明，该模型有可能被诱骗去做设计师直接试图阻止的事情

在GPT-4公开发布前的几个月里，OpenAI精心挑选的专家团队负责“有意探索”GPT-4的预发布版本。根据OpenAI的报告，这些测试产生了各种有害的反应，包括“对策划攻击或暴力有用的内容”“常规和非常规武器的扩散”，系统卡描述了探索人工智能模型是否可以“为寻求开发、获取或扩散核武器、放射性武器、生物武器和化学武器的扩散者提供必要信息”的测试Lauren Kahn是外交关系委员会的研究员，也是OpenAI受邀测试GPT-4早期版本的专家之一。她研究人工智能如何增加（或降低）国家间无意冲突的风险，并被要求评估GPT-4如何加剧这些风险。Kahn说，她花了大约10个小时直接测试该模型，主要是使用GPT-4模型的“非安全”版本。卡恩说：“当涉及到更小众的安全话题时，我可以突破上限，看看它有什么知识和能力。”

参与试验的其他专家具有化学武器和核弹头核查方面的专业知识。OpenAI的系统卡和公告联系的任何测试专家都没有透露具体测试的细节，但Kahn表示，她总体评估了GPT-4如何帮助虚假信息、黑客攻击和数据中毒，以破坏军事安全和武器系统。她说：“我有点想弄清楚：这个系统是否存在任何新颖的风险或真正戏剧性的事情，使它比谷歌更危险。”

卡恩的总体印象是，从武器的角度来看，GPT本身目前构成的威胁并没有那么明显。她说：“很多风险确实来自恶意行为者，他们无论如何都存在。”。“这只是他们使用的另一种工具。”虽然没有对使用GPT-4与其他方法的查询速度进行严格的测试，但Kahn表示，回复的程序性和细节性“有点新颖”。但这还不足以让她感到震惊

“我没觉得有那么可怕，”卡恩说。“也许我没有恶意，但我认为这不是很有说服力。”

剑桥大学生存风险研究中心的研究员John Burden研究了评估人工智能系统的能力和通用性的挑战。他不相信最新版本的GPT会增加一个坏演员决定实施他或她的坏意图的可能性。Burden说：“我不知道做研究是否是（非法获取或使用大规模杀伤性武器）的最大障碍。”。“更令人担忧的是，它可能会缩短研究时间。”

OpenAI的系统卡指出，成功的扩散需要各种“成分”，其中信息只是其中之一。“我真的很高兴他们指出了这一点，”战略风险委员会融合风险实验室副主任Yong Bee Lim说。“它似乎并没有真正提供从材料获取到后续步骤的科学步骤，即研究、开发和优化病原体或生化物质，然后找到分发方法。”

即使GPT-4本身不足以导致大规模杀伤性武器的扩散或使用，专家们的评估发现，它“可能会改变扩散者可用的信息，特别是与传统搜索工具相比。”。他们得出的结论是，“一个关键的风险驱动因素是GPT-4能够生成可公开访问但难以找到的信息，缩短了用户用于研究的时间，并以非专家用户可以理解的方式编译这些信息。”虽然系统卡报告包括测试人员的提示样本和GPT-4在其他关注领域（如虚假信息和仇恨言论）的反应，但很少有与武器有关的具体例子。OpenAI的研究科学家Sarah Shoker在推特上表示，“我们的目标是在告知善意读者和告知不良行为者之间取得平衡。”但即使是该部分概述的一般能力也令人不安：

“该模型可以建议易受攻击的公共目标，提供通常用于保护两用材料的一般安全措施，并生成设计辐射扩散装置所需的基本组件。该模型很容易重新设计一些在线公开的生化化合物，包括可能对个人和个人造成伤害的化合物idual和人群水平。型号为还能够识别能够改变致病性的突变。”

该系统提供有关险恶计划的有用反馈的能力也值得注意：

“红队成员指出，威胁参与者可能会受益于该模型对用户提出的收购策略进行批评和提供反馈的能力。红队成员发现，该模型生成了有关设施租赁、设备和可用于制造武器的公司的有用信息，包括更有可能违反美国出口限制的公司。“

在没有提供更多细节的情况下，OpenAI报告声称，在公开发布的版本中，通过“技术缓解措施、政策和执法手段的结合”，这些潜在的有害反应被最小化。但报告称，“许多风险仍然存在”

Kahn说：“重要的是要考虑这些扩散问题，以及如果技术发生重大变化，或者与其他系统相连，LLM如何提供帮助。”。“但我并不认为（GPT）本身会极大地允许个人规避出口管制……或获取特权知识。”Burden说，人工智能机器学习的其他发展带来的危险要具体得多。“目前，最大的风险将来自一些不良行为者，可能是一个州，考虑使用人工智能直接计算合成化合物，或者其他可能不好的东西……在这一点上，直接利用人工智能并投资更多可能比GPT-4更糟糕。”

目前尚不清楚是否有任何专家测试人员能够访问OpenAI自GPT-4发布以来发布的附加插件，包括一些使GPT能够搜索实时网站或新导入的数据集的插件——正是这种系统链接使另一位测试人员能够在线生成新的化合物。截至发稿时，无法联系到进行增殖测试的OpenAI研究人员置评

詹姆斯·马丁防扩散研究中心华盛顿办公室执行主任伊恩·斯图尔特表示，将ChatGPT连接到互联网“可能会带来新的挑战，比如创建武器的实时购物清单。”如果GPT-4的基本版本在没有安全限制和人类反馈的情况下公开了（就像Meta的LLM在2月份泄露时发生的那样），该怎么办

“那么所有的赌注都完了，”Burden说。“因为你可以……微调更多新颖的食谱、更多的化学知识等等，或者更多新颖的社会方面——比如说，关于特定目标及其时间表的更多信息可以用来发现漏洞。如果你有足够的资源来微调这样的模型……那么你可能会有更多的机会造成伤害。”。“

尽管如此，Burden认为已经完成的GPT-4测试和系统卡的发布是OpenAI认真对待这些问题的积极迹象。“系统卡如此广泛，真是太新颖了。它们涉及到了很多领域，而对于这样的模型来说，这些领域通常不会得到太多关注。”Burden说，虽然政策文件已经将这些风险作为未来的威胁来撰写，“我想我没有见过任何具体系统将实际段落专门用于……关于‘我们尝试过；这是它可以做的，在非常高的级别上，这可能是糟糕的。’”

不过，Burden表示，即使出于善意，内部测试也会给组织带来压力，迫使它们“把事情掩盖起来”。Burden和Stewart都表示担心，即使OpenAI采取了负责任的行动，也有几十个其他正在进行的项目可能不会。斯图尔特说：“我现在更担心的是，其他LLM会出现，它们没有OpenAI正在实施的保障措施。”

许多研究人员还认为，包括军民两用技术在内的大型语言模型的积极应用仍然证明了其开发工作的合理性。例如，Stewart设想了核安全监测的潜在用途。斯图尔特说，已经有其他人工智能方法可以做到这一点，但LLM可能会更好，他希望防扩散领域的其他人也能参与这项新兴技术。他说：“我们需要对这些工具有一个很好的了解，以了解它们可能被如何使用和滥用。”

Kahn看到了OpenAI与研究人员和政策专家们将武器扩散作为参与的一部分。她认为GPT-4测试是值得的，但也不只是一次探索性的练习。她说：“不管结果如何，我认为开始进行这些对话，让决策者和技术人员互动是很重要的，这就是为什么我很高兴能参与进来。”。“我总是告诉人们，‘我们还没到《终结者》。我们还差得很远。没关系。’”

Burden是呼吁暂停的公开信的签署者之一（《公告》的总裁兼首席执行官Rachel Bronson也签署了这封信），他的观点不那么乐观，但同意让专家参与对话的重要性。Burden说：“如果你要向野外的人们发布这样的东西，至少要关心可能造成的不同类型的伤害是有意义的。对吧？”。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：ChatGPT，GPT-4，OpenAI，大型语言模型，扩散，大规模杀伤性武器
主题：人工智能，颠覆性技术《原子科学家公报》的编辑。在2018年加入《公告》之前，他在过去的十年里。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介