阅读我们的Oppenheimer收藏

作者Nate Sharadin|2023年6月8日

上个月，研究人员证明了使用生成人工智能（AI）系统在零监督的情况下自主设计、规划和执行科学实验是可能的。该系统编写了合成化学物质的指令，然后可以由远程实验室执行，在那里可以在没有任何人参与的情况下合成化学物质

另外，去年，研究人员报告了一种人工智能模型能够发现比VX更有毒的新化合物，VX是一种被广泛认为是有史以来发现的毒性最强的神经毒剂。其中一名研究人员在接受采访时表示，对他来说，“担心的是这件事有多容易”，“在一个可能很好的周末工作”，一个没有多少钱、受过培训、有点专业知识的人可以调整一个模型来产生令人担忧的结果

根据美国国立卫生研究院的说法，如果“方法、材料或结果可能被用来造成伤害”，那么研究是“两用的”。对人类病原体的功能获得研究就是滥用的一个例子。人工智能研究也是如此

令人担忧的人工智能研究滥用不仅限于合成危险的非法化合物，如VX。人工智能已经被部署来防御关键基础设施上的网络入侵，它也被用来开发破坏网络的新技术，但效果要差得多。但随着对网络安全人工智能的研究继续进行，目前倾向于防御性人工智能工具而非攻击性人工智能工具的平衡将继续下去，这将是一种乐观的预期。这在一定程度上是出于技术原因：为网络入侵设计的人工智能工具可能独立于命令和控制运行，使其在很大程度上不受现有检测技术的影响。这种平衡之所以不稳定，也是因为更为平淡的原因：开发攻击性人工智能系统的动机高达数十亿美元

滥用的机会甚至更大。人工智能已经成为私人和国家监控制度的一个组成部分。私人公司利用它将公民排除在他们的财产之外。国家行为者利用它来监视、监视和控制其公民，而这是仅靠人类特工无法实现的。如果威权主义依赖于检测规则遵守情况的能力，那么威权主义将变得更加有效。说更有效的威权主义是人工智能的糟糕结果是没有争议的

为什么有这么多机会滥用人工智能研究？人工智能研究实验室自己也暗示了答案。许多主要人工智能实验室的既定目标是在广泛的任务中实现并理想地超过人类水平的表现；实现这一目标的迭代成功可能导致人工通用智能（AGI）。但无论AGI的前景如何，情报是典型的两用能力，机器智能是典型的军民两用技术

人工智能研究容易被如此广泛的滥用，这一事实在透明度规范和减轻伤害风险的必要性之间产生了严重的、尚未解决的紧张关系。科学研究的透明度无疑是有价值的：它加快了发现，连接了学科，传播了信息，提高了可重复性，并奖励了准确性

因此，一个自然的想法是人工智能研究在任何情况下都应该在各个方面完全透明。这将是一个错误

研究人员早就认识到，有必要通过更广泛的责任来缓和透明度，以降低伤害风险。其他两用技术——尤其是那些像人工智能技术一样具有武器和生物医学应用的技术——包含了对透明度的现有限制。值得称赞的是，人工智能研究人员已经开始掌握人工智能的两用性质。但尽管朝着负责任地扣留特定研究工件（代码、训练程序、模型权重）的方向发展，围绕出版的规范对人工智能研究的轨迹不够敏感，人工智能研究在计算水平不断降低的情况下，在越来越广泛的任务上具有越来越强大的能力

研究人员并不是唯一能够降低研究中滥用风险的人。但他们在这个问题上有特殊的影响力：他们可以选择公开报告研究的哪些部分

假设人工智能研究人员正在真诚地努力履行他们的职责，我们可以从当前的实际实践中推断出他们对这些职责的现有看法。但正如我们所指出的，目前的做法显然包括透明地报告研究（或提供相对不受限制的研究成果），足以使其他研究人员利用这项研究推导出致命化合物的配方。以任何合理的标准来看，这种程度的道德谨慎都过于松懈

更严格的标准更有吸引力。我们应该从法律中借用一种思考这个道德问题的方法。在法律上，违约的三重概念、重新评估违约的标准和这样做的程序是熟悉的。例如，默认情况是人们是无辜的；重新评估的标准是被指控犯有该罪行；重新评估的程序是刑事审判。借用：默认情况是人工智能研究容易被滥用（因此不应公开）；重新评估的标准是对研究透明的决定；程序是…嗯，什么，确切地说

在不选择任何唯一正确的程序的情况下，该程序——就像与刑事司法系统相关的程序一样——应该是广泛可信的。确保程序可信的最简单方法是准确说出程序是什么，然后由可信的行为者执行。实现这一点的一种方法是聘请独立审查员（“红队”）来评估（和认证）一个人的研究是否符合公开发布的相关道德标准

例如，考虑一下为我们提供当今现代大型语言模型的研究——将“T”放在GPT中的论文，或生成预训练的转换器。这篇论文中报道的研究使其他科学家，包括OpenAI的科学家，能够开始大规模、快速地在庞大的数据集上训练能力强大的大型语言模型。因此，事实证明，这项研究普遍容易被滥用，因为它所提供的技术使研究人员能够构建广泛容易被滥用的系统。因此，基于刚才提出的理由，今天的默认做法应该是不发表那篇论文。同样，这是因为，正如我所建议的，所有人工智能研究都容易被滥用，因此默认情况应该始终是禁止发表。这并不意味着该论文不应该或不会发表；相反，这意味着是否这样做的问题应该受到一个（可信的）程序的约束，以确保它不易被滥用

但是支持透明度的原因是什么呢？他们如何权衡停止发表人工智能研究的理由？相关原因大致有两种：语用原因和认识原因。例如，发表文章有一个（务实的）原因，包括为投资者炫耀，吸引顶尖人才，以及以其他方式炒作自己的研究。我想没有人认为这种务实的理由足以证明公布可能产生有害后果的结果是合理的。认识论考量的相对权重更为复杂；这里的重点并不是说透明度没有一些认识上的好处，比如让其他研究人员能够从自己的工作中学习。相反，问题是，这些认识上的好处目前没有与可预测的未来滥用相关的道德成本进行适当的权衡

研究人员有很多想法。因此，他们的实验室可以考虑通过建立一个自动化的过程来减轻个体研究人员的道德负担，通过这个过程，能力和基础研究受到一些可信的程序的约束，比如只是草图。这样做的成本相对较低；更好的是，它廉价地表明实验室认真对待自己的责任

我预计在未来几个月内，将看到在人工智能研究方面投入巨资的商业实体走上这条道路。保密性的提高将受到一些人的不信任，尤其是那些关心民主监督的人。但不透明的研究报告与民主治理并不矛盾，就像生物武器研究的保密与民主治理不矛盾一样；因为它降低了风险，研究人员可能会欢迎它。

《公告》将专家的声音提升到了噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：人工智能，军民两用，透明
主题：Artificial Intelligence，颠覆性技术

复制链接链接复制的
电子邮件
Twitter
LinkedIn

Nate Sharadin香港大学哲学家，人工智能安全中心研究员，他在道德问题上工作。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介