编者按：本文受《原子科学家公报》委托发表，也发表在《连线》上

加拿大蒙特利尔——蒙特利尔小意大利的主干道两旁是咖啡馆、酒吧和糕点店，这些店延伸到绿树成荫的住宅小街上。几代农民、屠夫、面包师和鱼贩在附近的大型露天市场MarchéJean Talon出售从农场到餐桌的商品。但这个安静的飞地也容纳了一个现代化的、90000平方英尺的全球人工智能中心，名为米拉-魁北克人工智能研究所。Mila声称拥有世界上最集中的深度学习学术研究人员，包括1000多名研究人员和100多名教授，他们与来自全球的100多个行业合作伙伴合作

Mila的科学总监Yoshua Bengio是人工神经网络和深度学习的先驱，深度学习是一种受大脑启发的机器学习方法。2018年，Bengio、Meta首席人工智能科学家Yann LeCun和前谷歌人工智能研究员Geoffrey Hinton因“使深度神经网络成为计算的关键组成部分的概念和工程突破”而获得图灵奖，被称为计算领域的“诺贝尔奖”。这三位计算机科学家被称为“人工智能教父”，Bengio向美国参议院的一个小组委员会发表了讲话，该小组委员会正在考虑可能的立法来监管快速发展的技术。在那里，他解释说，他和其他顶尖的人工智能研究人员已经修改了他们对人工智能何时可以达到人类广泛认知能力水平的估计

Bengio告诉参议员们：“以前人们认为这可能需要几十年甚至几个世纪的时间，现在我们相信这可能需要几年或几十年的时间。”。“更短的时间，比如说五年，真的很令人担忧，因为我们需要更多的时间来有效缓解对民主、国家安全和我们集体未来的潜在重大威胁。”，Bengio和我坐在他的办公室里，讨论了关于人工智能的引人注目的头条新闻中的细微差别、人工智能研究人员的禁忌，以及为什么顶级人工智能研究者可能对人工智能可能给人类带来的风险持不同意见。为了清晰起见，本次采访经过了编辑和浓缩

苏珊·达戈斯蒂诺：今年5月，英国广播公司的一个标题宣称，你对自己一生的工作感到“失落”。但你在博客中写道，你从未发表过这样的声明。尽管如此，你似乎在深刻反思。你会如何描述你正在经历的事情

Yoshua Bengio：我说了一些与此相关的话，但细微之处已经消失了

整个冬天，我对自己的工作、目标和优先事项的看法发生了剧烈的转变。我在BBC采访中以及后来在博客中试图表达的是：这并不是说我迷路了。我在质疑并意识到，也许我没有注意到一些重要的事情，这不仅是智力上的，也是情感上的

我读过一些关于生存风险的著作至少有十年了。我所在小组和附近的学生都在谈论这件事。在技术层面上，我非常认真地对待斯图尔特·拉塞尔2019年出版的《人类兼容：人工智能与控制问题》一书。我在想，“哦，是的，这是人们应该关注的事情。”但我真的在想，”这在遥远的未来。“我可以继续我的道路，因为我所做的将是有用的，而且在科学上很重要。我们希望了解人类和动物的智力，并建造能够帮助我们应对各种重要和困难挑战的机器。所以，我继续工作，没有改变我的工作方式

但整个冬天，我意识到双重用途的性质和失去控制的可能性非常严重。这可能比我预想的要早得多。我不能再忽视这个了。我不得不改变我正在做的事情。此外，我不得不谈论它，因为直到最后几个月，很少有人——甚至在人工智能社区——认真对待这些问题。特别是，我和杰弗里·辛顿（Geoffrey Hinton）等其他一些人比那些谈论这件事的人得到了更多的倾听，他们比我们更早地意识到了这些风险的重要性

这里有一个心理方面。你以一种特殊的形式构建你的身份或你生活的意义。然后有人告诉你，或者你通过推理意识到，你描绘自己的方式与现实不符。你忽略了一些非常重要的事情。我理解为什么我的许多同事很难首先为自己接受这样的事情，然后有勇气说出一些（来自人工智能的潜在灾难性威胁），而这些事情在我们的社区中一直是禁忌

这很难。人们在不同的时间或不同的费率走这条路。没关系。我很尊重我的同事，他们和我看事情的方式不同。一年前我也在同一个地方

D’Agostino：这个禁忌在早期——甚至今天——是如何在人工智能研究界表达的

Bengio:那些谈论生存风险的人基本上没有在主流科学场所发表文章。它有两种方式。他们在试图交谈或提交论文时遇到了阻力。但同时，他们大多背弃了所在领域的主流科学场所

过去六个月发生的事情正在打破这一障碍

D’Agostino：你的进化恰逢公众对大型语言模型的认识不断提高，这是由OpenAI在2022年底发布的ChatGPT引发的。起初，许多公众对ChatGPT感到惊讶，甚至感到害怕。但现在，有些人对此不以为然，《大西洋月刊》发表了一篇题为“ChatGPT比你想象的更笨”的报道。在最近的一场美国共和党总统辩论中，克里斯·克里斯蒂告诉维韦克·拉马斯瓦米，他“今晚已经受够了一个听起来像ChatGPT的人。”？不管怎样，你现在认为ChatGPT是一个笑点吗

本吉奥：我的轨迹与你所描述的相反。我想了解并弥合当前人工智能与人类智能之间的差距。ChatGPT缺少什么？它在哪里失败？我试图设置一些问题，让它做一些愚蠢的事情，就像我在ChatGPT发布后的几个月里的许多同龄人一样

在我玩它的头两个月里，我感到欣慰的是，我相信它仍然缺少一些基本的东西。我并不担心。但在玩够了之后，我意识到这是一个令人惊讶的进步。我们的行动比我预想的要快得多。我的印象是，修复缺失的东西可能不需要太多时间

每个月我都会想出一个新主意，这可能是打破这一障碍的关键。这还没有发生，但可能会很快发生——也许不是我的团队，但可能是另一个团队。也许这需要10年的时间。通过研究，你可能会觉得自己很接近，但可能会有一些你没有考虑到的障碍

如果我们合并我所研究的是表示极其复杂的概率分布的能力，这就是为什么，以及以更合理的方式学习和使用如此惊人数量的信息的能力，那么我们可能非常接近。以直观的方式使用信息的能力对应于我和其他人所说的“系统一能力”。缺少的一层薄薄的能力，即“系统二能力”，是推理能力

我开始思考，如果在一年内，我们弥合了这一差距，然后扩大了规模，会怎么样？会发生什么

达戈斯蒂诺：

你意识到这一点后做了什么

Bengio:三月底，在【生命未来研究所】的第一封信【呼吁人工智能实验室立即暂停大型人工智能实验】发出之前，我联系了Geoff【Hinton，他与Bengio和LeCun一起获得了图灵奖】。我试图说服他在信上签字。我惊讶地发现，我们独立得出了同样的结论

达戈斯蒂诺：这让我想起了伊萨克·牛顿和戈德弗里德·莱布尼茨同时独立发现微积分的时候。多重独立发现的时机成熟了吗

Bengio:别忘了，我们已经意识到别人已经发现了一些东西

此外，Geoff认为数字计算技术比大脑具有根本优势。换言之，即使我们只找出足以解释我们大部分智能的原理，并将其应用于机器中，机器也会自动比我们更聪明，因为技术上的东西，比如阅读大量文本的能力，以及比人类更快的集成能力，比如速度快数万或数百万倍

如果我们要弥合这一差距，我们就会有比我们更聪明的机器。这实际上意味着什么？没人知道。但你可以很容易地想象，在编程、发起网络攻击或设计生物学家或化学家目前手工设计的东西方面，他们会比我们更好

在过去的三年里，我一直致力于科学的机器学习，特别是应用于化学和生物学。目标是帮助设计更好的药物和材料，分别用于抗击流行病和气候变化。但同样的技术也可以用来设计致命的东西。这种意识慢慢积累起来，我在信上签了名

D’Agostino：你的清算引起了很多关注，包括BBC的文章。你过得怎么样

本吉奥：媒体迫使我说出所有这些想法。这是一件好事。最近，在过去的几个月里，我一直在思考我们在政策方面应该做什么。我们如何减轻风险？我也一直在考虑对策

有些人可能会说：“哦，Yoshua想吓唬人。”但我是一个积极的人。我不像人们说的那样是个傻瓜。这是一个问题，我正在考虑解决方案。我想和其他可能有东西要带的人讨论一下。关于提高人工智能能力的研究正在飞速发展，因为现在有很多——很多——更多的资金投资于此。这意味着减轻最大的风险是当务之急

达戈斯蒂诺：我们有关于核风险的法规和国际条约，但例如，朝鲜不在谈判桌上。我们真的能控制人工智能带来的风险吗

Bengio:根据我们最终的集体谨慎程度，我们可以或多或少地通过国家法规和国际条约来控制风险。与核条约一样，各国都要有最低标准，这一点很重要。人工智能可能造成的危害不受国界的限制

不能百分之百保证不会发生任何坏事。即使我们有一个国际条约，禁止人工智能比某种程度上更强大，也会有人不尊重这些限制。但是，推迟10年就好了。届时，我们可能会改进我们的监控。我们可能会加强防御。我们可能会更好地了解风险

目前需要大量的资金和专门的硬件来构建。现在，你不可能在不被注意的情况下大量购买GPU（图形处理单元）这样的硬件，但政府并没有跟踪谁在购买什么。他们可以从这样做开始。美国已经对这些东西实行了出口管制，如果中国和朝鲜想参加这场竞赛，这将对他们造成伤害

时间至关重要，监管可以降低灾难发生的概率，或者同等地，推迟真正糟糕的事情发生的时间。或者将可能发生的事情的幅度

不幸的是，在广岛和长崎投下炸弹确实是各国政府不顾冷战而坐到谈判桌前并愿意讨论的原因。我希望在采取行动之前，我们不需要经历那种程度的灾难。但事情可能会发展到这个地步

达戈斯蒂诺：公众喜欢谈论通用人工智能。你认为这可能在一夜之间发生吗？还是有一个连续体

本吉奥：有一个连续体。绝对地我过去不喜欢这个词，因为我认为完全通用的智力不可能像20年前那样存在。但现在人们理解它的方式和媒体使用它的方式只意味着“一个擅长很多事情的人工智能系统”。

从危害的角度来看，它是否在所有方面都比我们好并不重要。也许有一场比赛我们赢了。如果他们在可能伤害我们的事情上比我们好，谁在乎（我们能赢的比赛）？重要的是他们在可能造成伤害的领域的能力。这就是我们应该关注的——而不是“哦，我们有AGI”的一些超级定义。即使我们在设计时考虑到了恶意目标，这也可能是危险的

D’Agostino：人工智能和气候变化之间是否存在潜在的相互作用，从而带来风险

Bengio:人工智能应该主要有助于气候变化。我不认为人工智能会将气候变化作为武器，除非我们出现失控的情况。那么，改变气候可能是（人工智能）加速我们毁灭或对社会造成严重破坏的一种方式

达戈斯蒂诺：但是机器怎么能改变气候呢

Bengio:这是一个重要的问题。很多人对（人工智能风险）的担忧做出了回应，他们说：“计算机在现实世界中怎么能做任何事情？这都是虚拟的。我们理解网络攻击，因为它都在机器中。”

但这很简单。计算机上发生的事情会以多种方式影响我们。首先，我们的许多经济基础设施都依赖于计算机——我们的通信、供应链、能源、电力和交通。想象一下，如果这些事情中的许多都因为网络攻击而失败。它可能不会摧毁所有人，但它可能会使社会陷入混乱，痛苦的程度可能是巨大的

考虑到人工智能系统在操纵和理解语言方面的进展，我们可能在几年内拥有可以影响人类的人工智能系统，这也是有道理的。他们可以说服我们为他们做事

把阴谋论者当作一个类比。人工智能系统在互联网上可能是松散的。在那里，它可以开始在社交媒体上与人们玩游戏，试图看看什么样的对话能成功地改变人们对某事的看法。这可能会让我们采取一些小行动，再加上其他行动，可能会产生灾难性的结果。这是合理的

当然，也许这不会发生。也许我们有足够的防御能力，也许人类很难说服我们。但近年来我所看到的一切阴谋论都让我觉得我们很有影响力。也许不是每个人都是，但也不是每个人必须是。它只需要足够多的人或足够多的当权者来有所作为，创造灾难性的结果。所以，人类可能会做肮脏的工作

达戈斯蒂诺：所以，人类的无知是致命的弱点。我们是否可能在其他方面受到人工智能的攻击

Bengio:这里有另一个更简单的[威胁]，它甚至不需要对目前不存在的东西有那么多的信念。人工智能系统可以收买人们去做一份工作。犯罪组织做你要求他们为钱做的事情，他们不会问钱从哪里来。即使是现在，一个人或一台机器也很容易通过电脑进入暗网

如果我们至少展望未来五年，我们也有可能找到机器人。现在，我们有善于视觉的机器。我们也有擅长语言的机器。机器人的第三条腿是控制——有一个你可以控制的身体来实现目标。在机器人的机器学习方面有很多研究，但它还没有像过去十年我们在语言和视觉方面那样有突破性的时刻。但它可能比我们想象的来得更快

D’Agostino：在机器人领域取得突破性进展的障碍是什么

Bengio:[在机器人领域]，我们没有现有的数据规模，例如语言和图像。我们没有部署1亿个机器人，可以像处理文本那样收集大量数据。即使在不同文化之间，文本也是有效的。你可以混合不同语言的文本，并利用所有语言的结合。机器人还没有做到这一点。但是有足够钱的人可以在未来几年内做到这一点。如果是这样的话，那么人工智能就会脚踏实地

现在，一个变得无赖和自主的人工智能系统仍然需要人类来获得电力和零件。它现在需要一个正常运转的人类社会。但这种情况可能在十年内改变。我们可能不应该指望这能保护我们。

D’Agostino：告诉我你对人工智能与核风险或生物安全的潜在相互作用的担忧

Bengio:我们真的想避免让人工智能系统容易控制核武器的发射。人工智能在军队中是非常危险的，甚至是存在的。我们需要加快禁止致命自主武器的国际努力

一般来说，我们应该让人工智能远离任何可能迅速造成伤害的东西。生物安全可能比人工智能带来的核危险更危险。许多公司会收到你发给他们的一份文件，其中指定了DNA序列，然后对一些细菌、酵母或病毒进行编程，这些细菌、酵母和病毒的代码中会包含这些序列，并生成相应的蛋白质。它很便宜。它很快。通常，这是有益的——例如，创造新药。但这样做的公司可能没有技术手段知道你发送给他们的序列可能被恶意使用

我们需要人工智能和生物技术方面的专家来制定这项法规，以将这些风险降至最低。如果你是一家老牌制药公司，那没关系。但不应该允许车库里的人创造新物种

D’Agostino：你认为你和其他顶尖人工智能研究人员之间的明显分歧有什么意义，包括你的图灵奖联合获得者Yann LeCun，他没有签署生命未来研究所的信，关于人工智能的潜在危险

Bengio:我希望我能更好地理解为什么在价值观、理性和经验方面意见一致的人会得出如此不同的结论

也许是一些心理因素在起作用。也许这取决于你来自哪里。如果你在一家公司工作，该公司正在宣传人工智能将是好的，那么可能很难像我一样扭转局面。杰夫在发言前离开谷歌是有充分理由的。也许心理因素并不总是有意识的。这些人中的许多人都是真诚的

此外，要想思考这些问题，你必须进入许多科学家试图避免的思维模式。我所在领域和其他领域的科学家喜欢公开发表基于非常确凿证据的结论。你做了一个实验。你重复10次。你有统计上的信心，因为它是重复的。在这里，我们谈论的是更不确定的事情，我们不能进行实验。在过去，我们没有10次危险的人工智能系统出现的历史。说“好吧，这是在我可以自信地说某事的区域之外”的姿势是非常自然和容易的。我理解。

但风险如此之大，我们有责任展望不确定的未来。我们需要考虑潜在的情况，并思考可以做些什么。其他学科的研究人员，如伦理科学或社会科学，在不能做实验的时候会这样做。即使我们没有关于事情将如何发展的数学模型，我们也必须做出决定。科学家去那个地方很不舒服。但因为我们知道别人不知道的事情，我们有责任去那里，即使这很不舒服

除了那些持有不同意见的人之外，还有绝大多数沉默的研究人员，由于这种不确定性，他们没有足够的信心以某种方式采取立场

D’Agostino：你在Mila的同事对你对自己一生工作的看法有何反应

Bengio:Mila最常见的反应是人们最担心人工智能目前的危害——与歧视和人权有关的问题。他们担心，谈论这些未来的、听起来像科幻小说的风险会分散对正在发生的不公正现象的讨论——权力的集中、缺乏多样性以及少数民族或其他国家的人民的发言权，而这些人正是我们所做一切的接受者。

我完全支持他们，只是这不是其中之一。我们必须处理所有的问题。在这方面取得了进展。人们明白放弃生存风险，或者我更喜欢称之为灾难性风险，是不合理的。[后者]并不意味着人类已经消失，但可能会带来很多痛苦

也有其他声音——主要来自行业——说：“不，别担心！让我们来处理！我们会自我监管，保护公众！”这种非常强烈的声音对政府有很大的影响力

那些觉得人类有损失的人不应该内讧。他们应该异口同声，促使政府采取行动。正如我们已经就核武器和气候变化的危险进行了公开讨论一样，公众需要意识到还有另一种危险具有类似的潜在风险

D’Agostino：当你想到人工智能威胁人类的潜力时，你会在哪里陷入绝望和希望的连续体

本吉奥：什么是正确的词？在法语中，这是无礼。这是一种感觉，有一个问题，但我无法解决它。它比这更糟糕，因为我认为它是可以解决的。如果我们都同意一个特定的协议，我们完全可以避免这个问题

气候变化也类似。如果我们都决定做正确的事情，我们现在就可以解决这个问题。这会有成本，但我们可以做到。人工智能也是如此。我们可以做一些事情。我们都可以决定不建造我们不确定安全的东西。这很简单

但这与我们的经济和政治制度的组织方式背道而驰。要做到这一点似乎非常困难，除非发生灾难性的事情。也许人们会更认真地对待它。但即便如此，这也很难，因为你必须说服每个人都要举止得体

气候变化更容易。如果我们只说服99%的人表现良好，那也没关系。有了人工智能，你需要确保没有人会做危险的事情

“Powerless”，我认为，是impuisant的翻译

我并不是完全无能为力，因为我会说话，我可以努力说服别人朝着正确的方向前进。我们可以采取一些措施来降低这些风险

监管并不完美，但它可能会减缓速度。例如，如果世界上被允许操纵潜在危险的人工智能系统的人数减少到几百人，那么风险可能会降低1000多倍。这是值得做的，也没那么难。我们不允许任何人驾驶客机。我们规范飞行，这大大降低了事故率

即使我们找到了建立安全的人工智能系统的方法，从维护民主的角度来看，它们也可能不安全。它们可能仍然非常强大，如果你是人类，力量就会进入你的大脑。所以，我们可能会失去民主

D’Agostino：你是如何从一个安全但强大的人工智能系统的存在跳到失去民主的

Bengio:例如，它可以从经济主导地位开始。我并不是说公司不能做有用的事情，但他们的使命是支配他人并赚钱

如果一家公司在某个时刻在人工智能方面取得更快的进展，它可能会在经济上接管。他们提供的一切都比任何人都好，而且便宜得多。然后他们用他们的权力来控制政治，因为这就是我们的制度运作的方式。在这条道路上，我们可能会以世界政府独裁而告终

这不仅仅是关于规范人工智能的使用以及谁可以访问。如果我们失去控制，人工智能系统有自己的目标，我们需要为人们或人工智能系统滥用这种权力的那一天做好准备

达戈斯蒂诺：你对我们如何更好地准备有什么建议吗

Bengio:在未来，我们需要一个人类防御组织。我们在每个国家都有国防组织。我们需要在国际上组织一种方式来保护自己免受可能毁灭我们的事件的影响。

这是一个长期的观点，需要很多时间才能让多个国家就正确的投资达成一致。但现在，所有的投资都发生在私营部门。没有任何公共利益目标可以保护人类

公告将专家的声音提升到噪音之上。但作为一个独立的非营利组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：ChatGPT，生命未来研究所，米拉，图灵奖，Yoshua Bengio，人类防御组织
主题：人工智能，颠覆性技术，面试

复制链接
Facebook
推特
领英“如果一家公司在某个时刻在人工智能方面取得更快的进展，它可能会在经济上接管。他们提供的一切都比其他任何人更好、更便宜。然后他们利用自己的权力控制政治，因为这就是我们系统的工作方式。”
我有时想知道那些担心人工智能的人是否真的担心必须修复系统。有点像反对哲学家国王的论点

“如果一家公司在某个时刻在人工智能方面取得更快的进展，它就可以在经济上接管一切。他们提供的一切都比其他任何人都好、便宜得多。然后他们利用自己的权力控制政治，因为这就是我们系统的运作方式。在这条道路上，我们可能会以世界政府独裁告终。”，即使是像本吉这样有思想的人，也不具备思考现实世界的能力。在这个假设中，唯一重要的是一家糟糕的公司是否“在经济上接管”。这是一个非常好的思考实验，但…
Susan D'Agostino是一位科学作家和数学家，她的故事发表在《大西洋月刊》、《连线》、，《科学美国人》、《华盛顿邮报》、《英国广播公司科学焦点》、《Quanta杂志》、《自然》、《金融时报》、《Undark杂志》、和。。。阅读更多
版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策
1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介