9月号：人工智能的炒作、危险和承诺

通用动力X-62 VISTA（“飞行模拟器测试飞机可变稳定性”）实验飞机在飞行中。根据国防视觉信息分发服务局的说法，X-62及其亲属的一个应用是作为一架自动驾驶飞机，也许是作为载人飞机的机器人翼子板。图片来源：美国空军/Kyle Brasier

John Mecklin，2023年9月11日

通用动力X-62 VISTA（“可变稳定性飞行模拟器测试飞机”）实验飞机在飞行中。根据国防视觉信息分发服务局的说法，X-62及其亲属的一个应用是作为一架自动驾驶飞机，也许是作为载人飞机的机器人翼子板。图片来源：美国空军/凯尔·布拉西耶

纵观历史，技术的进步导致了国家间权力关系的变化，以及战争模式的变化。例如，19世纪末和20世纪初发生的工业革命导致了英国和德国作为世界大国的崛起，并在两次世界大战中发挥了重要作用。第二次世界大战是由内燃机和石油驱动的坦克、飞机和船只进行的；事实上，这场战争可以被视为主要集中在获取石油方面。如今，被视为最有可能从根本上重新安排全球权力关系的技术进步涉及到思考的机器和他们所训练的数据（导致一些媒体观察家将数据称为新的石油）。Paul Scharre在《四个战场：人工智能时代的力量》一书中详细调查了在人工智能领域争夺世界领导地位的斗争，主要是因为它与美中力量动态有关

Scharre是新美国安全智库中心的副总裁，也是一位新兴的军事技术专家，他通过分析对人工智能发展至关重要的四个领域的国家能力，打破了新生人工智能时代军事、经济和政治权力的竞争。这些地区（或者Scharre称之为战场）的中心是访问人工智能模型可以训练的大量数据；训练人工智能所需的计算硬件；各国在人工智能研究方面的人才；以及支持人工智能研究所需的教育、企业和政府机构。美国及其欧洲和亚洲盟友正在与中国争夺这些关键领域的领导权（或至少是能力）；不同的国家有不同的优势。正如Scharre在我们最近谈论他的书时所解释的那样，管理和谈判获得这些投入的成功努力可能是世界各地人工智能技术相对和平和安全发展的基础。历史上充满了当适应国家对抗的努力失败时可能发生的可怕屠杀的例子。然而，这一次，杀戮将随着机器的速度、精度、兴趣和效率而发生

编者按：为了可读性，本次采访经过了编辑和浓缩。

John Mecklin：你的书内容很广，用两三句话概括有点困难。所以，与其让我这么做，你为什么不告诉读者，他们中的很多人还没有读过你的书：总的主旨是什么？你想解释什么

Paul Scharre：本书的核心问题是：人工智能革命如何改变全球力量？人工智能是一种通用技术，很像电力、计算机网络或内燃机。当我们回顾过去的工业革命时，各国在全球舞台上的兴衰取决于它们工业化的速度

之前的工业革命甚至改变了衡量权力的关键指标。在第一次和第二次工业革命期间，煤炭和钢铁成为国家力量的主要投入。石油成为各国愿意为之开战的地缘战略资源。那么，在人工智能时代，这是什么呢？这本书的结论是，数据、计算硬件、人才和机构——能够将这些原始输入转化为有用应用的组织——是人工智能时代竞争的关键战场，以及全球竞争的其他领域

Mecklin：这本书似乎围绕着一个核心困境：美国如何竞争，实力-明智的是，在这样一个世界里，不与更专制的政权进行某种底层竞争？你为什么不谈谈美国如何避免成为人工智能的坏人之一

Scharre：这是一个核心困境，在整本书中以不同的方式一次又一次地出现。我来自华盛顿的一家智库，因此我在很大程度上是从以华盛顿为中心的心态来看待这个问题的，着眼于更广泛的美中地缘政治竞争，人工智能是其中的一个重要组成部分。当然，在美国国家安全领导人中，他们非常关注中国在人工智能方面的进展。中国是全球主要的人工智能强国。中国表示，他们的目标是到2030年成为人工智能领域的全球领导者。我认真对待他们的进球。他们肯定在努力提高学术界、政府以及中国国内工业界的人工智能能力

但我认为，这种竞争态势往往导致美国决策者采取不正当的激励措施。一个明显的例子是在面部识别领域。中国拥有世界上十亿个监控摄像头中的一半。我们越来越多地将人工智能用于面部识别或步态识别等工具

面部识别广泛应用的一个后果是，中国公司在技术成熟方面领先于美国公司。他们得到了更多的数据。他们有机会根据在现实世界中的部署来完善他们的系统和算法。而在美国，我们在全国各地的城市和州看到了反对面部识别的草根运动，在许多情况下，禁止执法部门使用面部识别。亚马逊、IBM和微软都暂停或完全退出了在美国执法中使用面部识别的游戏。我不认为这个结论是我们应该在美国建立一个带有面部识别的反乌托邦监控国家。但这是一个例子，中国共产党在内部以这种非常令人不安的方式使用人工智能来监视和监控其公民，这导致华盛顿担心落后于中国

这本书得出的结论之一是，当你更广泛地观察时，我不认为这是真的，不仅是面部识别，而且是人工智能的所有不同领域。我甚至不认为这只是在数据竞争的领域。但这是一种看法

我认为这涉及到的另一个领域是人工智能系统部署时的可靠性。我们已经看到，许多领先的人工智能公司都在安全方面走捷径，提前部署他们最先进的人工智能系统，无论是谷歌的Bard和微软的Sydney，Bing聊天人工智能，还是OpenAI的ChatGPT-4。当我们看到这些竞争动态开始导致一场安全竞赛时，这是一个相当令人不安的发展。我们需要设法扭转私营部门的这些激励措施。政府监管可能会发挥作用。但我认为这也是民族国家之间的担忧。例如，在军事领域，我们不希望看到美国和中国军方在准备好之前部署人工智能系统，然后冒着发生事故的风险

Mecklin：在我看来，从你写这本书时获得的访问权限来看，你是美国军方信任的人，会研究很多这些东西，我想得到你的评估：在加快人工智能的发展，以负责任的方式使用它，并避免不负责任的使用方式方面，美国军方在哪里？你真的获得了前所未有的访问权限

Scharre：是的，我很感激国防部在为这本书采访时给了我很多机会，特别是联合人工智能中心，它现在已经并入了新的首席数字和人工智能办公室（CDAO）

但当时，联合人工智能中心让我可以接触到他们的专家和项目经理，他们正在领导不同的人工智能项目。我认为，对我来说最突出的一件事是，国防部领导人谈论人工智能的方式与国防部实际正在做的事情之间存在巨大的脱节。国防部高层领导人经常谈论人工智能。如果你听他们的发言，你会认为国防部正在做很多事情，但当你真正审视他们正在做的事情时，这是非常少的，而且他们远远落后于私营部门

在担任国防部长期间，马克·埃斯珀在国会作证称，人工智能是他的首要任务。当你看的时候在预算中，国防部在人工智能方面的支出约占其预算的1%。有人可能会说这太低、太高或大约正确，但无论你如何划分，这都不是国防部的首要任务；这还不算太接近。所以我认为这一点很重要。令我感兴趣的是，在美国国家安全领导人中，人们一直非常害怕被私营部门真正开发的技术拒之门外，因为人工智能科学家和军方之间的文化和价值观脱节，或者至少是人们认为的脱节

这是几年前谷歌决定不继续在Project Maven上工作的结果，此前几名谷歌员工发表了一封公开信，抗议与军方合作。然后我们看到了亚马逊和微软员工的其他公开信

这导致了美国国家安全领导人的真正恐慌，他们将被商业部门推出的这项改变游戏规则的技术拒之门外

事实并非如此。事实上，我们已经看到包括谷歌在内的大型科技公司愿意与军方合作。我们看到了一大批新的以国防为重点的人工智能初创公司，我在书中谈到了这些公司专门面向国防领域

缓慢来自国防部内部。这是一个缓慢发展的官僚机构。这是很多繁文缛节。这是一个繁琐的采集系统。这就是美国军方实际采用的障碍所在

Mecklin：我很感兴趣的是，如何纠正这种情况，因为在硅谷，快速发展和突破性的事情可能会很棒。但你并不真的想在军事系统上这样做

Scharre：当然，“快马加鞭”的口号并不是国防部采购系统的运作方式。从技术角度来看，这是一种巨大的文化脱节

美国国防界一次又一次地出现的问题之一是需要更快地行动并承担风险。但值得注意的是，我们在承担什么风险。我不认为解决方案是在部署可能发生事故的人工智能系统时承担风险；这在很多方面都有问题。根据人工智能系统的不同，后果可能会很严重，包括生命损失，或者军事任务失败

此外，在系统准备就绪之前部署系统的一个后果是，它们可能会失去作战人员的信任，然后操作人员就会停止使用它们。我们在过去也看到过这种情况，大多数人经常过度信任人工智能系统和自动化。当他们失去信任时，往往会非常残酷，很难重新获得信任。人类会简单地说，“好吧，我不信任这个东西。我不会用它”，然后丢弃它。这在军事领域也发生过

因此，我认为在与非传统公司合作时承担风险是国防部需要承担风险的地方。冒着加快行动速度的风险来突破收购系统中的一些繁文缛节是有道理的。在“这个项目会成功吗？或者可能不会成功？”中冒险，这是新兴技术竞争的本质之一。投资者明白这一点；创业公司明白这一点。国防部也需要采取这种心态。但这并没有在测试方面承担风险。我认为那是不明智的

Mecklin：让我们在这里后退一两步。在整个国际安全领域，你谈到了过去的工业革命。在我看来，在某些方面，这些都在战争中发挥了作用——有时会引发战争。我的意思是，第二次世界大战在某些方面可以被视为一场争夺石油的战争。在我看来，人工智能也有可能以同样的方式激励战争。我的问题实际上是关于美国应对中国的战略。现在，你可以看到美国领导人试图与中国领导人进行高层会谈，同时我们也在积极阻止中国获得高科技所需的芯片。这似乎是政策上真正的脱节。你如何看待这种情况

Scharre：我认为，美国对中国的更广泛战略有着内在的紧张关系。华盛顿在过去几十年里从接触战略转向承认现实：中国是一个战略竞争对手。在与中国的技术、经济、政治和军事领域的竞争中，美国需要在一些领域努力保持领导地位

当然，在我看来，在中国周边的西太平洋拥有军事优势很可能会稳定该地区，使其减少中国很可能看到军事侵略的机会，无论是在南中国海，还是针对台湾，或东海，或其他地方。但是，当然，美国不希望与中国开战，中国也不会离开

因此，找到管理这种竞争的方法是美国决策者的首要任务。这也是他们寻求与中国进行高层会谈的原因之一。每当我们看到美中领导人之间的高层接触时，我认为，通过许多人对这场竞争的观察，我们都有希望开始看到美中关系的螺旋式下降

我不确定我们是否已经看到了。这是可能的。我们当然还没有看到解冻。我们可以满怀希望，也许这会到来。但我认为，目前还不清楚美中之间的糟糕情况会持续到什么程度，因为两国都清楚地将对方视为战略竞争对手

Mecklin：在最近的新闻中，有一系列来自人工智能领导者的公开信说，“世界末日就在我们身上，我们需要现在就行动”，或者其他什么。你的书探讨了人工智能的黑暗面，但它并没有专门讨论人工智能——接管世界的一般智能，天网之类的东西。你为什么不谈谈你对人工智能革命中我们现在必须解决的黑暗面的看法呢

Scharre：这本书在结尾时谈到了我们在人工智能方面看到的趋势和未来的可能性，特别是考虑到我们在非常大和非常有能力的模型中看到的一些增长，比如ChatGPT或其继任者GPT-4。这本书谈论人工智能风险的方式在很大程度上是基于当今的实际问题：面部识别、人工智能在战争中的使用、虚假信息以及我们可以看到的其他事情。关于人们应该把注意力集中在人工智能风险上，这个领域存在着巨大的争论——人们是应该关注我们看到的这些近期实际危害，还是应该关注如果人工智能系统继续改进，未来肯定会引起关注的长期危害。我不认为这些是不相关的现象。对我来说，它们源于这样一个现实，即我们正在建造我们真正不理解的能力越来越强的机器

即使是最优秀的人工智能专家，也没有人了解这些系统的实际功能。我们知道，他们使用大量计算硬件在大型数据集上进行训练，并且拥有庞大的神经网络。但要问，“为什么ChatGPT会这么说？”没有人知道。我们没有好的方法来真正询问系统，以了解它们为什么表现出某些类型的行为

太空中真正令人不安的现象之一是，当你看到人工智能科学家扩大他们用来训练最有能力的模型的数据和计算硬件的数量时，我们看到了性能的巨大提高。在系统的可靠性、安全性或可控性方面不一定有相应的增益。我们没有好的方法来预测何时会出现新的能力

例如，大型语言模型很健谈，它们往往会编造一些东西，或者有时被称为幻觉。通过使用强化学习进行更精细的调整，或者简单地扩展到更大的数据集和计算能力，这可能会变得更好

[但是]这个问题可能被证明是非常棘手的。我们不知道，我认为人工智能专家可能有猜测，但没有人知道；我们没有很好的方法来收集这方面的数据。我们已经看到，有一些证据表明，人工智能系统能够与人类进行战略竞争，比如Meta的人工智能系统Cicero，它在《外交》游戏中取得了人类水平的表现。至少有一些GPT-4似乎在欺骗人类用户的例子；这是一种轶事，可能还没有完全确定，但至少这种可能性似乎存在。随着模型的不断改进，我们没有很好的意识到，他们是否有可能追求对用户隐藏的目标，以欺骗用户的方式运作，或者试图操纵用户？没有人知道。聊天GPT没有接管世界的风险。这不是人们所关心的

但我认为，我们的发展轨迹在各个方面都令人担忧。我很同情那些说我们需要放慢速度，深呼吸，也许在继续让系统变得更强大之前，先努力让系统更安全、更可靠、更容易理解

Mecklin：你认为通过政府进行什么样的监管或管理实际上有效吗？以负责任的方式减缓技术的研究和向社会发布？我甚至很难过想象一下那会是什么

Scharre：这是一个棘手的问题；关于这个话题有很多争论。我确实认为，通过专注于硬件，有机会规范人工智能发展的前沿。最先进的系统是硬件密集型的，每次使用数千个非常专业的芯片运行数周或数月。这是一种你可以控制的物理资源

在20世纪，各国能够通过关注核武器的实物投入、武器级钚和铀的开发来控制核武器的扩散。我认为有一个类比，通过专注于训练最有能力的系统所需的物理硬件，并控制对其的访问和使用方式，可以获得一些对管理这些有能力系统扩散的能力的购买，然后建立关于如何测试或部署这些系统的监管制度。这可能看起来像是在部署之前对系统进行一些部署前测试，以寻找可能的危害。某种独立的红队，可以提供其中一些系统的外部视图。坦率地说，我们现在还没有更好的工具来分析系统，试图评估它们的性能

有趣的是，在私营部门，领先的人工智能实验室合作潜在地管理人工智能风险的一个担忧是，这样做可能会违反反垄断法规，这是一个令人着迷的问题。在这个地方，我认为一些政府的参与可能有助于说，“我们确实希望公司优先考虑安全，而不是在不清楚可能造成的危害的情况下将系统部署到世界上。”

Mecklin：我认为美国军方已经考虑将人工智能纳入军事指挥和控制系统，战场管理系统。这样做似乎有一种真正的动机，即能够更快地做出反应，更多地了解所有传感器的感知，据说这会带来更好的决策，但也有明显的危险。你对人工智能在战场管理中的应用有何看法

Scharre：至少在过去的15-20年里，美军一直希望将人工智能用于战场管理。在大多数情况下，这项技术还没有准备好。即使是做一些非常简单的事情，比如拥有协作自主权——由一个人亲自指挥无人机，由一个人指挥一组或一组可以相互协调的无人机——这也是可行的，尽管据我所知，这还没有部署。但是，人工智能的态势感知和战场管理并不仅仅是可能的

大型语言模型可能会改变这一点，我已经看到了一些早期的尝试。我认为我们才刚刚开始触及大型语言模型的实际功能；他们可能开始提供这种更广泛的上下文理解，而人工智能系统几十年来一直未能做到这一点，并且通过使用大型语言模型，能够获取不同的信息片段，并将它们编织成一个连贯的整体

因此，他们不会使用图像分类器来查看某个区域的传感器数据，并识别“这是一个机场，这是一架飞机，这是卡车，这是坦克”，然后获取这些数据，并在更高的级别上对其进行合成，试图对正在发生的事情有一些上下文理解。我认为，在未来几年里，我们可能会看到一些人工智能战场管理工具的早期开发，这些工具可以帮助指挥官获得更高的态势感知并处理所有通过的数据，而且看起来可能比依赖大型语言模型的业务流程自动化更复杂一些。但这在很大程度上取决于这些大型语言模型的能力，这在目前是一个巨大的未知数

Mecklin：我还有最后一个问题，这个问题有点模糊，但很重要：社会的这些发展可能会给普通民众带来极大的压力和不安，对吧？人们说，这是我见过的最可怕的东西；为什么我们不能停止这一切？所以我要问你：你对美国和世界能够管理人工智能总体上是乐观还是悲观

Scharre：我对未来非常乐观。我认为，也许有必要从每天都非常负面的头条新闻中退一步，承认从任何合理的衡量标准来看，这都是活着的最佳时机。人类的生活质量、寿命和健康寿命比任何时候都要好历史这在很大程度上要归功于技术，它使人们能够更好地健康、长寿和生活水平。这项技术也有风险。我们大多数人都会敏锐地意识到这一点，因为如果这些技术被用于不良用途，它们的力量往往是非常危险的——无论是核武器、生物武器，还是人工智能，如果它继续发展的话。因此，我认为我们应该意识到这些风险，并设法防范它们。但我认为长期趋势是非常积极的

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

关键词：人工智能、中国、国际安全、人工智能、聊天机器人、全球力量、大型语言模型
主题：artificial intelligence，人工智能的军事应用是《原子科学家公报》的主编。之前，他是Miller McCune的主编。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介