阅读我们的Oppenheimer系列

作者William Regli|2018年4月25日

<源尺寸=（最大宽度：1024px）100vw，1024px srcset=https://thebulletin.org/wp-content/uploads/2018/04/ai-article-3-featured-1024x683.jpg.webp1024w，https://thebulletin.org/wp-content/uploads/2018/04/ai-article-3-featured-300x200.jpg.webp300w，https://thebulletin.org/wp-content/uploads/2018/04/ai-article-3-featured-768x512.jpg.webp768w，https://thebulletin.org/wp-content/uploads/2018/04/ai-article-3-featured-555x370.jpg.webp555w，https://thebulletin.org/wp-content/uploads/2018/04/ai-article-3-featured.jpg.webp1300w type=images/webp> height=683

在对人工智能及其假设威胁的公开焦虑中，应该更多地关注人工智能娱乐对我们的大脑和文明构成的威胁

“所谓的完美娱乐……娱乐的危险如此之好，以至于会杀死观众……娱乐是存在的。”

--《无限玩笑》（1996），David Foster Wallace，第318-319页

我还没有尝试过任何严肃的增强现实游戏。像“神奇宝贝Go”这样的东西实际上让我有点害怕

我有一段几年前关于另一款热门电子游戏的记忆。我从一位医生朋友那里听说过：“它叫涂鸦跳跃，让人上瘾！”他警告我。事实上，在苹果iPhone应用商店中导航到它的入口时，人们可以看到外科医生通常为香烟等产品贴上的标签：“涂鸦跳跃。小心：疯狂上瘾！”和“警告！涂鸦跳跃会上瘾，会让你失去大量的一天。”，我下载了涂鸦跳跃，后来我才知道这是克罗地亚两兄弟（Igor和Marko Pusenjak）在车库里工作的产物。我看到它有一个可爱的中心主角，滑稽的对手，有节奏的游戏，轻轻地抚摸着我大脑中的多巴胺受体。我玩了。我玩了。我玩了。已经多久了？我的涂鸦者摔倒了，我重新开始。我肯定可以做得更好吗

涂鸦跳跃于2009年4月6日发布……或者说是在“受抚养的成年本科生年”（YDAU）的4月6号，如果我们按照已故大卫·福斯特·华莱士（又名“DFW”）1996年的巨著《无尽的玩笑》的“增加收入的补贴时间”年表来看的话<《无尽的玩笑》是一部关于人类状况的后现代评论，以成瘾、网球和所谓的娱乐为中心《娱乐》是一部由一位导演执导的电影，是他的最后一部电影，它是如此引人注目，如此令人着迷，以至于它完全吸引了那些观看它的人，以至于他们忘记了所有其他事情，变得紧张不安，并最终因盯着屏幕而死亡。我开始怀疑，在这条线的非小说方面，我们是否已经进入了娱乐的时代，如果是，我们应该有多担心。

适合4岁以上儿童的涂鸦跳跃，自发布以来已被下载超过1000万次。报告显示，《精灵宝可梦Go》在推出的头七天内被下载了1500多万次

越来越多的新闻报道和学术讨论对致命的自主武器（有时被称为“杀手机器人”）、失控的人工通用智能（AGI）和机器感知的可能性对人类构成的潜在生存威胁感到担忧。一些人甚至试图在致命的人工智能或AGI与核武器的存在对人类构成的威胁之间建立一种类比对等。事实上，这篇文章所包含的一揽子计划是与一个研讨会协调创建的，该研讨会研究了如果人工智能遇到核武器可能会出现的问题。人工智能和机器学习的发展轨迹指向了可能的（一些会说“很可能”）创造出更自主、更不完全由人类控制的武器系统。尽管这些都是令人严重关切的问题，但我们可以发现大量证据表明，威胁自治的生存时代尚未到来（见http://www.rand.org/pubs/research_reports/RR443-2.html例如），在一大批同样直言不讳的科学家的意见中（见https://rodneybrooks.com/blog/)，可能还有一段路要走。
在所有关于人工智能及其假设威胁的公开焦虑中，我确实发现令人担忧的是，关于人工智能娱乐对人类构成的潜在威胁的讨论（尤其是在主流计算机科学文献中）是多么的少，或者关于实现娱乐的计算和通信技术可能对我们的大脑和文明造成的影响。事实上，与杀手机器人或未来AGI的任何潜在威胁相比，人工智能授权的大娱乐是否更值得我们立即关注

2016年《精灵宝可梦Go》等事件进一步证明了我们已经生活在娱乐时代：电视节目专为疯狂观看而设计，点击流优化以最大限度地提高我们的点击率，注入广告来吸引我们的眼球。产品被推荐给我们，让我们不用考虑自己购买。我们的社交媒体订阅源和新闻文章的文本是自动合成的。可广泛访问的增强现实和虚拟现实的兴起，创造了新的机会。DFW设想的未来生活超越娱乐业的状态已经跨越了小说/非小说的界限娱乐存在

希望我们对我们开发的技术有更好的科学理解。我已经开始认为计算机科学家需要对正在发生的事情承担适当的责任。从哪里开始

人们可能会认为，研究网络成瘾、与计算机沉浸式行为相关的认知过程、身份形成的生理学等问题是精神病学家、人类学家和医生的事情，而不是计算机科学家的事情。我们没有以分析的方式解决这些问题，而是往往天真地冲向它们，因为我们的技术创造具有高度成瘾性，有助于制定伟大的商业计划。毕竟，证明你可以将一种新形式的数字成瘾货币化，可能会引发一轮伟大的“a系列”筹款活动——无论这种成瘾对社会有多危险或出乎意料

这里出了问题，我认为这些问题应该是计算机科学的核心问题。想想核科学的早期，以及我们对这些现象的理解是如何演变的。玛丽·居里（Marie Curie）把镭放在桌子抽屉里，恩里科·费米（Enrico Fermi）以著名的漠不关心，在芝加哥大学足球场下操作了第一个核反应堆。在吸取了许多教训后，核科学家自己也对核材料有了了解，并确定了应如何监管核材料，以及需要进行哪些培训才能安全处理核材料

在计算领域，我们开始看到围绕密码学、网络安全和网络武器的控制。但据我所知，《艺人》的发行以及人工智能和机器学习技术在其创作和发行中发挥的核心作用没有这样的规定和控制

在当今的计算机科学领域，这种控制和安全措施可能采取什么形式？要想把这个问题摆到桌面上，还需要说服软件工程师，他们的编程产品（游戏、在线广告技术等）可能需要被视为与生物工程生命形式和放射性材料一样的潜在危险。尽管并非所有软件都会对健康造成潜在危害，但创建安全或“危险”软件所需的编程基本技能是相同的。任何软件和编程专业人员的教育都需要在学科的技术和科学背景下探索这些问题

许多以计算机和设备为基础的技术带来了道德困境，这些道德困境触及了我们职业社会道德准则的核心。例如，电气和电子工程师协会（IEEE）的道德准则第1条：“在做出符合公众安全、健康和福利的决策时承担责任，并及时披露可能危及公众或环境的因素。”计算机械协会的准则在第一句话中说，“作为ACM成员，我将……为社会和人类福祉做出贡献，”稍后，“避免对他人的伤害。”我们的技术创造所带来的道德和社会影响需要成为教育和培训计算机专业人员的支柱。此外，我们需要创造一些话语方式，通过这种方式，我们可以客观地评估这些技术及其可能产生的社会挑战性问题，并以符合我们对个人自由和言论自由权利的重视的方式进行评估

因此，扩展“计算机科学”传统概念的必要性变得显而易见：当涉及到基于计算的娱乐时，我们甚至能回答有关公众安全、健康和福利的问题吗？我们会通过什么方式客观地给某些东西贴上“危险”的标签或给它打分？我所说的评级并不是指主观评级（PG、G、NC-17等），也不是指关于电子游戏、电视、电影等危险性的广泛但有争议的研究文献。鉴于丘奇-图灵论文是计算机科学的一个基本原则，那么我们就可以承认人脑是一种计算机。当我们部署The Entertainment时，我们真正要做的是对人机系统进行编程——程序的一部分运行在计算机中的硅上，另一部分则运行在人类大脑中的碳和化学物质上。其他工程领域的评级基于严格的科学标准：我们行驶的桥梁是根据荷载进行评级的；对车辆的耐撞性进行了仿真和物理测量；药物有推荐剂量；我们的飞机要经过严格的飞行测试。当我们对人机系统进行编程时，我们需要发展必要的计算机科学来评估潜在的风险和危害

让我们选择一个乐观的观点，至少目前是这样。鉴于我们正处于共生人机系统时代的悬崖边，如何以积极的方式部署the Entertainment的技术，也许可以更好地将人类的集体智慧能量引导到令人敬畏的事物中？在早期核时代，艾森豪威尔总统提出了“原子促进和平”倡议，类似的积极精神无疑是那些认真研究人类计算、众包和其他人机团队方法的人关注的焦点。毕竟，《精灵宝可梦Go》的成功之一是让孩子和成年人出去跑步，在物理世界中互动，而不仅仅是把自己粘在屏幕上。我看到了一个巨大的机会前景，但要充分探索它，我们需要扩大“计算机”的概念，将基于碳的概念包括在内：我们不再只是为计算机编程；相反，我们正在编程一个人机系统

当我们进行这项全球范围的、不受控制的社会科学实验，将我们的生活与人工智能计算机错综复杂地联系在一起时，我们的物种会发生什么变化？我想起了曼哈顿计划中一个著名的Strangelovian脚注：科学家们观察到，在科学上，点燃原子弹的裂变反应引发地球大气层中氮原子核之间的聚变反应是合理的，因此，会产生一场焚烧整个地球的地狱。虽然这样的结果被认为可能性很小，但洛斯阿拉莫斯的科学家们实际上研究了这个问题，并用他们的科学来计算可能发生的事情，最终否定了这种特殊的世界末日可能性

然而，尽管有些人担心不存在也可能不可能创造有感知能力的人工智能（AGI），但作为一个社会，我们正在向分散、操纵、编程和娱乐我们的数字技术投入数千万至数亿美元。一周内下载1500万次Pokeman Go？有什么科学可以计算出这一点，或者评估这种社会连锁反应的最终状态？如果一家娱乐公司被武器化，会是什么样子？我们可以想象一个旨在对人机系统的人类方面产生持久影响的系统，通过化学方式改变我们的大脑，制造观点，强化模式，并加剧不符合我们个人或集体利益的行为。令人担忧的是，这样的场景不需要想象力娱乐存在

我希望我们迄今为止在娱乐领域进行的非受控实验的结果将是一个净的积极结果。但是，如果AGI和自主武器技术构成的潜在威胁值得目前的讨论水平和紧迫感，那么我们似乎也需要对the Entertainment的技术和道德进行更紧迫、更激烈的讨论。我们必须发展新的计算机科学和的道德和伦理规范娱乐计算机科学学科和我们社会的当务之急

我们需要从现在开始…。就在我把皮卡丘从门廊上拿下来之后

在对人工智能及其假想威胁的公开焦虑中，应该更多地关注人工智能娱乐对我们的大脑和文明构成的威胁

“所谓的完美娱乐……娱乐的危险如此之好，以至于会杀死观众……娱乐是存在的。”
--《无限玩笑》（1996），大卫·福斯特·华莱士，第318-319页
我还没有尝试过任何严肃的增强现实游戏。像“神奇宝贝Go”这样的东西实际上让我有点害怕

我有一段几年前关于另一款热门电子游戏的记忆。我从一位医生朋友那里听说过：“它叫涂鸦跳跃，让人上瘾！”他警告我。事实上，在苹果iPhone应用商店中导航到它的入口时，人们可以看到外科医生通常为香烟等产品贴上的标签：“涂鸦跳跃。小心：疯狂上瘾！”和“警告！涂鸦跳跃会上瘾，会让你失去大量的一天。”，我下载了涂鸦跳跃，后来我才知道这是克罗地亚两兄弟（Igor和Marko Pusenjak）在车库里工作的产物。我看到它有一个可爱的中心主角，滑稽的对手，有节奏的游戏，轻轻地抚摸着我大脑中的多巴胺受体。我玩了。我玩了。我玩了。已经多久了？我的涂鸦者摔倒了，我重新开始。我肯定可以做得更好吗

涂鸦跳跃于2009年4月6日发布……或者说是在“受抚养的成年本科生年”（YDAU）的4月6号，如果我们按照已故大卫·福斯特·华莱士（又名“DFW”）1996年的巨著《无尽的玩笑》的“增加收入的补贴时间”年表来看的话<《无尽的玩笑》是一部关于人类状况的后现代评论，以成瘾、网球和所谓的娱乐为中心《娱乐》是一部由一位导演执导的电影，是他的最后一部电影，它是如此引人注目，如此令人着迷，以至于它完全吸引了那些观看它的人，以至于他们忘记了所有其他事情，变得紧张不安，并最终因盯着屏幕而死亡。我开始怀疑，在这条线的非小说方面，我们是否已经进入了娱乐的时代，如果是，我们应该有多担心。
适合4岁以上儿童的涂鸦跳跃，自发布以来已被下载超过1000万次。报告显示，《精灵宝可梦Go》在推出的头七天内被下载了1500多万次

越来越多的新闻报道和学术讨论对致命的自主武器（有时被称为“杀手机器人”）、失控的人工通用智能（AGI）和机器感知的可能性对人类构成的潜在生存威胁感到担忧。一些人甚至试图在致命的人工智能或AGI与核武器的存在对人类构成的威胁之间建立一种类比对等。事实上，这篇文章所包含的一揽子计划是与一个研讨会协调创建的，该研讨会研究了如果人工智能遇到核武器可能会出现的问题。人工智能和机器学习的发展轨迹表明，可能（有人会说“很可能”）创造出更自主、更不完全由人类控制的武器系统。尽管这些都是令人严重关切的问题，但我们可以发现大量证据表明，威胁自治的生存时代尚未到来（见http://www.rand.org/pubs/research_reports/RR443-2.html例如），在一大批同样直言不讳的科学家的意见中（见https://rodneybrooks.com/blog/)，可能还有一段路要走。
在所有关于人工智能及其假设威胁的公开焦虑中，我确实发现令人担忧的是，关于人工智能娱乐对人类构成的潜在威胁的讨论（尤其是在主流计算机科学文献中）是多么的少，或者关于实现娱乐的计算和通信技术可能对我们的大脑和文明造成的影响。事实上，与杀手机器人或未来AGI的任何潜在威胁相比，人工智能授权的大娱乐是否更值得我们立即关注

2016年《精灵宝可梦Go》等事件进一步证明了我们已经生活在娱乐时代：电视节目专为疯狂观看而设计，点击流优化为最大限度地提高我们的点击率，通过注射广告来吸引我们的眼球。产品被推荐给我们，让我们不用考虑自己购买。我们的社交媒体订阅源和新闻文章的文本是自动合成的。可广泛访问的增强现实和虚拟现实的兴起，创造了新的机会。DFW设想的未来生活超越娱乐业的状态已经跨越了小说/非小说的界限娱乐存在

希望我们对我们开发的技术有更好的科学理解。我已经开始认为计算机科学家需要对正在发生的事情承担适当的责任。从哪里开始

人们可能会认为，研究网络成瘾、与计算机沉浸式行为相关的认知过程、身份形成的生理学等问题是精神病学家、人类学家和医生的事情，而不是计算机科学家的事情。我们没有以分析的方式解决这些问题，而是往往天真地冲向它们，因为我们的技术创造具有高度成瘾性，有助于制定伟大的商业计划。毕竟，证明你可以将一种新形式的数字成瘾货币化，可能会引发一轮伟大的“a系列”筹款活动——无论这种成瘾对社会有多危险或出乎意料

这里出了问题，我认为这些问题应该是计算机科学的核心问题。想想核科学的早期，以及我们对这些现象的理解是如何演变的。玛丽·居里（Marie Curie）把镭放在桌子抽屉里，恩里科·费米（Enrico Fermi）以著名的漠不关心，在芝加哥大学足球场下操作了第一个核反应堆。在吸取了许多教训后，核科学家自己也对核材料有了了解，并确定了应如何监管核材料，以及需要进行哪些培训才能安全处理核材料

在计算领域，我们开始看到围绕密码学、网络安全和网络武器的控制。但据我所知，《艺人》的发行以及人工智能和机器学习技术在其创作和发行中发挥的核心作用没有这样的规定和控制

在当今的计算机科学领域，这种控制和安全措施可能采取什么形式？要想把这个问题摆到桌面上，还需要说服软件工程师，他们的编程产品（游戏、在线广告技术等）可能需要被视为与生物工程生命形式和放射性材料一样的潜在危险。尽管并非所有软件都会对健康造成潜在危害，但创建安全或“危险”软件所需的编程基本技能是相同的。任何软件和编程专业人员的教育都需要在学科的技术和科学背景下探索这些问题

许多以计算机和设备为基础的技术带来了道德困境，这些道德困境触及了我们职业社会道德准则的核心。例如，电气和电子工程师协会（IEEE）的道德准则第1条：“在做出符合公众安全、健康和福利的决策时承担责任，并及时披露可能危及公众或环境的因素。”计算机械协会的准则在第一句话中说，“作为ACM成员，我将……为社会和人类福祉做出贡献，”后来，“避免对他人的伤害。”我们的技术创造所带来的道德和社会影响需要成为计算机专业人员教育和培训的支柱。此外，我们需要创造一些话语方式，通过这种方式，我们可以客观地评估这些技术及其可能产生的社会挑战性问题，并以符合我们对个人自由和言论自由权利的重视的方式进行评估

因此，扩展“计算机科学”传统概念的必要性变得显而易见：当涉及到基于计算的娱乐时，我们甚至能回答有关公众安全、健康和福利的问题吗？我们会通过什么方式客观地给某些东西贴上“危险”的标签或给它打分？我所说的评级并不是指主观评级（PG、G、NC-17等），也不是指关于电子游戏、电视、电影等危险性的广泛但有争议的研究文献。鉴于丘奇-图灵论文是计算机科学的一个基本原则，那么我们就可以承认人脑是一种计算机。当我们部署The Entertainment时，我们真正要做的是对人机系统进行编程——部分程序在计算机的硅上运行，部分程序在人类大脑中的碳和化学物质。其他工程领域的评级基于严格的科学标准：我们行驶的桥梁是根据荷载进行评级的；对车辆的耐撞性进行了仿真和物理测量；药物有推荐剂量；我们的飞机要经过严格的飞行测试。当我们对人机系统进行编程时，我们需要发展必要的计算机科学来评估潜在的风险和危害

让我们选择一个乐观的观点，至少目前是这样。鉴于我们正处于共生人机系统时代的悬崖边，如何以积极的方式部署the Entertainment的技术，也许可以更好地将人类的集体智慧能量引导到令人敬畏的事物中？在早期核时代，艾森豪威尔总统提出了“原子促进和平”倡议，类似的积极精神无疑是那些认真研究人类计算、众包和其他人机团队方法的人关注的焦点。毕竟，《精灵宝可梦Go》的成功之一是让孩子和成年人出去跑步，在物理世界中互动，而不仅仅是把自己粘在屏幕上。我看到了一个巨大的机会前景，但要充分探索它，我们需要扩大“计算机”的概念，将基于碳的概念包括在内：我们不再只是为计算机编程；相反，我们正在编程一个人机系统

当我们进行这项全球范围的、不受控制的社会科学实验，将我们的生活与人工智能计算机错综复杂地联系在一起时，我们的物种会发生什么变化？我想起了曼哈顿计划中一个著名的Strangelovian脚注：科学家们观察到，在科学上，点燃原子弹的裂变反应引发地球大气层中氮原子核之间的聚变反应是合理的，因此，会产生一场焚烧整个地球的地狱。虽然这样的结果被认为可能性很小，但洛斯阿拉莫斯的科学家们实际上研究了这个问题，并用他们的科学来计算可能发生的事情，最终否定了这种特殊的世界末日可能性

然而，尽管有些人担心不存在也可能不可能创造有感知能力的人工智能（AGI），但作为一个社会，我们正在向分散、操纵、编程和娱乐我们的数字技术投入数千万至数亿美元。一周内下载1500万次Pokeman Go？有什么科学可以计算出这一点，或者评估这种社会连锁反应的最终状态？如果一家娱乐公司被武器化，会是什么样子？我们可以想象一个旨在对人机系统的人类方面产生持久影响的系统，通过化学方式改变我们的大脑，制造观点，强化模式，并加剧不符合我们个人或集体利益的行为。令人担忧的是，这样的场景不需要想象力娱乐存在

我希望我们迄今为止在娱乐领域进行的非受控实验的结果将是一个净的积极结果。但是，如果AGI和自主武器技术构成的潜在威胁值得目前的讨论水平和紧迫感，那么我们似乎也需要对the Entertainment的技术和道德进行更紧迫、更激烈的讨论。我们必须将新计算机科学的发展以及TheEntertainment的道德和伦理规范作为计算机科学学科和我们社会的当务之急

我们需要从现在开始…。就在我把皮卡丘从门廊上拿下来之后

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

主题：人工智能的军事应用
分享：[addthis tool=addthis_inline_Share_toolbox]
WONDERFUL帖子。感谢分享。。更多等待

William Regli是克拉克工程学院系统研究所所长，计算机科学教授。。。阅读更多
版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策
1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介