阅读我们的Oppenheimer系列

作者：Kerstin Vignard|2018年4月26日

<源尺寸=（最大宽度：1024px）100vw，1024px srcset=https://thebulletin.org/wp-content/uploads/2018/04/ai-article-4-new-featured-1-1024x489.jpg.webp1024w，https://thebulletin.org/wp-content/uploads/2018/04/ai-article-4-new-featured-1-300x143.jpg.webp300w，https://thebulletin.org/wp-content/uploads/2018/04/ai-article-4-new-featured-1-768x367.jpg.webp768w，https://thebulletin.org/wp-content/uploads/2018/04/ai-article-4-new-featured-1-600x287.jpg.webp600w，https://thebulletin.org/wp-content/uploads/2018/04/ai-article-4-new-featured-1.jpg.webp1200w type=images/webp> height=489

为什么联合国关于致命自主武器管理的讨论需要科学和研究界以及私营部门代表的更多参与。仅仅发出警报是不够的

4月9日，日内瓦联合国恢复了关于日益自主的技术武器化的外交讨论。这些会谈是在1980年《特定常规武器公约》框架内进行的，始于2014年，是一系列非正式会议；自2017年以来，他们以一种更正式的形式召开会议，称为“政府专家组”。

所有参加会谈的国家代表团都提供军备控制专业知识，但只有少数代表团配备了人工智能、机器人或其他相关技术领域的技术专家

因此，重要的是，2017年8月，人工智能和机器人领域的研究人员以及这些领域的公司创始人在给公约的一封公开信中敦促公约缔约方“防止这些武器的军备竞赛，保护平民免受滥用，并避免这些技术的破坏稳定影响。”。“

公开信无疑表明，签署方对人工智能和机器人技术在未来武器系统中的应用怀有严重担忧：“我们没有太长时间采取行动。一旦这个潘多拉的盒子打开，就很难关闭。”

签署方特别提到了他们对敲响自主武器警报的责任感。事实上，科学家和技术人员长期以来一直在创造暴力工具和倡导限制和控制这些工具方面发挥作用。当科学家和技术人员今天对人工智能的武器化表示担忧时，他们强烈地唤起了另一批杰出的梦想家的行动，他们在60多年前和类似的历史背景下警告过核武器的危险

1955年发表的《罗素-爱因斯坦宣言》是著名科学家在东西方国际紧张局势加剧以及通过军事和秘密行动日益干涉国家内政之际发表的一份公开宣言。这也是一个以革命性的科学进步和技术创新为特征的时期

该宣言源于物理学家Joseph Rotblat和博学者Bertrand Russell对核武器的影响、核扩散风险和人类未来的担忧。也就是说，作者们想对使用核武器的潜在灾难性后果以及保留核武器给人类带来的生存风险敲响警钟。该宣言的11位签署者包括几位世界上最杰出的科学家。其中10位是诺贝尔奖获得者，因其对物理学、化学、生理学和医学、文学或和平的贡献而受到表彰

该宣言在伦敦发布，引起了人们的极大关注，并成为成立Pugwash科学与世界事务会议的催化剂，该组织的活动旨在成为“科学家、学者和有经验的个人之间的沟通渠道”政府、外交和军队深入讨论和分析科学与世界事务交叉点上的问题和机遇。”尽管Pugwash在1995年因其在核裁军方面的努力而获得诺贝尔和平奖，但许多人认为该宣言对核裁军的最终影响是有限的

宣言中最经久不衰的一句话是“记住你的人性，忘记其他人。”然而，在今天关于国际安全、科学和技术的辩论中，另一段话（尽管它使用了20世纪50年代的性别语言）引起了深刻的共鸣：

著名的科学界人士和军事战略权威人士发出了许多警告。他们谁也不会说最坏的结果是肯定的。他们所说的是，这些结果是可能的，没有人能确定它们不会实现。我们还没有发现专家们对这个问题的看法在任何程度上取决于他们的政治或偏见。据我们的研究表明，它们只取决于特定专家的知识程度。我们发现，最了解的人是最悲观的

需要明确的是，并非所有科学界成员都相信自主武器的潜在危害——尽管到目前为止，那些被说服的人呼声最高。科学界的成员也没有对人工智能的潜在好处或更广泛的技术创新感到悲观。他们深信并热衷于确保人工智能有益于社会，最终有益于人类。事实上，科技界正在采取的几项举措试图在限制人工智能危害的同时，塑造人工智能的潜在好处。其中包括2015年《关于稳健和有益人工智能研究优先事项的公开信》和《IEEE自主和智能系统伦理全球倡议》中阐述的研究议程。其他举措包括，在多边层面，2017年人工智能促进美好全球峰会；以及OpenAI、人工智能伙伴关系等组织的工作

然而，科学界的成员是最了解人工智能研究中对自主武器系统有影响的基本开放问题的人。这些包括但不限于可解释性（即，理解系统如何到达其输出的能力，而不是允许其作为“黑匣子”运行）；训练数据和模型易受偏见影响；意外操作环境导致的故障；以及面对对手精心编制的输入或训练数据时的脆弱性。武器系统的自主性远不是这些悬而未决的问题带来棘手问题的唯一领域。但对于自主武器来说，挑战尤其严峻

解决这些悬而未决的问题将是让社会在人们的日常生活中接受人工智能不可或缺的一部分——接受人工智能在医疗诊断和治疗计划、车辆安全、欺诈和其他犯罪活动检测、儿童适应性学习技术以及刑事司法系统中更大的公平性方面的改进，仅举几个好处。正如科学家和研究人员致力于在这些悬而未决的问题上取得进展一样，他们也最有资格向他人通报未知或未解决的问题，并从人工智能产生“令人惊讶”或“出乎意料”的结果中学习，无论这些结果是积极的还是消极的

今天，科学家、技术人员和更广泛的研究界是科学技术对国际安全影响的重要声音，就像60年前他们是核问题的风向标一样。然而，如果决策者要利用这一关键知识，就武器系统等重要问题做出合理的政策决定，决策者和科学界就需要更有效地相互接触。对于科学家来说，仅仅发布公开信是不够的，以将他们的技术知识用于国际政策讨论

科学界和研究界可以用不同于在宣传领域工作的其他人的声音说话。例如，法律学者不仅表达了他们的担忧并提出了政策回应；他们详细阐述了武器系统的更大自主权对国际人道主义法和国际人权法提出的具体问题。哲学家们对具体的伦理方法进行了权衡。科学和研究界从远处发出的宣言和警告有可能被视为宣传而非基于技术和科学知识。因此，科学界可能会错过一个机会，以只有它有资格做出的独特贡献来丰富国际对话

自2014年以来，包括科学家、工程师和研究人员在内的许多非政府专家被邀请在大会上发言。例如，在去年的讨论中，主席优先考虑了技术“评估”，并邀请了相当多的科学专家在会议上发言。然而，除了受邀发言的科学家之外，很少有科学家选择作为观察员出席会议。他们应该考虑利用这个机会。按照军备控制的标准，该公约的框架向非政府观察员开放，令人耳目一新，并为科学界提供了一个迄今为止未得到充分利用的机会，帮助形成国际社会对自主武器系统的理解和最终监管。观察员经常有机会在会议上发言以及组织会外活动。活跃在“制止杀人机器人运动”和国际机器人军备控制委员会中的著名研究人员和科学家就是这样做的。科学和研究界、专业技术协会以及私营部门的代表更大程度地参与公约的工作是非常可取的

就参与致命自主武器政府专家组的国家而言，它们应该欢迎科技界更积极的参与，因为他们的参与可以为讨论带来更严格的科学性和清晰度，并缩小技术理解的差距。各国政府可以利用本国的专门知识，邀请非政府科学专家参加其代表团，并鼓励更多的研究人员和科学家注册为观察员

科学界和研究界对自主武器的讨论作出了重要贡献。这些女性和男性凭借非凡的眼光和技术技能，创造了改变人们生活方方面面的技术。现在，他们中的一些人正在利用自己的远见和实质性知识，对武器系统自主性增强的潜在风险和不确定性提出警告。如果社会称赞他们有能力想象和创造大多数人口袋里的私人助理，以及许多人希望在路上看到的自动驾驶汽车，但当他们敦促谨慎对待相关技术的武器化时，却选择性地忽视了他们的专业知识、经验、知识和本能，或者指出需要进一步反思、更深入的理解或更大的确定性

现在是时候超越宣言和公开信，在政策制定者和科学技术界之间进行更有成效的接触了。在《罗素-爱因斯坦宣言》发表60年后，世界各地的科技领袖再次就科学创新是否以及如何应用于武器系统展开辩论。它们可以为有关武器系统自主性以及人工智能对国际安全的更广泛影响的国际讨论提供重要的技术贡献。这些贡献是相关的、必要的和受欢迎的

此处所表达的观点是作者的观点，不代表裁研所、其赞助者或联合国的观点

为什么联合国关于致命自主武器管理的讨论需要科学和研究界以及私营部门代表的更多参与。仅仅发出警报是不够的

4月9日，日内瓦联合国恢复了关于日益自主的技术武器化的外交讨论。这些会谈是在1980年《特定常规武器公约》框架内进行的，始于2014年，是一系列非正式会议；自2017年以来，他们以一种更正式的形式召开会议，称为“政府专家组”。

所有参加会谈的国家代表团都提供军备控制专业知识，但只有少数代表团配备了人工智能、机器人或其他相关技术领域的技术专家

因此，重要的是，2017年8月，人工智能和机器人领域的研究人员以及这些领域的公司创始人在给公约的一封公开信中敦促公约的缔约方“防止这些武器的军备竞赛，保护平民免受滥用，并避免这些技术的破坏稳定影响。”

公开信毫无疑问，签署方对人工智能和机器人技术在未来武器系统中的应用怀有严重担忧：“我们没有太长时间采取行动。一旦这个潘多拉的盒子打开，就很难关闭。”

签署方特别提到了他们对敲响自主武器警报的责任感。事实上，科学家和技术人员长期以来一直在创造暴力工具和倡导限制和控制这些工具方面发挥作用。当科学家和技术人员今天对人工智能的武器化表示担忧时，他们强烈地唤起了另一批杰出的梦想家的行动，他们在60多年前和类似的历史背景下警告过核武器的危险

1955年发表的《罗素-爱因斯坦宣言》是著名科学家在东西方国际紧张局势加剧以及通过军事和秘密行动日益干涉国家内政之际发表的一份公开宣言。这也是一个以革命性的科学进步和技术创新为特征的时期

该宣言源于物理学家Joseph Rotblat和博学者Bertrand Russell对核武器的影响、核扩散风险和人类未来的担忧。也就是说，作者们想对使用核武器的潜在灾难性后果以及保留核武器给人类带来的生存风险敲响警钟。该宣言的11位签署者包括几位世界上最杰出的科学家。其中10位是诺贝尔奖获得者，因其对物理学、化学、生理学和医学、文学或和平的贡献而受到表彰

该宣言在伦敦发布，引起了极大的关注，并成为成立Pugwash科学与世界事务会议的催化剂，一个组织，其活动是作为“科学家、学者和在政府、外交和军事方面经验丰富的个人之间的沟通渠道，深入讨论和分析科学与世界事务交叉点上的问题和机遇。尽管Pugwash在1995年因其在核裁军方面的努力而获得诺贝尔和平奖，但许多人认为该宣言对核裁军的最终影响是有限的

宣言中最经久不衰的一句话是“记住你的人性，忘记其他人。”然而，在今天关于国际安全、科学和技术的辩论中，另一段话（尽管它使用了20世纪50年代的性别语言）引起了深刻的共鸣：

著名的科学界人士和军事战略权威人士发出了许多警告。他们谁也不会说最坏的结果是肯定的。他们所说的是，这些结果是可能的，没有人能确定它们不会实现。我们还没有发现专家们对这个问题的看法在任何程度上取决于他们的政治或偏见。据我们的研究表明，它们只取决于特定专家的知识程度。我们发现，最了解的人是最悲观的

需要明确的是，并非所有科学界成员都相信自主武器的潜在危害——尽管到目前为止，那些被说服的人呼声最高。科学界的成员也没有对人工智能的潜在好处或更广泛的技术创新感到悲观。他们深信并热衷于确保人工智能有益于社会，最终有益于人类。事实上，科技界正在采取的几项举措试图在限制人工智能危害的同时，塑造人工智能的潜在好处。其中包括2015年《关于稳健和有益人工智能研究优先事项的公开信》和《IEEE自主和智能系统伦理全球倡议》中阐述的研究议程。其他举措包括，在多边层面，2017年人工智能促进美好全球峰会；以及OpenAI、人工智能伙伴关系等组织的工作

然而，科学界的成员是最了解人工智能研究中对自主武器系统有影响的基本开放问题的人。这些包括但不限于可解释性（即，理解系统如何到达其输出的能力，而不是允许其作为“黑匣子”运行）；训练数据和模型易受偏见影响；意外操作环境导致的故障；以及面对投入或培训时的脆弱性对手精心制作的数据。武器系统的自主性远不是这些悬而未决的问题带来棘手问题的唯一领域。但对于自主武器来说，挑战尤其严峻

解决这些悬而未决的问题将是让社会在人们的日常生活中接受人工智能不可或缺的一部分——接受人工智能在医疗诊断和治疗计划、车辆安全、欺诈和其他犯罪活动检测、儿童适应性学习技术以及刑事司法系统中更大的公平性方面的改进，仅举几个好处。正如科学家和研究人员致力于在这些悬而未决的问题上取得进展一样，他们也最有资格向他人通报未知或未解决的问题，并从人工智能产生“令人惊讶”或“出乎意料”的结果中学习，无论这些结果是积极的还是消极的

今天，科学家、技术人员和更广泛的研究界是科学技术对国际安全影响的重要声音，就像60年前他们是核问题的风向标一样。然而，如果决策者要利用这一关键知识，就武器系统等重要问题做出合理的政策决定，决策者和科学界就需要更有效地相互接触。对于科学家来说，仅仅发布公开信是不够的，以将他们的技术知识用于国际政策讨论

科学界和研究界可以用不同于在宣传领域工作的其他人的声音说话。例如，法律学者不仅表达了他们的担忧并提出了政策回应；他们详细阐述了武器系统的更大自主权对国际人道主义法和国际人权法提出的具体问题。哲学家们对具体的伦理方法进行了权衡。科学和研究界从远处发布的宣言和警告有可能被视为宣传而非基于技术和科学知识的结论。因此，科学界可能会错过一个机会，以只有它有资格做出的独特贡献来丰富国际对话

自2014年以来，包括科学家、工程师和研究人员在内的许多非政府专家被邀请在大会上发言。例如，在去年的讨论中，主席优先考虑了技术“评估”，并邀请了相当多的科学专家在会议上发言。然而，除了受邀发言的科学家之外，很少有科学家选择作为观察员出席会议。他们应该考虑利用这个机会。按照军备控制的标准，该公约的框架向非政府观察员开放，令人耳目一新，并为科学界提供了一个迄今为止未得到充分利用的机会，帮助形成国际社会对自主武器系统的理解和最终监管。观察员经常有机会在会议上发言以及组织会外活动。活跃在“制止杀人机器人运动”和国际机器人军备控制委员会中的著名研究人员和科学家就是这样做的。科学和研究界、专业技术协会以及私营部门的代表更大程度地参与公约的工作是非常可取的

就参与致命自主武器政府专家组的国家而言，它们应该欢迎科技界更积极的参与，因为他们的参与可以为讨论带来更严格的科学性和清晰度，并缩小技术理解的差距。各国政府可以利用本国的专门知识，邀请非政府科学专家参加其代表团，并鼓励更多的研究人员和科学家注册为观察员

科学界和研究界对自主武器的讨论作出了重要贡献。这些女性和男性凭借非凡的眼光和技术技能，创造了改变人们生活方方面面的技术。现在，他们中的一些人正在利用自己的远见和实质性知识，对武器系统自主性增强的潜在风险和不确定性提出警告。如果社会称赞他们有能力想象和创造大多数人口袋里的私人助理，以及许多人希望在路上看到的自动驾驶汽车，但当他们敦促谨慎行事时，却选择性地忽视了他们的专业知识、经验、知识和本能，那将是自相矛盾的关于相关技术的武器化，或者指出需要进一步反思、更深入的理解或更大的确定性

现在是时候超越宣言和公开信，在政策制定者和科学技术界之间进行更有成效的接触了。在《罗素-爱因斯坦宣言》发表60年后，世界各地的科技领袖再次就科学创新是否以及如何应用于武器系统展开辩论。它们可以为有关武器系统自主性以及人工智能对国际安全的更广泛影响的国际讨论提供重要的技术贡献。这些贡献是相关的、必要的和受欢迎的

此处所表达的观点是作者的观点，不代表裁研所、其赞助者或联合国的观点

公告将专家的声音提升到噪音之上。但作为一个独立的非营利媒体组织，我们的运营依赖于像你这样的读者的支持。帮助我们继续提供高质量的新闻报道，让领导者负起责任。你在任何层面上对我们工作的支持都是重要的。作为回报，我们承诺我们的报道将是可理解的、有影响力的、警惕的、以解决方案为导向的和公正的。我们一起可以有所作为

主题：人工智能的军事应用

分享：[addthis-tool=addthis_inline_Share_toolbox]

Kerstin Vignard是联合国裁军研究所（裁研所）副所长。自2013年以来，她一直领导裁研所在。。。阅读更多

版权所有©2023原子科学家公报。保留所有权利。使用条款隐私政策

1307 East 60th Street，Chicago，IL 60637|773.702.6308

简介