简介

人工智能对技术发展的加速势头做出了重大贡献，并从中受益，这正带来大量机会，已经带来了大量的社会和人类利益，例如通过全世界人类发展指数的演变进行评估。人工智能技术帮助医疗专业人员改进预防、诊断和护理程序。它们在环境保护和监测项目、农业项目以及城市、基础设施和工业的建模和管理方面都有好处。它们有助于更安全、更高效的移动和运输系统。它们为多模式、多语言交互和信息查询提供了有效的工具。然而，这些快速的技术发展也是对风险、破坏性影响和社会压力的合理担忧，需要正确理解和解决

在各种论坛和计划中表达了对人工智能的担忧，这些论坛和计划旨在将人工智能的发展用于社会公益，减轻风险并调查道德问题。联合国及其专门机构、欧洲联盟、经济合作与发展组织（OECD）等国际组织所采取的举措就明显说明了这一点。G7政治领导人最近宣布，未来将成立一个国际人工智能小组，类似于气候变化问题IPCC。技术协会、非政府组织、基金会、企业和学术组织也采取了其他举措

关于负责任的人工智能开发的要求和挑战可以根据两个相互依存的目的进行分析：（i）如何促进对社会有益的应用的研究和开发工作，以及如何考虑和减轻人工智能系统的风险。这些目标与技术、法律和社会挑战相对应，本立场文件对此作了简要概述

人工智能为社会服务

人工智能技术，就像大多数数字技术一样，已经无处不在。学习、推理、启发式搜索和问题解决算法可以在非常广泛的应用中找到，可以直接集成到工件中，也可以通过云连接间接实现。大多数工业和经济部门都在其工程方法和产品中使用这些技术。甚至文化和艺术也在他们的创意工具中尝试人工智能

对社会有益的人工智能应用的需求是巨大的，并提出了许多挑战。一些倡议正试图解决其中一些需求。例如，国际电信联盟（ITU）的人工智能促进全球善峰会（AI For Global Good Summit）关注的是鼓励研发和创新；人工智能领域的D积极为联合国17项可持续发展目标（SDG）做出贡献。上一版峰会审议了几个发展领域，如：
食品和农业应用（SDG 2）以及环境保护计划（SDG 6、13和17）中卫星图像的解释和处理

收集、治疗和公开传播与流行病和各种健康状况有关的医疗数据和知识（可持续发展目标3）；以及
智能城市管理和决策支持的城市环境模拟（SDG 11）

AI技术可以为联合国其他可持续发展目标做出贡献，如教育（SDG 4）、水资源管理（SDG 6）和工业生产（SDG 9和12）

在两大类中培养人工智能实现社会良好匹配的挑战：激励和综合研究

激励通常的市场激励往往侧重于高和快速的投资回报。它们可能无法提供研究资金和投资，以满足社会效益发展的重大需求，特别是在其初期和风险阶段。一些非营利性基金会因资助示范项目而受到表彰。然而，需要国际合作和公共资金提供更多支持，这将为关键目标带来大量集中资源。尽管所有经合组织国家（以及许多发展中国家）都有人工智能发展计划，但与研发计划相比，它们的资金仍然有限；该领域少数主要工业参与者的D投资。平民的需要加大对社会有益的项目的激励力度。
综合研究。包括人工智能在内的许多领域的学术研究的通常组织和粒度倾向于重点分析方法和学科目标。它们促进在每个社区有用但往往狭隘的假设范围内进行调查，以便进一步深入和正式化知识。这对于科学的进步当然是必要的。但这还不足以推动和扩大人工智能对社会福利的贡献。为上述可持续发展目标和类似项目做出贡献所需的发展不仅仅是“应用问题”。它们在人工智能内部以及与其他领域提出了丰富的综合研究问题。
人工智能内部的综合研究需要解决异质任务，这些任务是对社会有益的应用所固有的。这类任务需要多种认知功能，例如感知、数据关联以及对领域的底层本体的提取和推理，以便更好地主动感知、组织、解释和合理化感知领域。这些挑战要求集成基于数据的建模和基于模型的推理。他们要求将自下而上的学习和相关性与自上而下的因果合理化相结合。它们还需要融合多种输入源，并整合数学上异构的多种知识表示和处理方法。
人工智能与其他领域之间的综合研究问题显然是人工智能最具社会效益的发展的核心。它们对应于有针对性的跨学科项目，以及长期跨学科项目。它们还要求非学术贡献者、社会行动者和利益攸关方参与调查和发展。由于文化和方法背景的多样性，这些整合通常更加复杂。但是，为了将工作转化为实际问题并发展相关贡献，需要它们，这些贡献必须主要从它们的有效现场成功而不是从它们的形式计算特性来评估。
综合研究本质上是困难的。这需要很长的时间跨度，特别是由于协作和现场测试的开销。鉴于用于资助和评估学术工作和职业的通常标准和文献计量指标，综合研究似乎存在风险。此外，科学在其可能的用途方面是“中立”的观点仍然很有吸引力。许多研究人员认为他们的角色主要是贡献知识，并将其留给社会来利用。但技术科学的复杂性和高节奏，尤其是在人工智能领域，不再支持这种观点。今天，人工智能社区的很大一部分关注于推动一项研究议程，该议程预期并考虑到其调查的社会效用（例如，参见广受支持的公开信，以及[22]的后续议程）。然而，可能需要改变学术文化和组织范式，以扩大人工智能的综合研究，

减轻人工智能风险

人工智能科学家属于一个高度热情和积极的社区，支持社会和人文价值观。大多数人工智能出版物强调其贡献的良好动机和良好的可能效果。但并没有多少人调查其内在风险。每一项人工智能开发都涉及特定的风险，需要专门研究和解决。许多应用程序都存在一些常见的风险类别。值得注意的是：（i）关键人工智能应用程序的安全，的个人用户的安全和隐私以及（iii）社会风险。这三类问题不是独立的；其中许多可能并非AI独有。它们需要不同的科学、技术、政治和法律挑战，具有不同的时间范围。
安全关键型AI应用
AI技术经常集成在具有感觉运动能力和提高自主水平的人工制品和系统中。这些是机器人、无人机、网络物理组件、自动化工厂、网络和基础设施。这些技术越来越多地应用于安全关键应用和经济或环境成本非常高的领域，例如：
健康：刺激器、假肢、监护仪、手术装置、药物处理

交通：自动驾驶汽车、交通控制

网络管理：能源、物流、液压、各种基础设施；和
监视和防御系统

相对较少的工业部门必须遵守非常严格的认证程序，如航空或侵入式医疗设备。需要非正式技术描述和符合标准声明的程序可能不够：
许多人工智能模型和技术的复杂性和不透明性；
以及越来越大和复杂的系统中硬件和软件组件的复杂可追溯性

未充分研究和评估人类生命风险以及社会和环境成本。与人类控制系统（无人工智能）的比较通常会带来仍然难以量化的希望，例如减少交通事故或医疗失误。鉴于公众的期望和接受程度，这些比较并不总是令人信服的：一个自治系统的受害者自然比一个因人为错误而被接受的受害者要少得多

这里的技术挑战是将验证和确认（V&；V）方法扩展到人工智能及其工业部署。必须能够使用人工智能准确分析和鉴定部件和系统的安全特性。形式化方法（确定性或随机性）和/或模拟和测试方法应特别允许：
正式陈述系统正确运行所需的环境假设

指定其预期功能和限制；
确定其基本特征：校正、可靠性、错误概率、假阳性、对数据和参数不确定性的敏感性

V&；V是计算机科学中一个非常活跃的领域。它对于封闭的、建模良好的运行环境非常先进。AI为V&；在处理与开放、部分已知和不完全建模的环境交互的软件、机器人和网络物理系统方面，V领域面临着一系列丰富的挑战。在这些挑战中，以下问题是突出的：
如何正式量化系统的不确定性，同时考虑所使用的数据和模型的性质，例如在医学诊断中[3]

系统如何根据正确运行所需的假设在线监控其环境和自身状态，并在不满足这些假设时进行调整

如何评估V&；集成了V&；其组分的V特性（组成特性）？blackbox类型的组件怎么样

什么是可能的V&；一个在与环境互动中不断学习和进化的系统的V方法

这些问题和其他问题是大型社区关注的主要研究挑战（参见例如[1，13，24]）。然而，在解决所有这些挑战之前，肯定会进行许多部署。此外，几十年来，计算复杂性和可判定性的理论限制已为人所知，或最近被发现（例如，学习不可判定性[4]）。尽管如此，仍有必要提高关键应用程序的设计者和用户对当前技术的开放问题和局限性、缓解方法以及快速部署中所需的警惕性的认识

个人用户的安全和隐私
人工智能技术已成为用户与数字世界之间的调解人。对数十亿人和联网系统产生的在线数据的访问，以及对与每个用户相关的知识的访问，越来越多地基于语义内容。语音助手必须正确地感知自然语言中的口头请求。关联的查询引擎必须在其上下文中解释每个请求，并与用户的配置文件相关，这是不断学习、改进和发展的。来自各种物理、化学或生理传感器的图像、视频和数据将根据其语义内容进行解释和索引。越来越多的人与环境、机器和系统（在家、商店和公共设备中）的互动，甚至与其他人的互动，都是通过人工智能进行数字化和中介的。每个人都会对自己的行为产生一个不断增长的、潜在不可磨灭的“数字痕迹”。即使没有直接使用数字接口。，在有视频监控和面部识别的区域行走，或购物）。
人工智能在数字世界中的调解作用变得如此重要，以至于对许多人来说，人工智能与数字技术是无法区分的。关于人工智能的观点和态度的研究具有很强的指导意义（例如[29]）^脚注8。他们可以提供研究和教育工作应该集中在哪里的见解。一般公众对该领域的看法往往是矛盾的，有时是混合的：
非临界期望：算法和计算是准确和正确的，机器推荐的决策是“理性的”

对用户交互的安全性和保密性、个人和聚合数据的利用以及意见操纵能力的合法担忧；和
对“奇点”的毫无根据的恐惧，或当前不可能的机器视角，其意图、情绪、意识可能会控制人类。
人工智能介导的交互会增加社会风险（包括在社会风险中），以及个人风险。后者对应于真实和主观的脆弱性、挫折感以及一部分人可能对数字技术的排斥，他们可能会感到被边缘化。
这一层面的需求是技术的，也是教育、体制和法律的。技术问题特别涉及以下几点：
数字交互的安全：技术水平很先进，但已知技术的部署显然不够，尤其是在便携式应用程序和连接对象中。安全漏洞经常成为新闻头条，例如真空吸尘器机器人或语音助手[6]。还有一些难以解决的问题需要解决，例如，神经网络技术对攻击和对抗性示例的敏感性[9]。
机密性，隐私和个人数据的使用：这里也没有充分部署最先进的技术。
智能性和透明度：这些问题引发了具有挑战性的科学和技术问题。决策支持系统应该能够解释其假设、限制和标准。决策标准的重要问题经常被忽视：理性的决策几乎总是与某个标准相关，而这可能不一定符合用户的偏好和优先顺序。决策支持系统必须能够解释和证明对请求的响应。所有这些都必须以用户可以理解的方式进行。
已知安全和保密技术的部署不足通常是由于经济激励和监管约束薄弱。最近的EUGDPR措施加强了保密性和对隐私的尊重。然而，这些措施和其他类似措施被批评为以部分和不充分的方式解决问题。用户和平台之间的契约关系是不平衡的。这种不平衡凸显了用户对少数公司部署的平台的脆弱性，这些公司拥有巨大的经济和法律支持潜力。这些公司追求自己的利益是理所当然的，包括收集有利可图的行为数据，只要这是合法的。他们提供的服务被认为是现代社会生活中每个人都必不可少的，但代价很大。此外，用户可以决定（理论上）使用她的个人数据，但她对聚合数据和她贡献的结果模型没有太多意见。这些模型代表了重要的收入来源和风险。在某些情况下，用户可能不同意对行为模型的详细描述，或者她可能将其视为仅用于公开研究的公共资源。还需要进行更多的法律和技术研究，例如，发展负责任的数据信托，这可以在用户和平台之间发挥中介作用，以更好地平衡合同关系[8]。
指南（例如，联合国指导原则或欧盟人工智能道德指南）和公司的道德承诺当然是有用的，也是必要的，但还不够。这里的紧迫要求更多是在法规和公共政策方面，而不是在道德方面[27]。需要进行法律研究和可能的社会实验，以提高人们对人工智能和数字法规的认识，支持讨论，并促进国际合作。
社会风险
技术的可接受性通常是从客户的角度来解释的，即，有足够广泛的公众采用和使用该技术。但社会的接受度很高比个人接受要求更高。除其他外，社会可接受性需要：
考虑到长期，包括对后代的可能影响

担心社会凝聚力，特别是在就业、资源共享、包容和社会认可方面

整合人权的必要性以及社区的历史、社会、文化和伦理价值；
考虑影响环境或国际关系的全球约束。
偏差决策支持工具可能存在偏差。在某些情况下，系统被故意设计为不平衡的，例如，用于集成宣传或商业目标的推荐系统。应明确警告用户系统的潜在目标可能会扭曲其结果。更具问题的是，需要保持中立和公平的制度中隐藏的和非内涵的偏见。在卫生、银行、保险、招聘、职业评估等决策支持系统中，甚至在法律评估和城市监控应用等公共服务中，都报告了许多性别、种族或资历偏见的案例[14，20，25]。通常情况是这样的，因为这些系统缺乏透明度、可理解性，并且依赖于训练数据，这些数据以隐藏的方式存在偏差，难以发现和缓解。需要进一步研究审计系统公平性的技术，以及要求其用于认证机制的法规。
行为操纵。人们早就知道，个人可以被操纵。人工智能技术增加了它们的脆弱性，特别是在全球范围内部署了符合人体工程学和好玩的设备，这些设备实现了强大的通信、传感、处理和决策功能。社交监控、文本和视听“优化”、辩论指导、行为建模和塑造以及市场驱动等越来越有效的技术说明了操纵能力[30]。将现有技术用于盈利目的的动机非常高。只要不受监管，社会、政治和经济风险高的可疑做法将继续使用。除了法规和支持法规，人工智能的进一步研究可能有助于检测操纵企图的方法。
民主几位作者分析了剑桥分析丑闻所说明的政治风险，认为这是对民主的威胁[19，31]。研究表明，人工智能在全范围人权方面既有机会也有风险，已经观察到了影响[21]。
经济经济风险对应于几种人工智能部署，例如高频交易（HFT）或算法定价。HFT可能的失稳效应还远未得到充分理解[26]。使用学习、利润优化和计算代理之间的间接交互的算法定价，即使没有任何明确的协议，也可能导致人为抬高价格，就像非法价格卡特尔机制一样[11]。自由经济的主要假设是假定一个所谓中立的自由市场，被认为是一个良性的“不可知和不可控”的信息处理者，应该保持不受监管。人工智能工具允许的实时观察、学习、建模和反馈控制能力与这一假设明显矛盾。迫切需要减轻相应风险的法规。
就业AI有助于提高服务、工业和农业的自动化程度，从而为就业带来进步和重要的社会风险。关于这一风险，没有普遍共识（也没有关于全球变暖的共识）。然而，现有的研究仍然不够充分，在中短期内，工作岗位将大幅减少。根据经合组织对其21个国家的研究[2]，9%的工作具有高自动化风险；较高比例的20%至25%的工作具有中等风险（其他研究得出的风险水平更为惊人，例如[15]）。此外，人们强烈怀疑技术发展是社会不平等现象增加的一个促成因素[5]，这会减少社会参与。
对于大多数观察者来说，现有的处理暂时波动的社会措施（如失业救济金）不足以应对长期持续的变化。在培训和创造就业机会（例如，创新创造就业机会）、资源共享、社会认可和融合方面，开展了一些值得称赞的研究和举措，以减轻失业风险。这里的挑战是进一步发展这些举措是为了及时应对众多技术部署带来的不良后果

军事系统 武器和军事系统中的人工智能与另一个令人担忧的领域相对应，这引发了伦理问题，以及国际不稳定和冲突加剧的风险。人工智能技术大大增强了感知、监视、情报、战斗和干预的军事能力。人工智能自然是一种两用技术，很容易从商业领域转移到军事领域。这使得控制程序（如用于核武器遏制的程序）不切实际[7]。这也使得与其他重型军事技术相比，集成了人工智能的武器和设备相对更“实惠”。流氓团体可能更容易获得这些武器。此外，国际武器贸易协定，包括最近的《武器贸易条约》，不包括数字武器，如无人机、机器人、ROV和AUV。得到广泛支持的禁止自主武器的公开信是一项极好的倡议，需要进行研究和制定规章

我们能否通过扩展我们工具的解决问题和推理能力以及道德评估能力，从技术上缓解上述社会风险？我们当然需要设计出更安全、更安全、易懂、无偏见、尊重隐私、在运行中满足社会要求的约束和规则的机器。这些和类似的属性可以被合理地理解、形式化和机器实现[10，23]。与其他工件一样，应制定和部署在人工智能系统中满足这些要求的技术标准。然而，目前尚不清楚自动武器或自动交易员的规格是什么，能够根据道德原则解决道德选择。一般意义上的“人工道德代理人”概念的几种方法（即[18]的第3和第4级）被批评为哲学上不合法（如[12，28]）。它们可能会误导人。我们应该努力澄清和广泛传播关于我们工具的能力和局限性的知识，并将社会参与和对其潜在用途的评估作为我们研究和设计方法的一个重要组成部分

在社会风险方面，对负责任的人工智能开发的需求尤其符合政治和法律措施以及国际协议。然而，所需措施是社会监管机制的一部分。这些机制有相当长的响应时间：需要几十年才能更好地理解、教育、传播意识并建立实施法规所需的社会力量。但科技的发展势头变得更快了。两种动态之间的差异要求主动方法。然而，目前还没有关于给定技术部署可能产生的社会和经济影响的预测模型。积极主动的方法必须依靠社会实验，以及关于社会风险和缓解措施的综合研究。在这方面，也需要改变范式，以资助和发展人工智能和社会科学家之间的联合调查，使前者更好地理解人工智能，并使后者更好地理解社会和经济机制。人工智能在“科学、技术和社会”等相对较新的领域（如斯坦福大学或麻省理工学院）的更多参与，将为社会科学的常规经验观察方法提供补充机会，包括重要的实验、建模甚至模拟。应该指出的是，基于基本模型的模拟正在社会科学的几个领域出现。人工智能可以积极促进其发展和有效性。最后，让我们注意到，技术部署之前的社会实验减少了技术动力和社会监管动力之间的差异

结论

AI与任何其他技术一样，可以产生良性效果，也可以产生不太理想的结果。人工智能作为一个研究领域不能被归咎于后者。部署的特定历史、社会和经济背景可以使人工智能机器成为“杰基尔博士或希德先生”。缓慢的社会和法律机制与快速的技术势头之间的差异使得人工智能的部署和使用的指导更加具有挑战性

人工智能科学家和专业人士显然没有完全的转向控制。但他们既不是无能为力，也不是不负责任。他们负责并有能力提高社会对当前其领域的局限性和风险。在某种程度上，他们可以选择或至少影响他们的研究议程。他们可以参与综合研究，并朝着所需的范式转变努力，以促进对社会有益的发展，解决人工智能的人类和社会风险。这里提到的倡议和项目说明了许多正在进行并正在增强的这些活动。人工智能日益增长的有效性与其社会责任相称。技术和组织挑战巨大，但人工智能科学界必须面对这些挑战