注：这是一篇红十字委员会在2019年6月发布的文章的编辑版本。

介绍

在一段时间的冲突不断增加和迅速的技术变革、国际红十字委员会(红十字委员会)需要了解新技术的影响对人们受到武装冲突影响和设计人道主义解决方案，解决需求的最脆弱的群体。

红十字国际委员会，像许多组织在不同部门和区域，正在努力解决影响的 人工智能 (AI)和 学习机 对其工作。 AI是使用计算机系统进行的任务往往与人类相关情报的需要的认识、规划、推理或学习；以及机学习系统是人工智能系统，是"培训"和"学习"从数据，这些数据最终确定的方式，他们的功能。由于这些软件工具的，或者算法，可以应用于许多不同的任务，将潜在影响可能是深远和未得到充分理解。

有两个广泛和不同区域的应用程序的大赦国际和机学习红十字委员会特别关注：首先，其 使用在进行的战争 或在其他情况下的暴力行为； 1 第二，它 使用在人道主义行动 ，以协助和保护武装冲突的受害者。 2 该文件规定了红十字国际委员会的角度对使用大赦国际和机学习，在武装冲突的潜在的人道主义后果，以及相关法律义务和道德的考虑因素应该指导其发展和使用。它还使参照使用的工具，用于人道主义行动，包括通过红十字委员会。

红十字国际委员会的方法新技术的战争

红十字委员会具有悠久的传统，评估影响的当代和未来事态发展在武装冲突。这包括考虑新的作战手段和方法；具体而言，在他们的兼容性与国际人道主义法规则(也称为武装冲突法或战争法)和风险的不利的人道主义后果，为受保护的人。

红十字委员会不反对新技术的战争本身 . 某些军事技术，例如那些能够更加精确的袭击–可以协助冲突各方在最大限度地减少人道主义后果的战争，特别是对平民的，并确保尊重规则的战争。然而，与任何新技术的战争，精密技术是不利于自己，以及人道主义后果，在实地将取决于对新的武器是在实践中使用。它是必不可少的，因此，要有一个现实的评估的新技术，这是通过其技术特点和他们的方式使用，或打算予以使用。

任何新技术的战争必须被使用，并且必须能够使用，在遵守现有的国际人道主义法的规则 . 这是一个最低要求。 3 但是，独特的特点的新技术的战争，预期的和预期的情况，它们的使用，及其可预见的人道主义后果可能提高的问题，是否现有规则足或需要加以澄清或补充，鉴于新技术'可预见的影响。 4 清楚的是，军事上的应用新技术和新兴技术不是不可避免的。他们选择的国家必须的范围内现有的规则和必须考虑到潜在的人道主义后果，平民和战斗人员不再参与敌对行动，以及更广泛的考虑"人类"和"公共良心"。 5

使用的大赦国际和机学习被冲突各方

如何在武装冲突各方--无论是国家或非国家武装团体可能使用人工智能和学习机在进行的战争，而他们的潜在影响，尚不完全清楚。然而，至少有 三个重叠领域的相关从人道主义角度 ，包括遵守国际人道主义法。

增加自主权在物理机械系统，包括武器

一个重要的应用是使用数字 AI和机学习工具，以控制的物理军事硬件 ，特别是越来越多的无人驾驶机的系统在空中、陆地和海上有一个广泛的规模和功能。大赦国际和学习机可以使得能够增加自主权在这些机器人的平台，是否武装或非武装的，以及是否控制整个系统中的或特定的功能，例如航班、导航、监测或定位。

对红十字委员会、 自治的武器系统的 武器系统的自主权，他们的"重要职能"的选择和攻击目标是一个迫切的问题从人道主义、法律和道德角度看，鉴于损失风险的人控制的武器和使用武力。 6 这种失去控制引起的风险的平民，因为难以预料的后果；法律问题， 7 因为战斗人员必须使下文具体判断在进行袭击，根据国际人道主义法；和道德关切， 8 因为人机构在决定使用武力是必要的，以维护的道义责任和人的尊严。由于这些原因，红十字国际委员会已经提出的实际要素的人控制为基础的国际商定的上限自治，在武器系统的一个重点如下： 9

控制武器的参数 ，这可以通知的限制类型的自治武器系统包括的目标，他们是用来对付，以及限制他们的时间和地理范围的操作，要求为失和故障安全的机制；
控制环境 ，它可以通知限制的情况和地点，在其自治的武器系统可以使用，特别是在条款的存在和密度平民和平民目的物；和
控制通过人机互动 ，这可以通知要求的人的监督和干预能力和禁止自治的武器系统，并要求可预见和透明的运作。

重要的是要认识到， 不是所有的自主武器纳入AI和学习机 ；现有的武器的自主权，他们的关键职能，如防空系统与自治模式，一般采用简单、基于规则的控制软件选择和攻击的目标。然而， 大赦国际和学习机软件 --具体类型开发"目标自动识别"– 可能的基础上形成的未来自治的武器系统，带来一个新的层面的不可预测性这些武器 ，以及关注有关缺乏explainability和偏见(见第5.2节)。 10 相同类型的软件也可能使用"的决定支持"应用程序为目标，而不是直接控制的武器系统(见第3.3节).

相反，不是所有的军事机器人系统，使用人工智能和机械学习的自治武器，因为软件可能被用于控制功能比其他目标，例如监视、导航或飞行。同时，红十字国际委员会的角度来看，自主性武器系统--包括艾启用的系统--提出了最迫切的问题，使用的大赦国际和机学习以增加自主权在军事硬件在一般性--例如在无人驾驶飞机、陆地车辆和海上船–也可以提出问题的人机互动和安全。讨论在民用部门关于保证安全自主的车辆--例如自动驾驶的汽车或者无人驾驶飞机–可能持有的经验教训，为他们在武装冲突中使用(又见第3.3节).

新的网络和信息战

该应用程序的 人工智能和机械学习的发展网络的武器或能力 是另一个重要领域。不是所有网络功能，纳入AI和机学习。但是，这些技术的预计 变化的性质既有能力抵御网络攻击和能力，以攻击 . 例如，大赦国际和机械学习的启用了网络能力，可以自动搜索的漏洞，利用，或防御网络攻击的同时自动启动的反击。这些类型的事态发展可能增加的规模，改变性质和可能的严重程度的攻击。 11 这些系统中的一些甚至可被描述为"数字自主武器"，可能提高的问题有关人控制类似于那些适用于实物自治武器。 12

红十字国际委员会的重点相对于网络战仍然是确保现有的国际人道主义法规则得到维护，在任何网络攻击在武装冲突，特别挑战，在确保保护平民基础设施和服务是解决那些执行或抵御这类攻击， 13 为了尽量减少人类费用。 14

一个相关应用程序的人工智能和学习机在数字领域是 使用这些工具，为信息战 ，特别是创造和传播虚假信息与意图以欺骗--即 虚假的信息 以及传播虚假信息没有这种意图即 错误的信息 . 不是所有涉及大赦国际和学习机，但这些技术似乎设定的改变的性质和规模的操纵的信息在战争以及潜在的后果。 AI-启用的系统已广泛用来产生的虚假信息–无论是文字、音频、图片或视频–这是越来越难以区分真正的信息。使用这些系统通过冲突双方扩大古老的方法的宣传以操纵的意见，并影响决策能产生重大影响在地面上。 15 对红十字国际委员会，有人担心，平民可能，作为其结果的数字散布虚假信息或错误信息，将受到逮捕或虐待、歧视或拒绝获取基本服务，或攻击他们的人身或财产。十六个

不断变化的性质的决策，在武装冲突

也许最广泛和最具深远意义的应用是使用 和学习机对于决策 ，使得能够广泛收集和分析数据来源，以便确定人或物体，评估生活方式或行为、提出建议，供军事战略或行动，或者预测今后的行动或情况。

这些 "的决定支持" 或 "自动化的决策"的系统是有效地扩大的情报、监视和侦察工具 ，使用人工智能和学习机自动化分析大量数据集，以便提供"咨询"对人类在作出特别决定，或者自动化分析和随后发起的一项决定或采取行动的系统。有关大赦国际和学习机应用程序包括模式识别处理自然语言、图象识别、面部识别和行为的认识。该 尽可能利用这些系统是非常广泛 , 17 决定谁或什么–攻击时， 18 来决定谁以拘留多长时间, 19 来决定有关的军事战略，即使在使用核武器的 20 –和具体的行动，包括试图预测或预先制止对手。 21 根据他们的使用或滥用和功能和限制的技术–这些决策的应用可能会导致风险增加，对平民人口。

大赦国际和机学习为基础的 决策支持系统 可能能够更好地决定通过人类在进行的敌对行动中遵守国际人道主义法和减少风险的平民，通过促进更快和更广泛地收集和分析提供的信息。但是，过于依赖相同的算法产生的分析，或预测，也可能会促进更糟糕的决定或违反国际人道主义法的行为，并加剧的风险的平民，特别是鉴于目前的限制的技术，例如不可预测性，缺乏explainability和偏见(见第5.2节)。

从人道主义角度来看，一个 范围非常广泛的不同AI介导或AI-影响–的决定通过冲突各方可能是相关的 ，特别是在那里他们构成风险的伤害或死亡的个人或毁坏对象，并在那里决定是由具体规则的国际人道主义法。例如，利用大赦国际和机学习为 目标的决定，在武装冲突 ，那里有严重后果的生活，将需要具体考虑，以确保人类保留在一个位置的上下文基于作出判决所需遵守的法律规则进行的敌对行动(见第5节)。人工智能系统可用来直接发起的攻击(而不是产生一个分析、或"建议"，为人类的决策者)有效地将被认为是一个自治的武器系统，提高了类似的问题(见第3.1).

使用的决策支持和自动化的决策系统也可以提高 法律和道德问题的其他应用，例如决定在拘留在武装冲突 ，其中也有严重影响人们的生活和受到特定规则的国际人道主义法。这里有很相似之处的讨论在公营部门的作用人的判决，与问题的偏见和不准确，在风险评估算法的使用是由警察在决定逮捕，并且在刑事司法系统的决定对判刑和保释。 22

更广义地说，这些类型的大赦国际和机学习工具可能会导致增加 个人化的战争 (有相似之处于个性化的服务，在平民的世界)与数字系统中汇集的个人身份的信息来自多个来源–包括传感器、通讯、数据库、社会媒体和生物特征数据，以形成一个算法产生的确定有关个人，他们的状况及其targetability，或者要预测未来的行动。

在一般情况下，潜在的人道主义后果-- 数字的风险 –对平民人口的滥用AI-启用的 数字监视、监测和入侵 技术可以包括有针对性的、被逮捕，面临着虐待，具有自己的身份盗窃和被拒绝访问的服务，具有资产被盗或遭受心理影响的恐惧正在监视之下。 23

使用人工智能和机械学习的人道主义行动

方式人工智能和学习机器可能被用于人道主义行动，包括通过红十字国际委员会，也可能非常广泛。这些工具目前正在探讨通过人道主义组织的环境扫描、监测和分析公开来源的数据在具体的业务背景下应用，可以帮助 通知评估人道主义需要 ，例如这类援助需要(食品、水、庇护所、经济、健康)以及在需要的地方。

类似的AI-启用数据汇总和分析工具可以用来帮助 了解人道主义后果， 在地面上，包括保护平民需要--例如，工具，用于图片、视频或其他模式分析，以评估的损坏民用基础设施模式的人口流离失所、生存能力的粮食作物，或者程度的武器污染物(未爆弹药). 这些系统也可能被用来分析图像和视频，以检测和评估敌对行动，并得到的人道主义后果。

红十字国际委员会，例如，已经开发 的环境扫描仪表板的 使用和学习机捕获和分析大量数据，以告知并支持其人道主义工作在具体的业务环境，包括使用预测分析，以帮助确定人道主义需要。

一个范围广泛的人道主义服务的可能受益于适用大赦国际和机学习工具对特定的任务。例如，有兴趣在技术，可以 改进识别失踪人员 ，例如基于AI面部识别和处理自然语言进行名称匹配；红十字国际委员会已经探索利用这些技术来支持它的中央追查机构在团聚的家庭成员分离开的冲突。它也在探索利用大赦国际和机学习为基础的 图像分析和模式的认识对于卫星图像 ，是否映人口密度支持的基础设施的援助项目在城市地区或补充其文件尊重国际人道主义法的一部分作为其保护平民的工作。

这些 应用对于人道主义行动也带来了潜在的风险 ，以及法律和道德问题，特别是关于数据保护、隐私、人权、问责制和确保人参与决策极大地影响着人们的生活和生计。任何应用人道主义行动必须是设计和使用的原则下， "不伤害" 在数字环境中，尊重隐私权，包括因为它涉及到个人数据保护。

红十字国际委员会也将确保 核心原则和价值观的中立、独立和公正的人道主义行动 ，反映在设计和使用的人工智能和学习机应用程序的采用，考虑到一个现实的评估的能力和限制的技术(见第5.2节)。红十字国际委员会已经导致与布鲁塞尔的隐私权中心的一项倡议，对数据保护在人道主义行动制定指导对使用新技术，包括大赦国际和学习机，在人道主义部门的方式，最大限度地提高效益，同时不忽视这些核心方面的考虑。第二版红十字国际委员会/布鲁塞尔的隐私毂 手册中的数据保护人道主义行动 发表可能到2020年。 24

一个以人为中心的办法

作为一个人道主义组织工作以保护和协助受影响的人受武装冲突和其他暴力局势，导出其任务规定从国际人道主义法和遵循的基本原则的人道、 25 在 红十字委员会认为，关键是要确保真正以人为中心的方式开发和使用的人工智能和学习机 . 这将启动审议的义务和责任的人和需要什么以确保这些技术的使用是符合国际法，以及社会和道德价值观。

确保人的控制并作出判决

红十字委员会认为，这是 必须维护人的控制任务与人作出判决的决定，可能有严重的后果 对于人们生活在武装冲突，特别是在这些任务和决定构成风险的生活，并在他们管辖的特定规则的国际人道主义法。 大赦国际和机学习系统必须被用来服务于人类行为者，并且作为工具来加强人决策者，而不是替代他们 . 鉴于这些技术正在开发执行任务，通常会将进行的由人类，有一种内在的张力之间的追求AI和学习机应用程序和中心地位的人在武装冲突，这将需要持续的关注。

人控制和裁决将是特别重要的任务和决定可能导致受伤或生命损失或损坏或毁坏的民用基础设施。这些可能会提出最严重的法律和伦理问题，并可能需要的政策反应，比如新的规则和条例。 最重要的是决定使用武力，确定与谁和什么是有针对性和攻击在武装冲突 . 然而，一个更广泛的任务和决定以其AI可能适用也可能有严重的后果对于那些受武装冲突影响，例如决定在逮捕和拘留。在考虑使用AI为敏感的任务和决定，有可能的经验教训，从更广泛的讨论在公营部门有关的管理"安全至关重要的"AI应用–其失败可能导致受伤或生命损失或严重损害财产或环境。 26

另一个区域的紧张关系 之间的差异，人类和机器的速度，他们进行不同的任务 . 由于人类是法律和道义上的代理在武装冲突、技术和工具，他们利用进行战争必须是设计和使用方式，能够使战斗人员履行其法律和道德义务和责任。这可能有重大影响AI和机学习系统，用于决策；为了保存人的判断，系统可能需要设计和用来告知决策"人的速度"，而不是加快决定"机器的速度"，超越了人类的干预。

法律依据人控制在武装冲突

冲突各方， 人控制了大赦国际和学习机应用程序采用作为战争手段和战争方法是必需的，以确保遵守法律的 . 在国际人道主义法的规则是针对人类。它是人类的遵守和执行法律，这是人类的谁将会是负责违法行为。特别是，战斗人员有一个独特的义务作出的判决对他们的要求通过的国际人道主义法规则进行的敌对行动，并且这种责任不能转移到一台机器，一个软件或一种算法。

这些规则要求具体情况判断 应采取的那些计划、决定和进行攻击，目的在于：确保区别之间的军事目标，其中可以合法袭击和平民或民用物体，必须不会受到攻击；确保 相称性的 –在以下方面的保证，附带民事损害预期攻击将不会被过度有关的具体和直接军事优势，预计; 并启用 在攻击行动中采取预防措施 –这样风险的平民可以进一步减到最小。

其中AI系统的使用在攻击 –是否作为一部分的物理或网络的武器系统或决策支持系统– 他们设计和使用必须使战斗人员，使这些判决 . 27 关于自治的武器系统，该缔约国的《特定常规武器公约》(《常规武器公约》)已承认"人的责任"使用的武器系统和使用武力"，必须保留", 28 和许多国家、国际组织--包括红十字国际委员会和民间社会组织已经强调的要求，人控制，以确保遵守国际人道主义法和兼容性与道德价值观。 29

超出使用武力和目标确定，潜在的使用的人工智能系统的其他决定由特定的国际人道主义法规则可能会需要认真审议必要的人力的控制，并作出判决，例如在拘留。 30

道德基础的人的控制

新兴应用的人工智能和学习机还带来了伦理问题的最前沿的公开辩论。 一个常见方面的一般"艾原则" 拟订和商定由各国政府、科学家、伦理学家、研究机构和技术公司 的重要性人的因素 ，以确保遵守法律和道德上的可接受性。

例如，2017年的艾斯洛玛尔AI原则，强调与人的价值、兼容性与"人的尊严、权利、自由和文化多样性"，并且人控制；"人类应该选择如何和是否代表的决定大赦国际系统，用以完成人选择的目标"。 31 欧洲委员会的高级别专家小组的人工智能强调，重要的是"人的机构和监督"，使得人工智能系统应当"支持人类的自主性和决策"，并保证人的监督，通过人在环，人类在环或人类-在命令的办法。 32 该组织经济合作与发展组织(经合组织)的原则上的人工智能通过在可能2019年通过的所有三十六个会员国一起，与阿根廷、巴西、哥伦比亚、哥斯达黎加、秘鲁和罗马尼亚强调必须"以人为中心的价值观和公正性"，指定用户的AI"应该实现的机制和保障措施，例如能力的人确定，这是适当的上下文和一致与国家的艺术"。 33 《北京AI原则，通过在可能2019年通过的一组国领先的研究机构和技术公司、国，"连续努力应以提高成熟性、稳定性、可靠性和可控性的人工智能系统"，并鼓励"探索人-AI协调...会得到充分发挥人类的优点和特性"。 34 一些个人技术公司也已经公布的艾原则的突出重要性的人控制、 35 特别是对敏感的应用程序提出的风险的伤害， 36 并强调，"目的是增强–不是替代的人类智能"。 37

一些国家政府也是发展中AI原则，为军队 . 例如，美国国防部(国防部)，它呼吁"以人为本的"通过人工智能在其2018年AI战略 38 负责其防御创新委员会提供建议。其中最重要的是，"[h]uman类应该行使适当水平的判断和负责"对任何使用的人工智能。 39 这一通知第五国防部通过的原则，在早期2020年，它的国家艾必须"[r]esponsible. 国防部人员将行使适当水平的判断和护理，而其余负责开发、部署和使用的人工智能的性能". 40 在法国，国防部已经承诺使用的在线有三个指导原则，遵守国际法，维持足够的人力的控制，并确保永久性命令责任以及已经建立了一个部长级道德操守委员会，以解决新出现的技术。 41

在红十字国际委员会认为，维护 人类控制 的任务和 人的判决 中决定，严重影响人们的生活也将是 必要保持一个衡量人类在战争 . 红十字国际委员会已强调需要保留人的机构在决定使用武力在武装冲突 , 42 一个看来从更广泛的伦理考虑的人类、道德责任、人的尊严和决定的公共良知。 43

然而，道德因素的人的机构可以具有更广泛适用性的其他使用的人工智能和学习机在武装冲突和其他情况下的暴力行为。也许有 的经验教训，从更广泛的社会讨论有关敏感的应用中的双重用途AI和机学习技术 ，特别是对于安全至关重要的应用程序和相关的拟议治理科学家和开发人员在私营部门。谷歌，例如已所述，有可能是"敏感的情况下的社会将需要一个人来做最后的决定，无论如何准确的人工智能系统"，并完全委派高风险的决策机–诸如法律判决的犯罪活动或改变生活的决定有关的医疗–"可能相当被看作是一个侵犯人的尊严"。 44 Microsoft，在考虑基于AI面部识别强调了确保"一个适当级别的人控制，用于使用可能影响人在间接方法"，要求"人类在环"或者"有意义的人的审查"为敏感的用途，例如那些涉及"风险的身体或情感伤害一个人，凡个人的就业前景或能力，获得金融服务可能受到不利影响，那里有可能影响人权，或者一个个人的个人自由可能影响了". 45 由于应用在武装冲突很可能是其中最敏感的，这些更广泛的讨论可能持有的见解，必要的约束AI应用程序。

保护 人类控制和裁决将是一个重要组成部分 对于确保遵守法律和减轻道德问题提出的一些应用程序的大赦国际和机学习。 但它本身不足以防止潜在风险 没有适当考虑人机互动的问题，如： 环境意识 (知识的系统的状态时，人为干预); 时间可用 于有效的人力干预； 自动化偏见 (风险的人overtrust在系统)；和 道义上的缓冲区 (风险的人将责任转移到系统)。 46 另外，确保有意义和有效的人控制和审判将需要仔细考虑两者的能力和局限性的人工智能和机械学习的技术。

理解的技术限制的人工智能和学习机

同时，多是由新能力提供了通过人工智能和学习机、一个 现实的评估的能力和限制这些技术的需要 ，特别是如果它们被用于武装冲突。这应该开始认识到在使用人工智能和机械学习的某些任务或决定，我们是不是更换像带等。它需要一种 理解的根本分歧的方式的人类和机器做的事情，以及他们的不同优势和弱点 ;人类和机器做不同的事情，他们做不同的事情。我们必须明确的是，作为无生命的物体和工具供人类使用，"机器永远能够带来真正的人类对他们的相互作用，无论如何良好，他们得到在伪装"。 47

铭记这一点，有几个技术问题，需要谨慎，在考虑应用在武装冲突(以及确实对人道主义行动)。 AI,和特别是机械学习，带来了问题有关的不可预测性和不可靠性 (或安全), 48 缺乏透明度 (或explainability), 和偏见 . 49

而不是下列预先编程的指令序列， 机学习系统建立自己的规则基于的数据他们接触到 --无论是培训的数据或通过试验和错误的互动与他们的环境。 因此，他们更难以预测 于预先编程系统而言，他们将如何功能(达到它们的产出)在特定情况下(与具体的投入)，以及它们的运作是高度依赖于数量和质量的可用数据对于一个特定的任务。对开发人员很难知道，当训练完成，甚至什么系统的了解。同一计算机学习系统可有不同的反应，即使当暴露于同样的情况，以及一些系统可能导致不可预见的解决方案，以一个特定的任务。 50 这些核心问题是加剧了当继续系统"学习"并更改其后部署的特定任务。不可预知性质的机学习系统，这可以是一个优势，在解决任务，可能不是一个问题的良性任务，例如玩游戏， 51 但它可能是一个重大关切的适用于武装冲突，例如自主武器系统，网络战争和决策支持系统(见第3.1–3.3).

让事情更加复杂，许多机学习系统的 不透明 ; 他们生产的产出，是不可以解释 . 这个"黑箱"的性质使它难和在许多情况下，目前不可能–为用户要理解如何和 为什么 该系统达到其产出从一个给出的输入；换句话说，缺乏explainability和解释性.

这些问题的不可预测性和缺乏explainability使 建立信任在大赦国际和机学习系统的一个重大的挑战 . 另外一个问题信任是偏见，从而可以有许多方面，无论是加强现有的人的偏见或引进新的设计和/或使用的系统。一个常见的形式是偏离培训的数据，在那里限制了在数量、质量和性质的可用数据培训的一个算法的特定任务可能引入偏见进入该系统的运作相对于其任务。这可能将是一个重大问题适用于武装冲突，在那里高质量、具有代表性的数据对特定任务是稀缺的。然而，其他形式的偏见可能来自加权赋予的不同的元素数据的系统，或以其与环境的相互作用的期间的任务。 52

关切有关的不可预测性、缺乏透明度或explainability和偏见都已记录在各种应用 的人工智能和学习机，例如在图像识别、 53 面部识别 54 和自动化的决策系统。 55 另一个根本问题与应用程序的大赦国际和机学习，例如计算机的愿景，是 语义差距 ，这表明，人类和机器进行任务非常不同。 56 计算机视算法的训练有素的图像的特定科目，可能能够识别和分类的那些学科在一个新的形象。然而，算法没有理解的含义或概念的这一问题，这意味着它可以犯错误，一个人永远不会，例如进行分类的对象为完全不同的东西并不相关。这显然提出严重关切在某些应用武装冲突中，如在自治的武器系统或决策支持系统为目标(见第3.1和3.3).

使用人工智能和学习机在武装冲突将有可能更加难以相信的情况下，可以假定的敌人将适用反措施，例如试图欺骗或欺骗每一个其他的系统。 机学习系统特别容易受到敌对的条件 ，无论是修改环境设计欺骗的系统或采用另一台计算机学习系统以产生对抗性的图像或条件(一个生成敌对的网络中，或GAN). 在一个众所周知的例子中，研究人员欺骗了一个图像分类的算法进识别有3D-印龟作为"枪"，以及一个3D-印棒球作为一个"espresso". 57 风险这一类型的问题也应该明确一个基于AI图像识别系统被用在武器系统或针对的决定。

结论和建议

大赦国际和机学习系统可能具有 深远的影响方面所发挥的作用人类在武装冲突 ，特别是关于：增加自主权的武器系统和其他无人系统；新形式的网络和信息战；并且，更广泛地说，性质的决策。在红十字国际委员会、各国政府、军队和其他相关行为者在武装冲突中必须追求一种真正的 以人为中心的方法来利用大赦国际和机学习系统基础上的法律义务和道德责任 . 使用AI在武器系统必须非常谨慎。

作为一般原则， 必须维护人的控制并作出判决中应用的大赦国际和机学习任务，并决定，可能严重影响人们的生活 ，特别是在这些任务和决定构成风险的生活，并在他们管辖的特定规则的国际人道主义法。 大赦国际和机学习系统保留的工具，必须被用来服务于人类行为者，并增强人类的决策者，而不是替代他们 .

确保人的控制并作出判决的AI-启用物理和数字系统，目前这种风险将 需要遵守国际人道主义法，从伦理的角度，保持一个衡量人类在武装冲突 . 为了人类有意义地发挥自己的作用，这些系统可能需要设计用来 告知决策人的速度，而不是加速决策机速度 ，并超越人为的干预。这些考虑因素最终可能导致限制在设计和使用的大赦国际和机学习系统，以允许有意义和有效的人控和判决，根据法律义务和道德责任。

总体原则的人控和判决书是一个重要的组成部分，但它本身是不够的防范潜在的风险和机学习，在武装冲突。 其他有关方面考虑 将是确保: 可预测性 和 可靠性 或安全的系统的操作和后果，结果； 透明度 或 explainability –在如何系统的功能和为什么它达到一个特定的输出；和 缺乏偏见 或公平–在设计和使用的系统。这些问题需要解决，以便 建立信任 的使用给予系统，包括通过 严格检验在现实环境 之前被投入运行。 58

大自然的人–AI相互作用需要可能将取决于道德方面的考虑以及特别是国际人道主义法规则和其他适用的法律适用的情况下。因此， 一般原则可能需要补充特定原则、准则或规则在使用的大赦国际和机学习特定应用程序和在特定情况 .

在红十字国际委员会看来，一个最紧迫的关切问题之间的关系是人类和机器中的决定杀害、伤害、破坏或摧毁， 至关重要的是确保人控制的武器系统和使用武力 在武装冲突。越来越自主的武器系统，无论是AI-启用或不，是有风险的有效而使这些决定传感器和算法，一个远景，提出了法律和道德问题必须解决的一些紧迫性。

红十字国际委员会已经提出的关键因素的人的控制 必须遵守国际人道主义法和满足道德问题为基础的国际商定的上限自治，在武器系统，包括管制武器的参数，控制对环境和控制通过人机互动。 59 这清楚地看到红十字国际委员会，限制是必要的类型的自主武器的使用和在哪些情况下使用它们。 60

这 人控制为基础的方法 对自治的武器系统 也将相关的更广泛应用的人工智能和学习机在决策中的武装冲突 ，特别是在有重大风险对人的生命和特定国际人道主义法规则的适用，例如使用决策支持系统的目标和拘留。

1 红十字国际委员会"的专家意见在边界的人工智能和冲突"，红十字委员会人道主义法律和政策的博客，9月209,available at: https://blogs.icrc.org/law-and-policy/209/03/9/expert-views-frontiers-a... . 01
2 红十字国际委员会总结文件为联合国秘书长高级别小组的数字合作，月019,available at: https://digitalcooperation.org/wp-content/uploads/019/0/ICRC-Submission... . 02
3 缔约国的附加议定书的日内瓦公约》有义务进行法律审查新武器在其发展和获取和使用之前在武装冲突。对于其他国家，法律审查是一个常识性的措施，以帮助确保国家武装部队可以进行敌对行动在按照其国际义务。 03
4 红十字委员会、国际人道主义法和挑战的当代武装冲突，报告的第33次国际会议的红十字会和红新月会、日内瓦、日2019(红十字委员会挑战报告2019年)，第18至29,available at: www.icrc.org/en/publication/27-international-humanitarian-law-and-chall... ;红十字委员会、国际人道主义法和挑战的当代武装冲突，报告第32届国际会议的红十字会和红新月会、日内瓦、日2015年(红十字委员会挑战报告2015年)，pp.38-7,available at: www.icrc.org/en/document/international-humanitarian-law-and-challenges-... . 04
5 的"人道原则"和"决定了公共良知"中提到第1(2)条的附加议定书》，并在前言的第二号附加议定书的日内瓦公约，称为马顿斯条款，这一部分的习惯国际人道主义法。 05
6 红十字国际委员会的陈述的某些常规武器公约》(《常规武器公约》)的政府专家组的致命的自主武器系统，日内瓦，25日至29日2019年，可在： https://tinyurl.com/yyeadno3 . 06
7 红十字委员会挑战报告2019年，上文注4,pp.29日至31日;Neil Davison,"自主的武器系统根据国际人道主义法"观点的致命的自主武器系统，联合国裁军事务厅不定期文件第30号日201,available at: www.icrc.org/en/document/autonomous-weapon-systems-under-international-... . 07
8 红十字委员会、伦理和自治的武器系统：一个道德基础的人控制?, 专家会议的报告，日内瓦，3月201,available at: www.icrc.org/en/document/ethics-and-autonomous-weapon-systems-ethical-b... . 08
9 红十字委员会、红十字委员会的评论上的"指导原则"的《特定常规武器公约》政府专家小组关于"致命的自主武器系统"，日内瓦，日2020年，可在： https://documents.unoda.org/wp-content/uploads/2020/07/20200716-ICRC.pdf ;圣文森特Boulanin,Neil Davison，Netta Goussac和农业部Peldán卡尔松限制的自治，在武器系统：确定实用要素，人类的控制，红十字委员会和斯德哥尔摩国际和平研究所，日2020年，可在： www.icrc.org/en/document/limits-autonomous-weapons ;红十字国际委员会，"发件人控制"，联合国文件 CCW/MSP/2018/WP.3工作文件《特定常规武器公约》会议的缔约国，20个月2018年，可在： https://tinyurl.com/y3c6aa6 . 09
10 红十字国际委员会声明，《特定常规武器公约》政府专家组的致命的自主武器系统的议程项目6(b)，日内瓦，27至31日2018年，可在： https://tinyurl.com/y4cql4to . 10
11 英里布伦戴奇et al., 恶意使用的人工智能：预测、预防和减轻人类的未来研究所，牛津大学，日2018年。 11
12 .联合国裁军研究所(裁研所)、武器化日益自治的技术：自治的武器系统和网络操作，2017年。 12
13 由主张，国际人道主义法适用于网络运作，红十字国际委员会是在任何方式纵容的网络战，也不是纵容在军事化的网络空间：红十字委员会挑战报告2015年，上文注4,pp.38-44的. 13
14 红十字委员会、潜在的人力成本的网络操作、专家会议的报告，日内瓦，可2019年，可在： www.icrc.org/en/document/potential-human-cost-cyber-operations . 14
15 史蒂文*山和亚马桑，"人工智能和问责制：一个跨国法律视角"，在很大的数据和人工智能用于军事的决策，STO会议程序STO-MP-IST-160、北约、2018年。 15
16 红十字国际委员会、专题讨论会的报告：数字的风险，在武装冲突的情况下，日2019年，p. 9日，可在： www.icrc.org/en/event/digital-risks-symposium . 16
17 Dustin A.Lewis,Gabriella Blum和Naz K.Modirzadeh、战争-算问责制，哈佛法学院法律程序的国际法和武装冲突，日2016年。 17
18 美国，"执行国际人道主义法在使用的自治，在武器系统"，工作文件《特定常规武器公约》政府专家小组三月2019年。 18
19 Ashley Deeks,"预测敌人"，弗吉尼亚州的公共法律和法律理论研究文件第2018-21月2018年，可在： https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3152385 . 19
20 文森特Boulanin(ed.), 影响的人工智能上的战略稳定和核危险，卷。 1：欧洲-大西洋的观点，斯德哥尔摩国际和平研究所，斯德哥尔摩，可19. 20
21 Hill和S.N.马桑,上文注15。 21
22 Lorna McGregor，"需要有明确的治理框架的预测算法在军事设置"，红十字委员会人道主义法律和政策的博客,28March2019年，可在： https://blogs.icrc.org/law-and-policy/2019/03/28/need-clear-governance-... ;AI现在研究所、大赦国际在报告2018年，纽约大学、日2018，第18–. 22
23 红十字国际委员会，上文注16,p. 8. 23
24 红十字国际委员会和布鲁塞尔的隐私枢纽，手册中的数据保护人道主义行动，2nd ed., 日内瓦，可2020年，可在： www.icrc.org/en/data-protection-humanitarian-action-handbook . 24
25 红十字国际委员会和国际联合会红十字会和红新月会，该基本原则的国际红十字和红新月运动：道德规范和工具，用于人道主义行动，日内瓦，到2015年，可在： https://shop.icrc.org/les-principes-fondamentaux-de-la-croix-rouge-et-d... . 25
26 参见，例如，合作伙伴关系大赦国际的重点放在安全的人工智能和机械学习技术的作为"一个紧迫的短期问题，与应用于医药、运输、工程、计算机安全和其他领域铰链上的能力，使艾系统的行为安全，尽管不确定的，未预料到的和潜在的敌对环境". 伙伴关系在大赦国际，"安全至关重要的艾：《宪章》",2018年，可在： www.partnershiponai.org/working-group-charters-guiding-our-exploration-... . 26
27 红十字国际委员会，上文注6。 27
28 联合国的报告2018年会议的政府专家组在新兴技术领域的致命的自主武器系统，联合国文件 CCW/GGE.1/2018/3,23日2018，第三。A.26(b)，三。C.(f),available at: http://undocs.org/en/CCW/GGE.1/2018/3 . 28
29 例如，见的发言，在《特定常规武器公约》政府专家组的致命的自主武器系统，日内瓦，25日至2019年，可在： https://tinyurl.com/yyeadno3 . 29
30 苔丝布里奇曼，"生存能力的数据依赖的预测系统在武装冲突拘留"、红十字委员会人道主义法律和政策的博客，8月2019年，可在： https://blogs.icrc.org/law-and-policy/2019/04/08/viability-data-reliant... . 30
31 未来的生活研究所，"阿西罗玛艾原则",2017,available at: https://futureoflife.org/ai-principles . 31
32 欧洲联盟委员会、道德操守准则的值得信赖大赦国际，高级别专家小组的人工智能，8月2019年，pp.15-16,available at: https://ec.europa.eu/digital-single-market/en/news/ethics-guidelines-tr... . 32
33 经合组织，"建议理事会对人工智能"，经合组织/法律/0449 22日2019年，可在： https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449 . 33
34 北京学院人工智能的"北京AI原则"，28日2019年，可在： https://baip.baai.ac.cn/en . 34
35 谷歌，"AI谷歌：我们的原则"的关键词，7月2018年，可在： www.blog.google/technology/ai/ai-principles . "我们将设计AI系统，提供适当机会的反馈意见，有关解释，并提出上诉。我们AI技术，将受到适当的人力方向和控制。" 35
36 Microsoft，"微软AI原则"，2019年，可在： www.microsoft.com/en-us/ai/our-approach-to-ai ；丰富Sauer,"六项原则来指导Microsoft的面部识别工作"，Microsoft博客,17日2018年，可在： https://blogs.microsoft.com/on-the-issues/2018/12/17/six-principles-to-... . 36
37 IBM"IBM的原则，为信任和透明度"、THINKPolicy博30日2018年提供： www.ibm.com/blogs/policy/trust-principles . 37
38 DoD，摘要2018年国防部的人工智能战略，2019年。 38
39 国防部、国防创新委员会，大赦国际原则：建议在有道德的利用人工智能通过国防部，有31日2019年。 39
40 DoD,"国防部采用的道德原则的人工智能"，新闻稿，24个月，到2020年可在： www.defense.gov/Newsroom/Releases/Release/Article/2091996/dod-adopts-et... . 40
41 法国国防部，"佛罗伦萨的一要高效、健全和适当地控制的人工智能"，一种，10个月2019年，可在： www.defense.gouv.fr/english/actualites/articles/florence-parly-souhaite... . 41
42 红十字委员会、红十字委员会战略2019-2022，日内瓦，2018年，p. 15,available at: www.icrc.org/en/publication/4354-icrc-strategy-2019-2022 . 42
43 红十字国际委员会，以上注8,p. 22. 43
44 谷歌，问题的观点在艾治月2019年，第23-24页，可在下: http://ai.google/perspectives-on-issues-in-AI-governance . 44
45 R.绍尔，上面注36："我们将鼓励和帮助我们的客户部署的面部识别技术的方式，确保适当水平的人控制，用于使用可能影响人的相应的方式。" 45
46 红十字国际委员会，以上注8,p. 13. 46
47 谷歌，上文注44,p. 22. 47
48 Dario Amodei et al., 具体问题AI安全、康奈尔大学，伊萨卡，纽约州，到2016年，可在： https://arxiv.org/abs/1606.06565 . 48
49 红十字国际委员会的自主权，人工智能和机器人技术：技术方面的人控制，专家会议的报告，日内瓦，八月2019年，可在： www.icrc.org/en/document/autonomy-artificial-intelligence-and-robotics-... . 49
50 乔尔曼et al., 令人惊讶的创造性的数字的变化：集合的轶事的进化计算和人工生命研究社区、康奈尔大学，伊萨卡，纽约州，2018年提供： https://arxiv.org/abs/1803.03453 . 50
51 David银et al., "掌握的游戏去没有人知识",Nature,Vol. 550号7676,19日2017年。 51
52 .裁研所、算法的偏见和武器化日益自治的技术：一个引物，2018年。 52
53 马赫特森，"海龟或步枪？黑客很容易骗AIs看到错误的事情"，Science,19July2018年，可在： www.sciencemag.org/news/2018/07/turtle-or-rifle-hackers-easily-fool-ais... . 53
54 AI现在研究所，上面注22,pp.15-17. 54
55 同上，第18日至22. 55
56 阿诺德*W.M.Smeulders et al., "基于内容的图片检索时结束的早年"，IEEE交易模式分析和机的情报，Vol. 22时，第12号，2000年。 56
57 M.赫特森，上文注53. 57
58 Netta Goussac,"安全网或纠缠不清的网页：法律评论的艾武器和战斗"，红十字委员会人道主义法律和政策的博客月18日2019年，可在： https://blogs.icrc.org/law-and-policy/2019/04/18/safety-net-tangled-web... ;达斯汀A.Lewis,"法律审查的武器、作战手段和方法，涉及人工智能：16个元素的考虑"，红十字委员会人道主义法律和政策的博客中，有21日2019年，可在： https://blogs.icrc.org/law-and-policy/2019/03/21/legal-reviews-weapons-... . 58
59 红十字国际委员会，评注的"指导原则"，上文注9条；红十字国际委员会，"发件人控制"，上文注9；五、Boulanin et al., 上述注释9中。 59
60 红十字国际委员会声明，《特定常规武器公约》政府专家组的致命的自主武器系统，日内瓦）21日至25日2020年，可在： https://documents.unoda.org/wp-content/uploads/2020/09/20200921-ICRC-Ge... . 60

下载PDF

简介