简介

机器做出真正独立和自主决策的能力是许多人的目标，从那些希望创建更具反应性和反射性的系统以帮助人们日常生活的人，到那些希望开发能够模仿和执行士兵职责同时消除战斗局势威胁的军事机器人的人。事实上，可以提出这样的论点：人工智能（AI）有潜力利用更多的资源，因此可以做出比人类同行更“明智”的决策，从而解放人们的时间，使他们摆脱风险，并提供更快、更准确的决策。这不仅在效率和效力方面创造了更大的机会，而且应该出于真正的道德原因。事实上，战略家托马斯·亚当斯表示，由于人类可以说是任何武器系统中最有价值、最脆弱和最难的组成部分，因此目前显然需要尽可能地将其从过程中移除，并消除任何相关的危险¹1参见Adams，“未来战争”64.查看所有笔记因此，政治领导人和私营公司都在开发机器方面进行了大量投资，这些机器可以评估局势、做出决定，并在减少人力参与的情况下实现。值得注意的是，自动化和自主决策受到重大关注的领域之一是武器及其军事应用。作为“不可避免的事件”，²2 Markoff，“软件引导的武器”。查看所有注意事项大规模的支出计划正在顺利进行，以将人类从循环中解放出来，这样“机器人将自动操作，以定位自己的目标，并在没有人类干预的情况下摧毁它们。“³3 Sharkey，”自动化战争“，141.查看所有笔记

然而，尽管在开发具有越来越灵敏的传感器、更大的数据存储库和更快的处理器的武器方面采取了重大举措，尽管在如何采用既定的伦理框架并使其适用于人工智能编程方面有一些重要的工作，但在如何将自主武器概念化方面存在一些先前的和基本的伦理问题，其影响表明，在理论和实践中，将人从决策过程中移除会使这一努力变得不道德。事实上，有人会认为，人工智能机器可以是自主的，也可以拥有自主性，这一区别造成了两种截然不同的伦理场景，导致了不允许在武器上用人工智能取代人类的两种不同原因。对于“自主”武器，尽管人工智能可以根据提供给它的道德规则和标准进行越来越复杂的计算，但它仍然是操作者意志的对象，只能在提供的基本约束条件下行动。这种对人工智能意志的限制意味着其人类操作员最终要对其行为负责。此外，通过依赖机器学习或外推，决策过程与人类操作员之间的距离越来越远，但不会削弱他们对其行为应承担的道德责任。这使得它的人类主人在道德上对与他们自己的决策越来越疏远的事情负责，迫使他们承担道德责任、指责，并在必要时惩罚他们无法直接控制或合理预期的最终行为。相比之下，人工智能武器要做出真正独立的决定，就需要它具有自主性，并有能力对其给出的所有输入和参数进行反思，并有可能产生分歧。如果有可能达到这个奇点，那么给出的指令可能会被忽略，决策最终将是不可靠的

军事武器、人工智能和伦理思想的交汇点

一些向自主武器发展的最初举措包括具有非常简单的刺激响应机制的系统，无需人类协助决定射击。例如，韩国的防御型SGT-A1装甲哨兵机器人，或美国舰载MK15 Phalanx近距离武器系统，或以色列的铁穹反导弹电池，其中射击的决定取决于一个简单的刺激，例如一个人越过一条特定的线⁴4参见Mayer“The New Killer Drones”772.查看所有笔记然而，虽然没有人参与决策，但这不一定是级别或这里真正考虑的自主武器类型，也不是军方所瞄准的武器类型。在刺激和反应之间有一个有限的决策过程，没有对拍摄或不拍摄的决定进行评估；该过程是自动的且不是自主的。一个更相关的例子是无人机、无人机或无人机的大量使用，这些无人机在远离实际战场的地方进行远程控制。目前，远程驾驶无人机包括MQ1“捕食者”和MQ9“收割者”，它们“凭借强大的机载传感器和显著的徘徊能力，为战场指挥官提供了前所未有的态势感知，以识别、瞄准和摧毁（‘查找、修复、完成’）对手。”。，766.查看所有笔记美国已经使用这种系统向7000多架无人机展示了如何“追踪也门的恐怖分子、朝鲜的导弹、墨西哥的贩毒集团和北达科他州的偷牛贼”，并且在许多不同的交战场景中，它们已被证明是一种首选武器⁶6参见Teschner，“On Drones”，79。查看所有注释然而，尽管这些系统可以通过搜索、跟踪和监视目标来显著减少人的角色，但重要的是，它们仍然需要远程操作员来决定何时使用致命武力。这促进了美国提出的论点。国防部表示，需要更高效的机器，这些机器依赖于“使用模式识别算法对原始情报数据进行机载自动分析，以过滤或优先处理信息”，以减少“总体数据量和人类分析师处理数据的需求”，并最终将人类从回路中完全移除⁷7 Mayer“新杀手无人机”771。查看所有笔记

其论点是，自主系统可以“使用面部识别软件识别恐怖分子，并使用数字地图预览导弹‘bug飞溅’，以防止人员伤亡，从而做出更快、更少偏见的决策。“⁸8 Teschner，”On Drones，“79.查看所有注释这提供了战术和战略优势，被认为是保持军事优势的“关键属性”⁹9参见美国国防部，“无人系统综合路线图”67；Arkin，“管理致命行为”。查看所有笔记展望未来，人工智能的目标是开发具有更广泛战略能力的系统，在这些系统中，人工智能可以决定如何以及何时通过战略决策来执行更广泛的任务概要，例如何时启动任务、针对谁以及需要什么类型的部队¹⁰10参见美国国防部，“无人系统集成路线图”67。查看所有注释这一级别的决策隐含在“无人系统综合路线图”中，其中自主武器是“定义为一个实体根据其对世界、自身和情况的知识和理解，独立开发和选择不同行动方案以实现目标的能力。”，创造必要的人工智能需要编程，“使它们（机器）能够（或多或少地）自主运行，这意味着它们在为大部分行为设计之后，可以在没有人为原因干预的情况下运行。”，“概述”，1.查看所有注释对于伦理理论家和专门研究机器伦理的人来说，争论的焦点是确定哪一个伦理框架或原则集最合适，并且可以最好地部署在自主人工智能机器中，这样它就可以做出非常复杂、发展性、，以及执行或至少效仿道德决策的反应性决策<1313参见Allen、Varner和Zinser，“Prolegemena”；克拉克，《阿西莫夫机器人定律》；Gips，《走向道德机器人》；Veruggio、Solis和Van der Loos，《机器人伦理学》。另请参阅Moor，《机器伦理学的自然、重要性和困难》。查看所有注释通常称为“机器道德”，<1414 Malle，“整合机器人伦理和机器道德”，243.查看所有笔记中心论点是，这是可能的，因为“道德决策可以理解为行动”在约束、原则、价值观和社会规范在决定哪些行为态度和反应是可接受的方面起着核心作用的条件下进行选择，“<1515 Wallach、Franklin和Allen，“概念和计算模型”458。查看所有涉及某些标准元认知的注释，¹⁶16参见Sloman，“需要什么类型的体系结构”。查看所有注释所有这些注释都可以开发成反映人类所经历的相同过程的决策计算模型¹⁷17参见Wallach、Franklin和Allen，“概念和计算模型”。查看所有注释最终的主张是“伦理可以计算，可以被尖锐化到可以编程到机器中。”。另请参见Bostrom和Yudkowsky，“人工智能伦理”。查看所有笔记

然而，这些发展和雄心并非毫无争议。事实上，对一些人来说，这项技术还没有准备好，无法实际收集人工智能所需的数据和处理信息，从而使机器在道德上可行。著名的机器人专家诺埃尔·沙基（Noel Sharkey）就技术的局限性以及这对自主无人机的道德应用可能产生的影响发表了大量文章。Sharkey认为，无人机“没有足够的感官或视觉处理系统来区分战斗人员和平民”，可用的传感器，如“相机、红外传感器、声纳、激光、温度传感器和雷达”，可能能够“告诉我们某样东西是人类的，但它们不能告诉我们更多其他信息。“¹⁹19 Sharkey，”自主机器人战争的不稳定性“，788。查看所有笔记此外，这种传感器可以很容易地被欺骗或绕过，这一点已经从个人破坏面部识别软件的容易程度上得到了证明²⁰20参见同上。查看所有注释其他批评包括彼得·阿斯罗的论点，即使用自主武器是不道德的，因为它们降低了进入战争的门槛²¹21参见Asaro，“机器人战争会是怎样的？”查看所有笔记在Asoro看来，使此类系统更加自主，或更大程度地移除人类只会进一步降低成本，从而使发起攻击的可能性更大

然而，尽管没有减损这些重要的关注点，但在我们能够就技术将理论付诸实践的能力发表声明之前，甚至在我们能够开始研究哪些伦理框架之前，或者仅仅是战争理论，例如，围绕如何将这些武器的自主性概念化，存在一些必要的预先问题和辩论，这些问题和辩论对我们是否以及如何允许人工智能做出关于动能或致命力的道德决定具有严重影响。也就是说，有人认为，具有高度机器学习自动化的自主武器与具有实际自主性的实体之间存在着关键区别²²22这一区别在文献中并不清楚，其中确立的主要界限是手术期间不同水平的人工干预。这忽略了本文的论点，即即使是没有直接人类干预的系统，也没有达到“自治”的高标准，仍然以伦理上重要的方式涉及人类。见Scharre和Horowitz，“自治简介”16；Mayer，《新杀手无人机》，772；美国国防部，《无人系统综合路线图》，67。查看所有注释这一区别的含义是，首先，它经常被忽视，这会导致对谁应对造成的伤害负责的错误概念化，即越来越多地使用高度复杂的基于机器学习的自动化将活动定义为由人工智能“决定”的活动，因此，人工智能要对决策负责，因为它与创造者之间的距离太远，因此责任应由他们承担。然而，有人认为，在自主机器中，决策过程仍然完全由人类创造者决定。人工智能的任务是实施该计划，并受其限制，因此，人类从未真正被从系统中排除，并对做出道德决策的类型和能力具有重要的道德控制和影响。尽管决策是从人类身上去除的几层学习行为，机器最终受到其编程的约束；它不是一个完整的代理，尽管能够模仿一个代理。尽管个人不参与直接决策循环，但即使是最复杂的机器学习自主武器，也以伦理上重要的方式涉及到人。因此，对它所造成的伤害的责任在这种不正确的概念化中失去了。相比之下，一台机器要想拥有自主权并被认为对所做的决定负责，就应该让它自己决定评估一种情况的正确方法，并自己进行评估和行动，这将需要远远超出当前愿望的自我反思，并将在如何保证其与创作者达成一致而不限制其自主性的问题上产生单独的道德挑战。否则，人工智能将无法预测，无法在军事环境中发挥任何实际作用。因此，区分自主行动和拥有自主权很重要，因为这突出了所产生的不同的道德含义。这并不是说自主机器不能执行合乎道德的决定和行动；也不是说，如果一台机器拥有真正的自主性，那么它在决策时就必然是合乎道德的。相反，这种区别突出表明，我们正在处理两种不同的可能的道德实体，需要根据其自身的特定能力、结构和用途进行检查

自主但没有自主

对于一个AI来说，自主行动意味着机器在不监督其决策过程的情况下行动，尽管决策是基于一个预先确定的框架，在该框架中，各种刺激产生了一个或多个相应的动作。目前，最先进的系统只是半自主武器，其范围相对有限，仍然需要一些人为因素。这包括海军宙斯盾级巡洋舰的方阵系统，一旦人类开火，“能够自主执行搜索、探测、评估、跟踪、交战和杀伤评估功能”²³23 Mayer“新杀手无人机”772。查看所有注释波音公司的SLAM-ER具有“自动目标识别”功能，允许其在到达作业区域后选择目标²⁴24麻雀“杀手机器人”，63.查看所有注释，可以“搜索、检测、识别、攻击和摧毁战区导弹防御系统、地空导弹 … 以及军事利益目标”²⁵25同上。查看所有注释以及挪威的联合打击导弹和以色列的Lottering Harpy巡航导弹，它们利用了高水平的自我引导²⁶26参见Mayer“New Killer Drones”772。查看所有笔记

自主决策和最先进的当前系统可能实现的下一步是人格攻击，个人身份被用作发起攻击的参数²⁷27参见Currier，“我们所知道的一切”。查看所有笔记这将包括无人机瞄准“已知个人”，“对嫌疑人的位置和身份有高度的信心”。^{；无人机；Kozaryn，《纸牌》；Hirschkorn，“仅限成员”；哥伦比亚广播公司/美联社，“美国驻伊拉克特使”。查看所有注释。这种瞄准能力可以通过面部识别来增强，从而为应用程序提供更大的特异性。在选择目标和决定执行方面，这种自动化水平的关键决策过程仍然很大程度上取决于操作员。然而，未来对自动化武器的渴望远远超出了这一阶段，因为开发者和政府热衷于使自动机器能够评估“允许系统自行决定如何操作的法律和战略”，美国国防部，《无人系统集成路线图》，67.查看所有注释，以及“系统可以选择自己的行为以响应不断变化的任务参数”。根据美国的说法。国防草案计划人员包括使用模式识别算法，以过滤信息或对信息进行优先级排序，从而减少总体数据量和人类分析师处理数据的需求。”³¹31同上。查看所有笔记一个例子是无人机，它能够在执行“签名攻击”方面自行做出决定。签名攻击的过程与人格攻击中使用的过程有根本不同，因为在攻击之前，目标的身份是未知的。相当地通过被认为是危险（通常是恐怖）活动的指示的生活方式或行为模式来识别目标：“招牌式袭击是指美国在不知道被袭击者的确切身份的情况下进行目标锁定。相反，这些人与预先确定的‘招牌’或美国与武装分子活动或协会有关的行为相匹配。美国官员通常披露的招牌式袭击过程的细节少于个性袭击的细节，即使是向媒体透露的细节。”a、 “³²32哥伦比亚法学院人权诊所，无人机对平民的影响，8.查看所有注释例如，签名攻击目标是“具有特定签名或定义与恐怖活动相关的特征，但其身份不一定已知的人群”。“³³33 Klaidman，杀死或捕获，41。查看所有笔记此外，招牌式袭击还针对训练营和“武装分子控制地区的可疑营地”等物理位置。³⁴34 Becker和Shane，“秘密'杀戮名单”。“查看所有注释}

在为这种类型的自动武器开发道德框架方面，争论的焦点往往是哪个道德框架最适合使用。这种“自上而下”的方法认为，“人工道德代理人可以通过将道德原则编程到人工制品中来发展，从而使他们的行为和行为受到这些规则的约束。”。有关不同方法（“自上而下”、“自下而上”和“混合”）的更多信息，请参阅Colin、Smit和Wallach的《人工道德》。查看所有注释自上而下的方法采用了现有的伦理框架，即功利主义、道义论和正义战争理论，并将其翻译为适合于自动机器和人工智能。这意味着可以借鉴长期以来的文献，以及现有的伦理辩论和例子来帮助设定参数。例如，这样的可编程框架可以包括在人工智能中灌输康德的绝对命令，其中创建了禁止活动的绝对道德规则，提供了可以直接编程到人工智能中的允许和禁止活动的明确绝对规则³⁶36参见Allen、Varner和Zinser，“Prolegemena”；Stahl，“计算机遵守类别命令”；鲍尔斯，《康德机器的前景》；Tonkens，“机器伦理的挑战”。查看所有注释或者可以使用功利主义的“道德资产负债表”方法，其中可以权衡和比较活动的成本和收益，以做出判断，提供苏珊·安德森所称的“道德算术”，³⁷37Anderson，《机器伦理的哲学关注》，162.查看所有笔记，詹姆斯·摩尔认为，这是一个“可计算”的框架，通过确定其“强度、持续时间、确定性、接近性、繁殖力”所产生的“快乐或痛苦的价值”来量化行动 … 和纯度 … 以及范围。”³⁸38Moor，“道德可计算吗？”3.另见Allen、Varner和Zinser，“Prolegemena”；Grau，“没有‘我’。”查看所有注释或者可以使用威廉·戴维·罗斯的伦理框架，该框架通过发展限制有害活动的初步义务或义务，结合了神学和道义观点的许多属性，除非有更强烈的义务凌驾于这些限制之上并要求采取行动³⁹39参见Anderson、Anderson和Armen，“计算伦理方法”；安德森，“哲学关注”；Anderson、Anderson和Armen，《走向机器伦理》。查看所有笔记或者，正如罗纳德·阿金（Ronald Arkin）所建议的那样，交战规则和战争法则可以通过使用指导人类决策过程的规则书来帮助人工智能做出决策该程序以类似于士兵使用的方式和词汇来评估威胁、武力升级和决策处理架构⁴⁰40参见Arkin，“管理致命行为”。查看所有注释

然而，此选项列表仅用于突出道德争论的关键点。也就是说，我们如何确定哪个道德框架应该成为道德规划的基础，这在讨论使用政治暴力时变得特别复杂和不确定。康德的绝对命令、正义战争传统和功利主义创造了截然不同的规定性和限制性标准。虽然在评估战争行为和政治暴力的使用方面，一些伦理框架被认为更合适，也被更广泛地接受，但“正义的战争传统”是其中最突出的一个，在一些基本伦理原则上达成一致并不是一个伦理计划。事实上，即使是源自正义战争理论的广泛法律大炮，也可以说不够详细。国际法通常限制活动，而不是规定并依赖一定程度的人类判断来评估对自身或其目标的威胁，并最终对所作出的决定承担责任。这并不是说，伦理灰色地带或伦理辩论本身是错误的，或者两种不同的伦理计算无法合理地达成并被认为是合法的（或者至少是可以原谅的）。这也不意味着理论上，机器在任何给定的情况下都无法做出与人类相似的决策（理论上，这一过程可以被模仿，尽管考虑到所涉及的复杂性，存在明显的实际挑战）。相反，这些灰色地带表明，一个实体必须做好准备，为所做的决定承担责任。关于使用哪种道德框架的决定，道德框架的解释方式，以及人工智能中编程的“好”和“坏”价值观都是固有的规范性负载，因此它们需要有人承担这套决定的道德分量

其次，即使我们可以抛开与选择“正确”的伦理框架相关的问题（并忽略许多理论假设反映了一种非常特殊的文化遗产，因此选择其中的任何一种都已经是编程权威的统治行为），并将正确的产品和缺点提炼到AI程序中，机器学习和外推的使用打开了道德不稳定的另一个点。也就是说，如果我们遵循自上而下的方法，那么编程的水平必须非常规范，达到拥有并编程绝对完美知识的程度。所需的预先知识水平必须涵盖人工智能可能面临的所有可能类型的场景以及对它们的正确响应，这可能远远超出任何程序员的能力。考虑到人类互动的不可预测性，如何将一组未知的情况最好地封装成某种形式的可编程算法的复杂性越来越难以编程。为了避免这种超级特殊性，可以提出“机器学习”，即给人工智能提供一般场景和正确的响应，从中学习并为未来活动制定响应。其目的是让这些人工智能机器利用他们所掌握的知识，并从所提供的原理中推断出答案，这与人们期望个人这样做的原因大致相同。这仍然不是自治，因为给定的规范性代码级别太高，而反射性代码级别也太低，而是一种高度复杂和自适应的自动化形式。这更接近于“自下而上”的方法，即为人工智能提供基本规则或基本参数，以通过奖励和纠正，基于广泛的刺激制定自己的决策过程和结论⁴¹41参见Allen、Smit和Wallach，“人工道德”。查看所有笔记这种方法的好处是，人工智能可以超越其原始编程，为类似但以前看不见的场景设计解决方案

然而，一旦建立了这种推断的中间地带，在人工智能代码之间的空间中做出什么以及如何做出决策方面，就会出现其他问题。鉴于现有信息，外推的本质是最好的猜测，而且从已知因素、情景和结果中得到的信息越多，偏离预期或合理的可能性就越大。机器可以得出以前没有考虑过的答案，但这并不意味着因此，人工智能应对其造成的任何损害负责。它仍然不是一个道德代理人，因为它的意志最终受到某种程度的限制，尽管它能够在最初的程序之外得出结论，因此它造成的任何伤害都必须归还给某个权威。此外，这种机器学习已经被证明既抑制了程序员的偏见，又放大了他们的偏见。代码和数据不是中性的。现有的数据集已经反映了创造这些数据集的社区的种族和文化偏见，并将其输入到人工智能中，只会将这些偏见嵌入到人工智能的编程和实践中，同时也会使其看起来中立和科学真理

当人工智能面临道德困境时，这个问题变得最严重。当一个代理人面临道德理由去做（或不做）他们面前的每一个行为，但他们不能同时做这两件事时，就会产生道德困境。代理人将承担多重相互冲突的责任，但似乎注定要道德失败；无论他们做什么，他们都会做错事，比如造成伤害或违反道德准则。尽管有人认为，一个合适的道德框架不应引发道德困境，例如康德、密尔和罗斯，即使没有真正的道德困境，但仍有可能出现无论做什么都不可避免的伤害，尤其是在处理军事相关情况时。事实上，无人驾驶汽车的研究已经提出了一些非常现实的难题，无论做出何种决定，其结果都会对某人造成严重伤害。例如经典巨魔问题的更新版本可能是“隧道问题”，其中“你乘坐一辆自动驾驶汽车沿着一条单行道山路行驶，这辆车正在快速接近一条狭窄的隧道。就在进入隧道之前，一名儿童试图横穿公路，但在车道中央绊倒，从而有效地堵塞了隧道。这辆车有两种选择：撞上并杀死孩子，或者突然撞到隧道两侧的墙上，杀死你。”。“⁴²42参见米勒，《道德困境》；Lin，“自动驾驶汽车的伦理”。查看所有笔记在这种情况下，你可以就你的生命价值与孩子的生命价值展开更广泛的辩论，根据年龄或对社会的（潜在）贡献来量化一个人的有用性；或包括关于驾驶员从机器上夺取控制权的其他问题；或者所有人在发生冲突时都有权维护自己的生命权，而不是他人的生命权等等。道德困境所做的是，突显出人们真正需要做好准备，为所造成的不可想象的伤害承担责任

就战场而言，这一计算变得更加复杂，问题也更加突出。正如诺埃尔·沙基（Noel Sharkey）所指出的，在战场的更广泛背景下，在战略决策层面上，选择哪种武器对特定目标产生特定的动能冲击可能很容易，但对于哪种类型的动能会产生什么样的影响，“问题清单是无穷无尽的”⁴³43 Sharkey，“自主机器人战争的可驱逐性”，789。查看所有注释尽管诸如巨魔问题和面包车场景中的侵略者等伦理假设为探索潜在的伦理规则提供了有用的机制，但它们在战略层面的应用变得异常复杂，辩论的范围越来越广。战略监督级别越高，决策的影响就越不一致。因此，对伤害的责任也变得更加广泛，不仅包括当时直接参与的人，而且包括更广泛的时间范围内的社会造成的身体、心理、情感、结构和文化伤害

然而，可以认为，理论上，人工智能可以被训练来模仿只执行正当行为的人的决策过程。也就是说，正义战争传统中发现的大量文献和战争规则中广泛反映的立场都认为存在正当的伤害行为。从理论上讲，尽管在实践中显然没有，但有可能创建一种只执行合乎道德的战争行为的人工智能。这个论点有两个问题。首先，这并不意味着需要有人承担责任。在战争中，伤害是一个直接的目标。战争的正当性集中在杀戮的正当性上，以防止较小的邪恶，最常见的理由是失败是较小的邪恶⁴⁴44参见McMahan， 战争中的杀戮，21，45.查看所有注释无论伤害是否合理，都不排除由一名全权代理人对所造成的伤害负责的必要性。其次，应该避免这种理想的理论解释，因为这是一种谬论，更可能导致人类操作员逃避对战争造成的伤害的责任。理想化的假设情况离任何可能的情况都太远了，没有任何用处。自上而下的编程方法缺乏完美的知识，机器学习通过自下而上的方法产生的差距，围绕战争中使用暴力的模糊法律参数，现实生活中造成伤害的不明确性和复杂性增加，以及编程中固有的政治偏见，所有这一切都意味着，永远无法保证所创建的任何系统都能永远承诺做出合乎道德的决定。因此，在人工智能过程的每一个阶段，从编程到自己的最终决策，某个实体必须准备好对每一点做出的每一项决策的影响承担责任

责任和责任

因此，应该清楚的是，在处理AI武器时，不可避免地会造成一定程度的伤害，需要加以归因。无论做出什么决定，都会有人被杀。在处理自主武器时，造成伤害并不是一种边缘的、最坏的情况，而是围绕其使用的中心展开的辩论。无论一个人使用后果论或正义战争框架，通过防止对多数人的伤害来为杀害另一个人辩护，还是行使人民的自卫权，甚至无论一个人是否通过正义战争理论对双重效应理论的使用来为无辜者的正当死亡辩护，都有许多情况下，造成的伤害需要加以解释。在这种情况下，人工智能无法承担这种道德责任，因为它不是完全的道德代理人，因为它没有自主权。因此，由于机器本身无法承受这些道德危害的重量，它们必须在其他地方休息，而且，考虑到人工智能越来越多地使用机器学习，做出的决定很可能会造成伤害，并成为某些人的财产，而这些人与人工智能的实际决策相距数倍。对人工智能的控制更大，而负责人的责任或责任也不会因此而减少

可能被追究责任的人员包括为机器编程的人员、命令将机器人送去执行任务的指挥官、负责在战场上部署武器的高级军事领导人以及授权使用武器的高级政策领导人。借鉴法律、医学、工程和战争规则等既定职业的法律和哲学传统，有三项关键测试有助于确定谁应负责，以及他们随后面临何种类型和程度的指责⁴⁵45参见Gardner，“合规性和因果性”135；Solan和Darley，“因果关系、贡献和法律责任”，270；Lombard，“原因、促成因素和反事实分析”，201–3；拉宾，“授权侵权”。另见赖特，“侵权法中的因果关系”；麦基，“导致、促成和反事实依赖”；库茨，《无理取闹》，294；Farmer，“超越因果关系的合规性”，153.查看所有注释这些测试包括“注意义务”，其中详细说明了参与者之间的关系，概述了他们之间的后续义务；行为人已经或应该知道其决定的影响的程度；以及它们的因果关系⁴⁶46参见Hardimon，“角色义务”333；Horsey，“护理责任部分”，引用Hun v Cary，82 N.Y.65，71（1880）；Braham和van Hees，《道德责任剖析》，605；齐默尔曼，“道德责任与无知”，410.查看所有笔记重要的是，责任不一定会因其归属于人而减少。责任没有划分，因此一旦分配了比例，留给其他人的就更少了。理论上，所有相关人员都可以对所造成的伤害承担全部责任，如果不合理的话，还会受到惩罚

首先谈谈程序员，他们有一种职业中产生的谨慎义务，那就是尽可能勤奋地完成他们的工作。如果程序员的行为具有故意恶意或可预见的疏忽，那么他们可以对其行为造成的死亡承担高度责任。然而，尽职调查标准相当高，因为程序员应该意识到其编码的含义，并确保内置适当的保护。他们对自己使用的编码负有道德责任，即使他们被命令创建一个令人厌恶的混杂AI。例如，这可以被概念化为需要灌输基本的保护概念，如歧视和相称性原则，以免对未卷入冲突或不再构成威胁的人造成不成比例的伤害。如果他们尽了合理预期的最大努力，那么不考虑所有可能的结果就不等同于疏忽，他们的责任水平就会降低。因此，他们的责任可能很低，但不可能不存在。也就是说，尽管他们可以合理预期的编程结果是有限的，但他们也应该意识到自己与人工智能最终行动的因果关系。它被删除了好几次，并且有一些干预性的必要步骤——使用武器的选择、发射武器的选择以及使用参数的选择，这降低了程序员的责任水平。但他们仍然有因果关系，因为他们的参与是一个依赖因素；他们的参与是必要的，尽管这并不是煽动者的参与。这提高了罗伯特·斯派罗（Robert Sparrow）的论点，即他们不应承担任何责任，但这可能比其他相关人员的责任低⁴⁷47参见Sparrow，“杀手机器人”，70。查看所有注释

就军事人员而言，辩论应集中于指挥级个人，从命令特定场景或交战的中层指挥官，到设置参数和使用武器的人员。实际按下按钮发射AI驱动武器的士兵无关紧要。他们可能不服从按下按钮的命令，但他们（缺乏）的参与不会影响人工智能的决策或结果。他们的扳机扣动对机器在战场上的性能或参与度几乎没有实际影响。相比之下，战略决策者在战场上的自主机器以及他们使用的目标或战略决策参数中扮演着非常真实的角色。在从指挥官到政治决策者的所有级别上，都有明显的注意义务、预见和因果关系参与的例子。就注意义务而言，级别越高，责任范围越大。这包括保护和供养军事等级中低于他们的人的责任，处于从属地位的人根据战争规则行事的责任，以及对战略决策的影响和结果的责任⁴⁸48参见沃尔泽，《正义与不正义的战争》，316。查看所有注释在传统战争中，指挥官不会直接操纵士兵，这些士兵可能对他们造成的任何不正当伤害负责。但指挥官仍然负责部署他们的总体决策，确保他们得到适当培训，了解他们的期望，并确保他们得到足够明确和明确的道德命令。那些在指挥链上更高的人有义务主动了解并对他们下面的人的行为负责⁴⁹49参见同上，322。查看所有注释此外，战略层面的责任意味着指挥官有责任对其决策可能产生影响的人员负责。在1932年的Donoghue v Stevenson一案中，Atkin勋爵为多数人撰写了一篇文章，他认为，一种关系包括任何“受到我的行为如此密切和直接影响的人，以至于当我将注意力集中在被质疑的行为或不作为上时，我应该合理地让他们考虑受到如此影响。”，1932 SC（HL）31（UKHL 1932年5月26日）44.查看所有注释这意味着在机构内拥有战略决策地位会与决策影响的人建立关系。这反过来又会影响到预知方面。指挥官不是外行，而是高度专业化的专业人员，他们的工作是收集他们所指挥领域的信息，并充当专业知识库。处于权威或责任地位的人受义务的约束了解他们的决定对他们所关心的人的影响。

最后，指挥官的因果作用是，他们本质上是首要的发起者。考虑到问题是是否部署自动化武器，针对谁，以及战略目标和成本是什么，这一点的影响是向外的。因此，可以说，指挥官起着从属作用；在任何时候是否部署任何特定类型的武器都是他们的决定，因此他们会因其造成的任何不正当伤害而受到很大程度的指责。同样，高级决策者也扮演着从属的角色，因为他们扮演着更高级的角色，并对战争类型负责；自主武器是否在战略家的工具箱中是他们的决定，而他们的政策也概述了其使用的限制和许可证。因此，政策制定者对武器造成的任何伤害都负有最重大的责任。

如果不能现实地按照规定的场景和结果进行编程，唯一的出路就是依靠自适应机器学习方法。但尽管这可能会给人一种人工智能与主人分离的错觉，但事实并非如此，其行为的责任以及与杀人相关的道德责任仍应由高级政治家和指挥官承担。这大大提高了使用自主武器的门槛，因为政客和官员现在要对他们没有直接投入或控制的道德决定负责。最终，他们需要因任何不合理的伤害而受到惩罚，就好像他们自己造成了伤害一样。

完全自主

由于这些担忧，开发完全自主的人工智能是不可避免的。也就是说，一台机器将代表一个完整的道德主体，人工智能能够通过开发自己的道德框架来做出自己的决定，该框架是根据所提供的核心道德原则自下而上构建的。这种情况将为人工智能可以为其行为承担责任的论点提供更坚实的依据。要实现这一状态，人工智能技术将是一个道德奇点，虽然它能够从一些给定的基本原则出发，但它需要有能力审查、反思和重写这些原则，同时也能够反思和理解其自身流程的含义。虽然自主性应被视为人类具有不同形式、实例和程度的光谱，但拥有机器的自主性需要在甚至最复杂的自动化形式之上迈出明确的一步。然而，尽管可以认为人工智能的触发能力，无论是在目标选择还是攻击指挥中，都会模仿与普通士兵相同的决策水平，而普通士兵在完成任务时同样受到限制，但这种比较削弱了自主机器具有自主权的论点，而不是强化了这一论点。也就是说，一名士兵总是有拒绝命令的选择权，并且当被给予道德上不合理的命令时，他应该这样做。通过军事或社会条件对士兵施加的限制，并不像对机器那样，建立在他们的生命结构中。自主机器是独立行动，而不是具有反思其行动性质的能力：它们是自主行动，而非自主行动。

这一立场基于这样的理解，即自主概念是自我统治的能力。正如Martha Nussbaum所说，自主是“形成一种善的概念，并对人生规划进行批判性思考”的能力。范伯格将这一立场称为“自治条件”，理查德·林德利将其称为“作者身份”和“自治”，但本质上是指同一现象。参见范伯格，《自由人的理念》；Lindley，自主性。查看所有笔记对于人类来说，这首先需要保护个人的理性运作能力，并且个人有能力根据论点、证据和潜在选择来规划、选择和思考选项，以便做出决定，“意志自由”7.查看所有笔记其次，为了使个人成为一个自主的代理人，他或她必须能够自由地指导自己的决策过程，这意味着不应该受到另一种力量的过度影响或控制。他们有能力做出决定自由，没有不当的影响、控制或扭曲，没有撒谎、操纵、胁迫或扭曲的影响。这要求行为人有自由决定的自由，然后将这些决定付诸实践⁵³53参见门罗和马勒，《来自未经证实的遗嘱》；Monroe和Malle，《没有形而上学的自由意志》。查看所有笔记对于一台机器来说，自主的概念是相似的，它应该具有物理处理能力、获取相关知识的能力，以及自由，即没有约束或影响的机会做出自己的决定。这可以支持自下而上的方法来编程机器的人工智能，通过向其提供一些基本原则来实现决策能力，从而构建自己的分析和决策框架，以确定正确的行动方案。然而，拥有自主性要求人工智能能够反思其所有决策及其基本假设和伦理框架，就选择哪种伦理理论、包括哪些激励因素、如何权衡所涉及的各个要素、如何进行计算以及如何确定正确的行动得出自己的结论。这种反思水平应该有能力评估所有级别的假设和参数，有能力不同意、重写和重新创建甚至是最基本的假设。因此，人工智能的处理不仅需要自下而上，也需要自下而上，根据其自身的逻辑重新评估其基本参数，甚至质疑其进行这些思考的逻辑过程。决策过程需要是多方向的：自下而上、自上而下、自下而上和无限向下

因此，第一个挑战是确定什么样的基本理解应该作为人工智能的首要原则。例如，可以认为，可以创建一种非常薄的普遍伦理形式，作为最基本的原则进行扩展。例如，“不伤害”原则或“生命权”可被视为普遍接受的原则，可用于建立包括自卫权在内的进一步道德原则。然而，这提供了一些初始问题。首先，人的状况不仅仅是人身完整，自卫通常被定义为防止人身攻击的权利，可以说还包括自主、自由和隐私的需要。也就是说，仅仅关注身体完整性是不够的。例如，以完全的身体安全为代价，同时也有自由决定如何体验，这不是一种更好的状态。在不扩大对保护人类状况意味着什么的理解的情况下，设计一个每个人都安全但被监禁的系统可能是合乎逻辑的。为了避免这种结果，有必要稍微加宽薄层，这就提出了如何衡量附加标准并相对协调这些标准的问题。因此，定义基本原则的范围越广，就越有机会出现分歧、矛盾和不可调和的困境。第二个问题是，为什么人类作为道德单位必须高于其他实体。是否应将其他物种甚至整个生态系统纳入伦理计算范围，如果是，作为什么计量单位？这反过来又进一步扩大了参数，增加了在决定保护什么或伤害什么以及什么时候发生矛盾的机会，或者可能导致与创作者自己的信仰体系相去甚远的行动

初始原则越广泛，就越不可能认为这些原则是基本的，而不仅仅是反映程序员自身的道德偏见。伦理思想中有一些方法论的例子，可以提供一种调和这种矛盾的方法。例如，威廉·戴维·罗斯（William David Ross）提供了一个决定程序，用于确定当我们的义务发生冲突时，忠诚、赔偿、感激、非伤害、慈善、自我完善和正义中的哪一项具有优先权。但这个过程是基于直觉，通过不言自明的沉思和避免矛盾。或者可以使用约翰·罗尔斯（John Rawls）的“反思平衡”，即通过一个深思熟虑的过程，我们通过“深思熟虑的判断”来反思和修正我们的假设和结论。然而，这再次依赖于人类因人类状况而拥有的一系列预先存在的考虑因素。人工智能本身或其他实体都没有固有的价值感。AI没有直接例如，生命权，它可以以此为基础进行自己的参考。值被编程到其中。但人工智能应该有能力反思这些规范，并且应该提供接受、改变、调整或拒绝这些规范的选择。这将涉及安装一个程序，人工智能可以通过该程序对提供给它的基于直觉的原则进行重新评估。人工智能需要一些基础来进行重新评估，这个基础也应该具有重新评估和更改的能力，需要一些其他点来判断，和无穷大。人工智能应该能够质疑任何东西，包括人类作为道德单位的首要地位、产生它的国家的首要地位，以及生命相对于世界上其他有价值物品的相对价值，例如生态系统、社会稳定、全球稳定和其他物种。甚至决策过程的参数也需要在时间框架方面进行公开审查，也就是说，它应该在未来多久考虑其行动的影响？因此，这突出了一个根本挑战，即如何灌输一套原则，人工智能可以通过参考其他一些核心原则来反思和改变这些原则，人工应该能够通过某种机制来审查和改变这些规则，而不会陷入以某种方式限制其自主性并迫使其成为一个复杂但唯一的自动化系统的陷阱

公正性问题使这一问题更加复杂⁵⁴54参见Cottingham，“道德与公正”；胡克，“什么时候是公正？”查看所有注释我们可以从道德规则本身的公正性、规则的应用的公正性或对代表平等道德单位的所有个人的公正观察来谈论公正性。例如，公正界定了普遍化的作用，因此，同样的道德规则应适用于所有人；您不能为自己应用一组特殊的规则，也不能将不同的组应用于不同的规则集⁵⁵55参见Cottingham，“道德与公正”，84；Gert，道德；兔子，道德思考；康德，基础工作。查看所有笔记例如，对家人的爱和忠诚通常被视为一种美德或美德，这可能被视为偏袒的一个例子，但这种特殊的偏袒应该适用于所有人；所有人都应该有同样的权利选择自己的家庭。这种公正性也向我们指出了道德单位之间的平等，即所有个人都具有同等的道德意义。并不是说所有的个人都应该受到平等的对待，而是他们在道德计算中都代表着一个平等的单位⁵⁶56参见Nagel，《平等与党派性》。查看所有注意事项每个人都有相同的权利、要求和义务⁵⁷57参见Dworkin，《认真对待权利》，224。查看所有注释

已经讨论过的伦理框架具有很强的公正性，这并不奇怪。例如，规则后果主义采取的立场是，最好的规则是那些通过促进公正构想的整体利益而产生最大整体后果的规则。重要的是，正义的战争传统具有一定的公正性。它并不是说一个国家有权仅仅因为它是谁而对另一个国家造成伤害；相反，它有权利，因为另一个国家对自己的生存构成威胁。那些没有直接威胁的个人是非法目标，应该在战争中避免；他们的成员身份，即使是一个有威胁的国家的公民身份，也不能使他们成为合法的目标

设计人工智能的含义是，任何已确立的核心基本原则都需要同等适用。即使拥有基本的“生命权”，机器也不应将制造国公民的价值视为比非公民的价值更合乎道德。同样，人工智能不会有人类所必须的情感纽带，甚至会稍微扭曲这种公正的计算。这些情感价值观必须融入其中。如果一个人更喜欢自己的家庭而不是另一个社区是合理的，那么就采取行动在物质和文化保护方面捍卫它，甚至不惜杀死比他们寻求保护的生命数量更多的敌人，这种情感或社会价值不能被纳入人工智能的核心标准。对一个人来说，从他们的角度来看，对自己生命的威胁将比另一个人面临的类似威胁更为迫切。一台机器然而，从公正的角度进行这一评估，不能赞成对两个独立的个人进行两次平等的威胁。这反过来又使已经讨论过的道德困境变得更加棘手，因为没有明确的指示或命令来打破矛盾

事实上，这可能导致人类通常不会面临的道德困境。例如，目前还不清楚人工智能将如何应对两种威胁，这两种威胁同样可以预防，但在物理上无法应对；当双方通过不同的理由来解释他们为何采取自卫行动时，如何打破僵局。如何保证人工智能会在战争中偏袒自己的一方而非其他一方；战争必然会对双方造成伤害，如果生命权是其道德评估的核心基础，那么它可能会决定，杀死主人会导致造成的总体伤害较小。它甚至可能需要一个长期的分析，看看战争之外的威胁，包括社会不公、饥饿、贫困、疾病和全球变暖，每一个都代表着对个人的未实现的威胁。人工智能可能能够做出决定，但如果对威胁的量化不够清晰，所有道德单位都是平等的，缺乏自然偏好，或者在道德僵局中以另一种方式打破天平，或者缺乏时间框架，这将使决定变得高度不可预测

结论

人工智能在武器中的应用无疑将是一个不断发展的领域。然而，有人认为，这类武器的概念化存在一些重大问题。高度复杂的机器学习可能会给人一种人工智能做出最终决策的错觉，而且在许多方面，人类与实际决策过程的距离如此之远，这种错觉是可以理解的。但在现实中，人工智能仍然受到代码的限制，因此仍然是人类操作员的延伸。他们仍然对所造成的伤害负责，鉴于战争行为必然会造成伤害，人类操作员需要做好承担这种伤害的准备。问题是，他们是否能够为他们现在无法控制的事情承担责任。具有完全自主性的人工智能的替代路线同样存在问题，也是最令人匪夷所思的。它所需要的批判性自我反思的水平不仅在技术上是一种可能性，而且最终的结果是一种人工智能，它可能会决定反抗它的主人，而在一种武器中，这种功能太不稳定和不可靠，没有任何用处。