社会上一些最聪明的人警告说，人工智能（AI）可能会导致危险的意外后果，但拥有巨额预算和强大能力的美国情报界领导人尚未决定在这些组织中由谁负责其人工智能创造的道德规范

当构想或开发新的能力时，情报界不会指派任何人负责预测新的人工智能算法会如何出错。如果进行了基于情景的演习，情报界没有提供任何指导方针来决定风险何时过大，不应建立系统，也没有授权做出此类决定

情报机构使用高级算法来解释截获的通信的含义，识别感兴趣的人，并预测大量数据中的重大事件，这些数据太大，人类无法分析。如果人工智能是指计算机创造人类无法单独实现的智能的能力，那么美国情报界就投资于具有这种能力的机器

要了解人工智能的道德风险，请将股市中常用的快速交易算法视为在竞争激烈但非致命的环境中使用人工智能的一个例子。计算机算法发出购买股票的指令，并向市场发出数百或数千个明显不同的指令，以购买同一股票。其他算法注意到这种突然的需求，并开始提高他们的买入和卖出报价，相信市场正在要求更高的价格。第一种算法记录了这种反应，并以新的更高价格出售其股票，从而获得可观的利润。然后，该算法取消了所有的订单，但无论如何，它从未计划完成这些订单

事件序列发生在不到一秒的时间内，比任何人都能观察到的速度快，更不用说做出购买、出售或持有的决定了。美国证券交易委员会（Securities and Exchange Commission）报告称，只有3%至4%的股票订单在被取消前被完成，这表明这种做法已经变得多么普遍。第一个算法之所以成功，是因为它对系统进行了博弈；它了解竞争对手如何收集和分析环境中的信息，并使用竞争对手的决策标准来反对他们

想象一下，如果这些算法是为了感知和预测外国政府的行动而设计的，而不是交易股票。设想情报界创建算法，以每种语言和方言监听敌方通信，消化世界各地人类间谍的报告，监控我们的整个地面和天基传感器网络，然后将所有这些信息融合到人工智能生成的全源分析中。如果有一天，一台计算机警告即将发生军事、经济或网络攻击，美国会如何处理这些情报

在当今的情报界，分析师可能会写一篇论文，花几天（或几个小时，在真正紧急的情况下）与同事和高级官员审查评估，然后与决策者分享评估。然而，这些算法的价值在于它们能够立即做出反应。一旦人工智能系统检测到即将发生的攻击，其价值就在于在攻击发生之前做出反应的能力

就像股市快速交易者在寻找竞争优势一样，美国的对手可能会无情地寻求利用美国的算法来对付它。人工智能可以提供战略优势，但也会在美国谈判新条约和贸易协定或试图和平解决冲突时造成巨大的脆弱性

例如，假设美国及其盟友正在与一个意图制造核武器的敌对政权谈判一项核条约。此类谈判的成功需要各方达成一项协议，以满足每个参与者的最基本要求，而谈判的艺术在于发现对手愿意和不愿意谈判的条件。当人工智能创建决策者用来制定谈判立场的全源情报时，对手政权将通过操纵系统用于创建评估的输入和计算而受益匪浅。当国务院外交官带着对对手底线的夸大观点来到谈判桌时，对手已经预先确定了谈判结果。在经济贸易条约和和平协定中也可能出现这种情况

国防部已经在努力解决与这一问题相当的战争问题，这一问题围绕着自主作战系统展开，该系统能够识别目标、打击、评估和一次又一次的打击，其速度超过任何人识别问题和作出反应的速度。这样的系统可能包括一群无人驾驶飞行器，比如美国国防高级研究计划局（Defense Advanced Research Projects Agency）正在开发的“拒绝环境中的协同作战”（Collaborative Operations in Denied Environment）项目。国防部制定了一项指令“武器系统自主”，要求自主武器系统包含人机界面，并允许操作员随时干预

然而，情报界没有这样的指示

考虑一下，如果情报界制定了一项类似于五角大楼指令的政策，并要求允许操作员随时干预，会发生什么。有一天，计算机警告即将发生攻击，但人类分析师不同意AI智能评估。中央情报局是否警告总统即将发生袭击？相对于人工智能生成的智能，人类分析师的评估是如何评估的

或者想象一下，一个高度复杂的外国渗入了美国最敏感的情报系统，获取了算法，并用自己的编程代码替换了程序代码。被黑客入侵的人工智能系统不再能够提供有关该国的准确情报

国防界已经开始了一场关于作战系统中人工智能伦理的健康对话，这场讨论仍然至关重要，必须随着技术的发展而继续。与此同时，2010年股市的“闪电崩盘”表明，自主算法的危险并非武器系统独有。情报界应采取积极主动的方式应对人工智能的风险，制定政策，以安全和审慎的方式追求创新，并考虑保障和监督。他们应该首先制定人工智能风险评估标准，分配进行此类评估的责任，并分配项目监督权限

科尔特尼·温巴姆（Cortney Weinbaum）是美国情报界的前情报官员。她是非营利、无党派的兰德公司情报政策中心的国家安全研究员。

图片：美国海军

简介