1简介

开发和部署人工智能（AI）系统的组织需要管理相关风险——出于经济原因，因为事故和滥用情况可能威胁业务绩效（Cheatham等人，2019）；出于法律原因，因为即将出台的人工智能法规可能要求他们实施风险管理系统（Schuett 2023a）；出于伦理原因，因为根据大多数道德理论，他们有义务防止伤害（Mohamed等人，2020；Hagendorff 2022；Bengio等人，2023）

然而，谁负责人工智能风险管理并不总是很清楚：研究人员和工程师？法律和合规部门？治理团队？三道防线（3LoD）模型可能提供了一个解决方案。这是一个风险管理框架，旨在通过分配和协调风险管理角色和责任来改善组织的风险治理（van Asselt 2011；Lundqvist 2015）（内部审计师协会[IIA]，20132020a）。它被认为是金融和航空等许多行业的最佳实践。在本文中，我将3LoD模型应用于人工智能上下文

到目前为止，还没有太多关于人工智能和3LoD模型交叉的学术工作。Nunn（2020）建议使用该模型来降低人工智能的歧视风险，但相关文章非常简短。也有一些关于公司如何使用人工智能来支持这三条线的文献（Tammenga 2020；Sekar 2022），但我主要感兴趣的是如何管理人工智能公司，而不是如何使用AI来管理非人工智能公司。也有人提出，政府可以使用3LoD模型来管理人工智能带来的极端风险（Ord 2021），但在这里，我关注的是公司的挑战，而不是政府的挑战

虽然关于这一主题的学术研究可能有限，但从业者也有一些相关工作。最值得注意的是，普华永道有一篇博客文章试图回答与本文类似的问题（Rao和Golbin，2021）。但由于他们只对3LoD模型进行了简短的介绍，他们的提议只是触及了表面。IIA还发布了一个由三部分组成的系列，其中他们提出了一个人工智能审计框架（IIA 2017a，2017c，2018）。尽管他们的提案中提到了3LoD模式，但它并没有发挥关键作用。最后，美国国家标准与技术研究所（NIST）与人工智能风险管理框架（NIST 2023a）一起发布的一本行动手册中提到了3LoD模型。然而，该行动手册仅建议实现3LoD模型（或类似机制）；它没有具体说明如何做到这一点。

综合起来，目前的文献中至少有两个空白。第一个是实用的：对于开发和部署人工智能系统的组织如何实现3LoD模型，似乎没有具体的建议。现有的为数不多的提案不够详细，无法提供有意义的指导。第二个是规范性的：似乎没有对实施该模式是否可取进行彻底的讨论。鉴于该模型一直受到批评，而且没有太多实证证据表明其有效性，这个问题的答案并不明显。有鉴于此，本文试图回答两个研究问题（RQ）：

RQ1：开发和部署人工智能系统的组织如何实现3LoD模型

RQ2：实施3LoD模型在多大程度上有助于降低人工智能的风险

这篇文章有三个重点领域。首先，它专注于开发和部署最先进的人工智能系统的组织，^脚注1，特别是中型研究实验室（如谷歌DeepMind和OpenAI）和大型科技公司（如微软和Meta），尽管这两个类别之间的界限很模糊（例如，谷歌DeepMind是Alphabet的子公司，OpenAI与微软有战略合作伙伴关系）。在下文中，我使用“人工智能公司”一词来指代所有这些公司。我不涉及其他类型的公司（如硬件公司）、非营利组织或学术机构，但他们也可能从我的分析中受益。其次，本文重点研究了人工智能风险管理的组织维度。这不是人工智能公司应该如何识别、评估和应对人工智能带来的风险，而是他们应该如何分配和协调风险管理角色和责任。第三，文章重点介绍了该模型预防社会危害的能力（Smuha 2021）。我对公司自身的风险（例如诉讼或声誉风险）不太感兴趣，尽管偶尔会将私人利益和公共利益结合起来（例如，减少诉讼风险的一种方法是防止事故）

本文的其余部分继续如下所示。第2节概述了该模型的基本结构、历史、批评和证据基础。第3节提出了人工智能公司实施该模型的方法。第4节讨论了该模型如何有助于降低人工智能的风险。第5节总结并提出了进一步研究的问题

23LoD模型

在本节中，我概述了3LoD模式的基本结构（第2.1节）和历史（第2.2节）。我还提出了一些主要批评，简要讨论了替代模型（第2.3节），并回顾其有效性的经验证据（第2.4节）。基本结构有不同版本的3LoD模型。大多数从业者和学者都熟悉IIA（2013）发布的版本。经过审查，他们发布了更新版本（IIA 2020a），越来越多地取代了原始版本。本文将主要使用更新后的版本，如图1所示。更新后的模型有三种类型的元素：参与者、角色和关系

图。1

IIA（2020a）描述的3LoD模型

全尺寸图像

模型区分四个行动者，用蓝框表示：理事机构，对组织监督的利益攸关方负责；管理，采取行动实现组织的目标；内部审计，为管理机构提供独立保证，外部保证提供者也是如此

该模型进一步区分了四个角色，用灰色方框表示。管理机构的作用是展示诚信、领导力和透明度。除此之外，该模型还包含三个角色，称之为“防线”。第一线为客户提供产品和服务，并管理相关风险。第二条线协助第一条线进行风险管理。它提供互补的专业知识和支持，但也监测和挑战风险管理做法。第三条线就与实现风险目标有关的所有事项提供独立和客观的保证和建议。前两条线是管理的一部分，而第三条线是内部审计的同义词

最后，不同参与者之间有三种类型的关系，用箭头表示。有自上而下的关系：管理机构将责任委托给管理层并监督内部审计。相反，存在自下而上的关系：管理层和内部审计负责并向理事机构报告。最后，工作必须协调一致的行动者之间存在着横向关系，即管理层和内部审计之间的关系

2.2简要历史

模型的起源是不透明的。有理论表明军事、体育或质量控制起源（Davies和Zhivitskaya，2018）。它可能是在20世纪90年代末或21世纪初开发的。1999年，巴塞尔银行监管委员会（BCBS）提出了一种类似的风险监管方法（BCBS 1999），但第一次明确提及该模式可能是在英国金融服务管理局的一份报告（2003年）或Roman Kräussl的一篇论文（2003年

2007-2008年的金融危机在一定程度上是由广泛的风险管理失败引起的（Boatright 2016）之后，该模型的受欢迎程度飙升。为了应对危机，监管机构和监管机构越来越关注首席风险官和董事会风险委员会（Walker 2009；Davies和Zhivitskaya 2018），并开始推荐3LoD模式（BCBS 2012；欧洲银行管理局[EBA]，2021）。关于该模型的大多数学术工作也是在危机之后完成的（例如，Davies和Zhivitskaya，2018；Bantleon等人2021），许多风险管理专业人士只是在危机之后才听说该模型（Zhivitska ya，2015）

如今，大多数上市公司都实施了3LoD模式。在2015年对166个国家（n = 14518），大多数受访者（75%）表示，他们的组织遵循IIA提出的3LoD模式（Huibers2015）^脚注22021年在奥地利、德国和瑞士的首席审计官（CAE）中进行的另一项调查（n = 415），支持他们的发现（Bantleon等人，2021）。大多数受访者（88%）表示他们已经实施了该模式，金融机构的采用率特别高（96%）

相比之下，大型科技公司似乎没有实施3LoD模式。他们向美国证券交易委员会（SEC）提交的任何文件或其他出版物中都没有提到这一点。纳斯达克（2022）的公司治理要求中也没有明确提到这种模式，所有大型科技公司都在纳斯达克上市。然而，值得注意的是，大型科技公司的风险监督实践确实与3LoD模式有一些相似之处。例如，它们似乎都有内部审计功能（例如微软2022；Alphabet 2022）。根据公开信息，中型人工智能研究实验室似乎也没有实施该模型

2.3批评和替代模型

尽管该模型在许多行业很受欢迎，但它也受到了批评（Arndorfer和Minto 2015；Zhivitskaya 2015；Davies和Zhivitska ya 2018；Hoefer等人2020；Vousinas 2021）。Arndorfer和Minto（2015）确定了3LoD模型的四个弱点和过去的失败。首先，他们认为，对一线风险承担者的激励往往是不一致的。当面临产生利润和降低风险之间的权衡时，他们历来被激励优先考虑前者。其次，二线职能往往缺乏组织独立性。他们与追求利润的人过于接近，这可能会导致他们采取更多冒险的态度。第三，二线职能部门往往缺乏必要的技能和专业知识来挑战一线的做法和控制。第四，内部审计的有效性取决于个人的知识、技能和经验，而这可能是不够的。另一个常见的批评是，该模型提供了一种虚假的安全感。简单地说，“当有几个人负责时，没有人真正负责”（Davies和Zhivitskaya，2018）。另一个批评是，这种模式过于官僚，成本高昂。额外的监督层可能会降低风险，但它们是以效率为代价的（Zhivitskaya，2015）。最后一个批评是，该模型依赖于线路之间的信息流，但这方面存在许多障碍。例如，第二行可能没有意识到他们只看到第一行选择向他们展示的内容（Zhivitskaya 2015）。虽然这些批评指出了相关的缺点，应该认真对待，但它们并没有对整个模式提出质疑。此外，3LoD模型经过多年的改进。如今，重点是提高模型的有效性和回应批评（Davies和Zhivitskaya，2018）

鉴于这些批评，已经提出了几种替代模型。例如，Arndorfer和Minto（2015）提出了四道防线（4LoD）模型，以更好地满足金融机构的需求。第四条线由监督机构和外部审计组成，它们应该与内部审计密切合作。另一个例子是五条保证线（5LoA）模型，该模型是由几位学者和组织逐步开发的（Leech和Hanlon，2016）。然而，拟议的修改并不一定能改善模型。有人认为，增加更多的线路会使模型过于复杂，公司和监管机构目前不希望进行结构性改革（Davies和Zhivitskaya，2018）。同样值得注意的是，替代车型远不如原始车型受欢迎。与这些替代模型相比，3LoD模型仍然是“迄今为止开发的最仔细阐述的风险管理系统”（Davies和Zhivitskaya，2018）。但是，我们有什么经验证据证明它的有效性呢

2.4经验证据

所谓“有效性”，我指的是该模型帮助组织实现其目标的程度。就本文而言，我最感兴趣的是风险目标的实现。这可能包括：（1）将相关风险降低到可接受的水平，（2）确保管理层和董事会了解关键风险的性质和规模，以及（3）遵守相关风险法规。我对其他目标（如提高财务业绩）不太感兴趣，尽管可能存在重叠（如降低对个人的伤害风险也可能降低诉讼案件造成财务损失的风险）。有关衡量内部审计有效性的不同方法的概述，请参阅Rupšys和Boguslauskas（2007）、Savčuk（2007）以及Boţa-Avram和Palfi（2009）

在上述意义上，似乎没有任何关于3LoD模型有效性的（高质量）研究^脚注3似乎只有证据表明内部审计的有效性（Lenz和Hahn 2015；Eulerich和Eulerich 2020）。例如，对德国跨国公司CAE的调查（n = 37）比较了同一公司内经审计和未经审计的业务部门（Carcello等人，2020）。他们发现，与未审计单位的管理人员相比，审计单位的经理认为风险下降幅度更大。其他研究发现，内部审计有助于加强内部控制系统（Lin et al.2011；Oussii和Taktak 2018），并对预防和识别欺诈行为产生积极影响（Coram et al.2008；Ma’ayan和Carmeli 2016；Drogalas et al.2017）。3LoD模型未能阻止过去的丑闻和危机，这一事实似乎为其有效性提供了薄弱的证据（尽管另一种解释可能是该模型在这些情况下实施不力），而该模型的持续流行似乎为其有效性提供了微弱的证据（尽管该模型的流行也可以用路径依赖性来解释）。最后，有两个方向的传闻证据（Zhivitskaya 2015）

总体而言，尽管该模型很受欢迎，但“其有效性[仍然]未经测试”（Davies和Zhivitskaya，2018）和“没有任何明确的证据”（Power等人，2013）。需要明确的是，我们并不是有强有力的证据表明该模型无效。该模型仍然是有效的，但还没有（高质量的）研究为其有效性提供上述意义上的经验证据

这种令人惊讶的证据缺乏可能由以下原因解释。首先，由于对组织干预进行随机对照试验是不可行的，因此收集有力的证据本身就很困难。其次，该模型的设计具有灵活性和适应性，这意味着没有一种单一的、标准化的实施方式。这种缺乏标准化的情况可能会使比较该模型的不同实施方式并评估其有效性变得困难。第三，由于大多数从业者主要关心财务绩效，学者可能会被激励关注有效性的经济衡量标准，以证明他们工作的相关性（尽管也没有太多证据）

即使我们有更多来自其他行业的经验证据，其信息价值可能仍然有限。其中一个原因是，研究结果可能无法推广到人工智能环境中。人工智能公司在结构上与其他公司不同，因为它们特别关注研究，而且由于人工智能是一种通用技术（Crafts 2021；Garfinkel 2022），人工智能的风险比其他产品和服务的风险更广泛。另一个原因是，该模型降低风险能力的最大驱动因素可能是其实施的具体方式。因此，人工智能公司不应该问“3LoD模型有效吗？”，而应该问“我们如何以有效的方式实施该模型？”

3将3LoD模型应用于人工智能上下文

本节建议了人工智能公司实现3LoD模式的方法。对于这三条线中的每一条，我都提出了同等的角色和责任。首先，我描述了他们的职责内容，然后讨论了由哪个团队或个人负责，如图2所示。2

对三行中的每一行都负有同等责任的人工智能公司的组织结构图示例width=16>

3.1一线

一线有两项主要职责：为客户提供与人工智能研究和产品开发相对应的产品和服务，以及管理相关风险。下面，我将重点讨论后者

一线负责建立和维护适当的风险管理结构和流程。这涉及到风险管理的所有步骤过程（NIST 2023b；国际标准化组织[ISO]2018）。为了识别风险，第一行可以使用风险分类法（Weidinger等人，2022023；Raji等人，2022a，b；Shelby等人，2022）、事件数据库（McGregor 2021；经济合作与发展组织，2023）或情景分析（国际电工委员会，2019；Koessler和Schuett 2023）。为了估计已识别风险的可能性和影响，他们可能会进行概率风险评估、德尔菲研究或使用风险矩阵（IEC 2019；Koessler和Schuett 2023）。这些估计通常将通过模型评估（Chen等人2021；Perez等人2022b；Liang等人2022；Gehrmann等人2022），可能侧重于危险的模型能力（Shevlane等人2023；Kinniment等人2023，Alaga和Schuett 2023），以及对公司保障措施的评估（O'Brien等人2023）。为了降低风险，第一条线可以在精心策划的数据集上微调模型（Solaiman和Dennison 2021），通过从人类反馈中进行强化学习（RLHF）（Christiano等人，2017；齐格勒等人2019；Lampert等人2022），或从人工智能反馈中进行加强学习（RLAIF），通常称为“宪法人工智能”（Bai等人，2022）。为了防止模型权重的泄露或被盗，一线可能会采取措施加强公司的信息安全（Anthropic 2023c；Schuett等人2023a，b）。为了防止滥用，他们可以引入一项政策来发布潜在有害研究（人工智能伙伴关系[PAI]，2021；Solaiman等人2019），或者只允许通过应用程序编程接口（API）访问模型（Shevelane 2022；Solaiman2023；Seger等人2023）

采取更全面的方法并实施特定于人工智能的风险管理框架（如NIST 2023b；ISO和IEC 2023）或定制更通用的企业风险管理（ERM）框架（如ISO 2018；Treadway委员会赞助组织委员会[COSO]，2017）也可能是有意义的。一些组织就如何将这些框架应用于前沿人工智能开发人员的特定需求提供了指导（NIST，2023c；PAI 2023；Barrett等人2022，2023）。近几个月来，为前沿人工智能系统的负责任开发和部署制定具体政策也变得很常见，称为“负责任的扩展政策”（ARC Evals 2023；Anthropic 2023a）或“风险知情部署政策”（OpenAI 2023a）。对于上述大多数措施，第一条线需要第二条线的支持（见下文）

一线还负责确保遵守法律、法规和道德期望。法律义务可能源于反歧视法（Hacker 2018；Wachter等人2021）、数据保护法（Hamon等人2022）或反垄断法（Petit 2017；华和Belified 2021）。人工智能监管的一个显著例子是拟议的《欧盟人工智能法案》（欧盟委员会2021），该法案要求高风险人工智能系统的提供商实施风险管理系统（Schuett 2023a）。伦理期望可能源于组织在自愿基础上采用的人工智能伦理原则（Jobin等人，2019；Hagendorff 2020）。为了确保合规性，第一条线依赖于第二条线的支持（见下文）

最后，第一线负责向理事机构通报上述措施的结果、实现风险目标的程度以及总体风险水平。这应采取持续对话的形式，包括报告预期和实际结果。报告通常包括风险登记册和风险矩阵（IEC 2019），但也可能涉及特定模型的信息，形式为（初步）模型卡（Mitchell等人，2019）、数据表（Gebru等人，2021）和系统卡（Green等人，2022）。请注意，CRO还应向首席执行官（CEO）和董事会风险委员会报告（见下文）

责任人是运营经理，通常是级联责任结构。在大型科技公司，最低级别的责任将落在那些负责个人人工智能产品开发的经理身上。如果没有独立的人工智能产品，而人工智能系统只构成产品的一部分（例如，WaveNet是谷歌助手的一部分），那么最低级别的责任将由领导产品人工智能部分开发的管理人员承担（例如WaveNet的研究负责人）。在中型研究实验室，风险管理的最低责任将由研究负责人承担，即负责单个研究项目的高级研究人员

通常会有一个或更中级的责任。这可能包括一些负责更广泛产品领域（如游戏）或研究领域（如强化学习）的中层管理人员，尽管细节取决于特定的组织结构。人工智能风险管理的最终责任在于那些负责产品开发（如首席技术官[CTO]）或研究（如首席科学官[CSO]）的高管。虽然可以在两个或多个高管之间分担责任，但这通常是不可取的，主要是因为这会稀释责任

3.2第二行

第二行负责协助第一行进行风险管理。它提供互补的专业知识和支持，但也监测和挑战风险管理做法

一些风险管理活动需要一线所没有的特殊专业知识。这可能包括法律专业知识[例如，如何遵守拟议的《欧盟人工智能法》（Schuett 2023a，b）中规定的风险管理要求]、技术专业知识[如，如何评估危险模型的能力（Shevlane等人，2023；Kinniment等人2023）或开发更真实的语言模型（Evans等人，2021）]，或伦理专业知识[例如，如何定义公平的规范阈值（Kleinberg等人，2016）]。它还可能包括特定于风险的专业知识[例如，语言模型构成的风险（Weidinger等人，2021）]或特定于风险管理的专业知识]例如，红队安全过滤器的最佳实践（Rando等人，2022）]。第二行可以通过起草政策、流程和程序以及框架、模板和分类法来支持第一行。它还可能就具体问题提出建议[例如，如何定制风险管理框架，以更好地满足公司的具体需求（Barrett et al.2022）]，提供一般指导（例如，如何确保研究人员和工程师遵守安全相关政策），或提供培训（如，如何以符合GDPR的方式处理培训数据）

第二行还负责监督和质疑风险管理实践的充分性和有效性。如果未达到风险目标（例如，公司未能遵守相关法律法规，或无法将风险降低到可接受的水平），则风险管理实践无效。如果用更少的资源也能取得同样的结果，那么它们是不够的。第二条线通常会使用一些关键绩效指标（KPI）来评估风险管理的充分性和有效性的各个方面（例如，已识别的风险数量、事件数量或特定事项培训人员的百分比）

二线职责由多个团队分担。这通常包括风险管理团队以及法律和合规团队。尽管大多数大型科技公司已经有了风险管理团队，但这些团队主要关注商业风险（如诉讼或声誉风险）。人工智能的风险，尤其是社会风险，通常不是主要问题（Smuha 2021）。如果大型科技公司想改变这一现状，他们可以扩大现有团队的职责。成立一个新的专门针对人工智能的风险管理团队似乎不太可取，因为这可能会导致责任的分散。可能存在一种级联责任结构，CRO作为风险管理过程的单一责任点。中型研究实验室通常没有专门的风险管理团队。一个值得注意的例外是OpenAI的新准备团队（OpenAI 2023b）。他们可以成立一个新的团队，也可以让其他团队中的一个人或多个人承担风险管理相关的支持职能

所有早期创业阶段之后的人工智能公司都有一个法律和合规团队。团队负责人，最终由首席合规官（CCO）或首席法律官（CLO）负责风险相关的法律和合规支持。值得注意的是，如果法律和合规团队实际负责确保合规性，他们也可以成为一线人员。如果他们没有任何决策权，只支持第一线（例如通过撰写法律意见书），他们就是第二线的一部分。法律和合规团队还可以寻求外部律师事务所的支持

许多开发和部署人工智能系统的组织都有其他团队可以承担二线责任。这可能包括技术安全、道德、政策或治理团队。然而，在实践中，这些团队很少认为自己负责风险管理。在实施3LoD时需要考虑到这一点模式（例如举办讲习班，使他们认识到自己扩大的责任）。总的来说，人工智能公司应该避免将二线责任分配给他们

3.3第三行

第三行负责提供独立保证。它评估前两条线的工作，并向理事机构报告任何不足之处

虽然第二条线已经对风险管理实践的充分性和有效性进行了监督和质疑，但第三条线独立评估了他们的工作——可以说，他们监督着监管者。他们可以通过进行访谈（例如与研究负责人）和参加会议（例如开发团队的定期会议）来做到这一点（Schuett 2023b）。他们还可以进行内部审计（Raji等人2020）或委托外部审计（Buolamwini和Gebru 2018；Mökander和Floridi 2022；Raji等人2022a，b）。这种审计可能有不同的目的和范围（Mökander等人，2023）。他们可以评估对法律、标准或道德原则的遵守情况（“合规审计”），或寻求以更开放的方式识别新的风险（“风险审计”）。他们还可以评估模型本身，包括对其进行训练的数据集（“模型审计”）、模型的影响（“影响审计”）或公司的治理（“治理审计”）。同样，第三条线可以在部署模型之前或之后与红队接触，以评估前两条线是否能够识别所有相关风险（Ganguli等人，2022；Perez等人，2022a）。除此之外，第三条线可以审查关键政策和流程，以发现缺陷和漏洞（例如，公司负责任的扩展政策[ARC Evals 2023；Anthropic 2023a]或其部署协议）。请注意，这还应包括对公司实施3LoD模型本身的元评估

第三行还通过提供有关公司风险管理实践的独立客观信息来支持管理机构，通常是董事会（IIA 2020b；Schuett 2023b）。他们的主要受众通常是审计委员会，该委员会主要由非执行董事组成。但由于非执行董事只做兼职，在很大程度上依赖高管提供给他们的信息，他们需要公司中的一个独立盟友来有效监督高管（Davies&；Zhivitskaya，2018）。第三条线通过保持高度独立于管理层并按照最佳做法直接向理事机构报告来履行这一职能。它经常被描述为他们的“眼睛和耳朵”（IIA 2020a）

第三行有一个定义明确的组织总部：内部审计。请注意，在这种情况下，内部审计指的是一个特定的组织单位（Schuett 2023b）。这不仅仅意味着内部审计（Raji等人，2020）。相反，它意味着“那些独立于管理层运作的个人，为治理和风险管理（包括内部控制）的充分性和有效性提供保证和见解”（IIA 2020a）

通常，公司有一个专门的内部审计团队，由CAE或内部审计主管领导。大多数大型科技公司都有这样的团队，但与风险管理团队类似，他们往往忽视了人工智能带来的社会风险。与其创建一个单独的人工智能特定内部审计团队，不如在现有内部审计团队中创建一个子团队，或者简单地让一个或多个团队成员专注于人工智能特定的风险管理活动。中型研究实验室通常没有内部审计团队。他们必须创建一个新的团队或任务，至少有一个人承担第三线职责。简而言之，大型科技公司需要“将人工智能引入内部审计”，而研究实验室需要“将内部审计引入人工智能”。值得注意的是，尽管有一些有希望的发展（IIA 2017a，2017c），但人工智能专用内部审计师的职业仍处于初级阶段

一些人工智能公司有一个道德委员会（如微软的以太委员会和Meta的监督委员会），除了内部审计外，该委员会还可以承担第三方责任（Schuett等人，2023b；Schuett 2023b）。它必须在组织上独立于管理层，但仍然是组织的一部分（与外部担保提供商形成对比）。如果各组织已经有了一个独立的道德委员会（例如由学术界和民间社会的代表组成），它们可以成立一个承担第三方责任的工作组

43LoD模型如何帮助降低人工智能的风险

尽管人工智能有很多原因公司可能希望实施3LoD模型，本节重点讨论了关于该模型防止个人、集体和社会伤害的能力的三个论点：该模型可以通过识别和缩小风险覆盖范围的差距来帮助降低人工智能的风险（第4.1节），提高风险管理实践的有效性（第4.2节），以及使管理机构能够更有效地监督管理（第4.3节）。我还概述了其他好处（第4.4节）。值得注意的是，在缺乏强有力的经验证据（见上文）的情况下，以下讨论仍然是理论性的，通常依赖于抽象的合理性考虑

4.1识别和弥补风险覆盖率的差距

人工智能风险管理涉及来自不同团队的不同人员，他们承担着不同的责任（Baquero等人，2020）。如果这些责任没有得到充分协调，风险覆盖范围可能会出现缺口（Bantleon等人，2021）。这种差距可能有不同的原因。例如，可能没有人负责管理特定风险（例如，分散风险可能存在盲点），也可能不清楚谁负责（例如，两个团队可能错误地认为另一个团队已经处理了风险）。如果负责人无法有效管理风险（例如，因为他们没有必要的专业知识、信息或时间），也可能出现缺口。如果风险管理系统没有充分涵盖特定风险，则无法识别该风险，这可能导致错误的风险评估（例如，不安全人工智能系统的总风险被判断为可接受）和不充分的风险应对（例如，在没有足够安全预防措施的情况下部署了不安全的人工智能系统）

3LoD模型可以通过识别和缩小风险覆盖范围的差距来防止这种情况。它可以通过提供一种系统的方式来分配和协调与风险管理相关的角色和责任来做到这一点。它确保最接近风险的人负责风险管理（第一线）并获得他们需要的支持（第二线）。3LoD模型帮助识别盲点的另一种方式是通过内部审计功能（第三行）。他们负责评估整个风险管理制度的充分性和有效性，其中包括风险覆盖范围的潜在差距

有人可能会反对，在实践中，风险覆盖率的差距是罕见的，即使出现这种差距，它们也只涉及较小的风险（例如，因为人工智能公司已经找到了解决最大风险的其他方法）。然而，人工智能事件数据库（McGregor 2021）包含许多条目，包括几个被归类为“中度”或“重度”的案例，这表明事件并不罕见。虽然这些事件有许多不同的原因，但似乎其中至少有一些与风险覆盖范围的差距有关。但由于似乎没有任何关于这方面的公开数据，这个问题仍然是推测性的

即使有人认为风险覆盖率的差距是人工智能公司的常见问题，也可能会质疑该模型识别和弥补差距的能力。人们可能会怀疑，相关人员及其识别差距的能力和意愿发挥了更大的作用。诚然，仅仅实施这一模式是不够的，但拥有有能力和有意愿的人员也是不够的。两者都是必要的，只有结合在一起才足够（尽管其他因素，如不同组织单位之间的信息共享，也可能发挥作用）

总的来说，实施3LoD模型似乎有助于发现风险覆盖范围中的一些差距，否则这些差距将被忽视

4.2提高风险管理实践的有效性

一些风险管理实践是无效的——它们可能在纸面上看起来不错，但在实践中不起作用。人工智能公司可能无法识别相关风险，误判其可能性或影响，或者无法将其降低到可接受的水平。无效的风险管理实践可能有许多不同的原因，例如依赖单一的衡量标准（例如使用单一的分类法来识别广泛的风险）、未能预见到规避措施的蓄意尝试（例如窃取未发布的模型）、，未能预测风险格局的相关变化[例如，由于越来越依赖基础模型而出现的系统性风险（Bommasani等人，2021）]，风险管理者的认知偏差[例如，可用性偏差，即倾向于“通过容易想到实例或事件来评估类别的频率或事件的概率”（Tversky和Kahneman，1974）]，以及其他人为错误（例如，一个人填写风险寄存器滑出一行）等

3LoD模型可以通过识别这些缺点来提高风险管理实践的有效性。如上所述，内部审计师评估风险管理实践的有效性，并向理事机构报告任何不足，理事机构可以与管理层合作改进这些实践（Schuett 2023b）

人们可能会反对大多数缺点只出现在风险较低的情况下。在高风险的情况下，现有的风险管理做法已经更加有效。例如，人工智能公司通常在部署最先进的模型之前进行广泛的风险评估（Brundage等人，2022；Kavukcuoglu等人，2022）。虽然在显而易见的情况下可能是这样，但在不太明显的情况下，实践可能没有预期的那么有效（例如，因为它们对人为错误或故意规避错误的企图不敏感）。例如，Anthropic（2023b）最近发表了一篇博客文章，概述了他们在评估模型时遇到的一些挑战。在这种背景下，我当然不想依赖这样的反驳，即风险管理实践的有效性已经与手头的利害关系充分相关

一些人工智能公司可能会进一步反对，认为他们已经具备了相当于内部审计的功能，因此实施3LoD只是一个微不足道的改进。虽然一些公司的一些人执行的任务可能与内部审计师类似，但据我所知，评估风险管理实践的有效性不是他们的主要责任，他们没有遵循内部审计行业的最佳实践，例如在组织上独立于管理层（IIA 2017b），这可能导致明显的差异

总的来说，我认为这是实现3LoD模型的最佳论据之一。如果不认真尝试识别无效的风险管理实践，我预计至少会有一些缺点被忽视。这种情况的真实程度主要取决于内部审计履行这一职能的能力和意愿

4.3使管理机构能够更有效地监督管理

管理机构，通常是董事会，负责监督管理。要做到这一点，他们需要有关公司风险管理实践的独立和客观的信息。然而，他们在很大程度上依赖高管提供给他们的信息。为了有效地监督高管，他们需要在公司中有一个独立的盟友

内部审计通过保持与管理层的高度独立性并直接向董事会审计委员会报告来履行这一职能。这一点可能很重要，因为与其他参与者相比，董事会对管理层具有重大影响力。例如，他们可以更换首席执行官（例如，如果他们一再将利润置于安全之上），做出战略决策（例如，阻止与军方的战略合作伙伴关系），并改变公司的风险治理（例如，成立道德委员会）。请注意，首席风险官向董事会风险委员会有一条补充报告线

有人可能会反对其他参与者也可以提供此功能。例如，第三方审计师也可以向董事会提供独立客观的信息。虽然外部审计肯定会发挥重要作用，但与内部审计相比，它们有几个缺点：它们可能缺乏重要的背景，公司可能不想与它们共享敏感信息（例如，关于正在进行的研究项目），审计通常只是时间上的快照。因此，人工智能公司应该将外部审计视为对内部审计的补充，而不是替代。3LoD模型区分内部审计和外部担保提供者是有原因的

有人可能会进一步指出，在其他行业，内部审计往往被认为干预太迟（Davies和Zhivitskaya，2018），并与管理层合作，而不是监督他们（Roussy和Rodrigue2018）。这确实会有问题。然而，如上所述，这似乎不是内部审计的固有属性。相反，它似乎主要是由它的特殊设置方式和相关人员驱动的。话虽如此，人工智能公司应该认真对待这一问题，并采取措施加以解决。

总的来说，我认为实施3LoD模式可以显著增加董事会的信息基础。这种影响在中型研究实验室将更加明显，因为大多数大型科技公司已经有了内部审计功能，尽管不是专门针对人工智能的功能（见以上）

4.4其他好处

实施3LoD模型除了降低个人、团体或社会的风险外，还有许多好处。尽管这些其他好处超出了本文的范围，但似乎至少有必要进行概述。下面，我将简要讨论其中的四个

首先，实施3LoD模型可以避免不必要的风险覆盖重复。不同团队中的不同人员可能在做相同或非常相似的风险管理工作。这通常是可取的，因为它可以防止风险覆盖范围的差距（见上文）。但如果这种重复不是必要的，它们可能会浪费资源，比如劳动力，而这些资源本可以在其他地方得到更有效的利用。因此，人工智能公司面临着效率和效益的权衡。这种权衡应该如何解决，取决于特定的环境。例如，在处理灾难性风险时，有效性（防止风险覆盖范围的差距）似乎比效率（避免不必要的覆盖重复）更重要。在这种情况下，人工智能公司应该严格错误地选择覆盖范围过大，而不是在重要领域存在风险差距。总的来说，如果主要关注风险降低，这一好处似乎被夸大了，也不那么重要

其次，已经实施3LoD模型的人工智能公司可能会被认为更负责任。总的来说，与许多其他行业（如航空或银行）相比，人工智能公司的风险管理实践似乎没有那么先进。通过调整其他行业的现有最佳实践，他们将表明他们的目标是进一步专业化其风险管理实践，这可以被视为更负责任。这种看法可能有很多好处。例如，它可以更容易地吸引和留住关心道德和安全的人才。这也有助于避免监管机构采取过于繁重的措施。在诉讼案件中，对于一个组织是否履行了其注意义务的问题，这甚至可能是有益的。然而，实施3LoD模型是否会对认知产生如此大的影响，尤其是与其他治理措施（如发布人工智能伦理原则或成立人工智能伦理委员会）相比，这似乎值得怀疑，主要是因为包括大多数员工在内的大多数利益相关者不了解该模型，也无法评估其相关性。监管机构和法院可能是一个例外，他们更关心风险管理实践的细节。我的最佳猜测是，实施该模型将对少数利益相关者的感知产生显著影响，而大多数其他利益相关者则不会在意

第三，实施3LoD模式可以更容易地雇佣风险管理人才。人工智能风险管理专业还处于起步阶段。我认为人工智能公司发现雇佣具有人工智能和风险管理专业知识的人很有挑战性。在大多数情况下，他们可以聘请人工智能专家并对其进行风险管理培训，也可以聘请其他行业的风险管理专家并对他们进行人工智能培训。实施3LoD模型可以更容易地从其他行业聘请风险管理专家，因为他们已经熟悉该模型。如果人们认为，随着系统的能力越来越强，并在更安全、更关键的情况下使用，人工智能公司将希望雇佣更多的风险管理人才，这一点可能会变得更加重要（例如，Degrave等人，2022）。不过，我觉得这个论点不太令人信服。我怀疑实施3LoD模式是否会对相关招聘决策产生有意义的影响（例如，对候选人申请或接受录用的决定）。由于该模型是关于风险管理的组织维度，因此对日常风险管理工作没有显著影响。话虽如此，可能会有较小的好处（例如，使入职过程更容易）。我的最佳猜测是，3LoD的实施对招聘的反事实影响很低

第四，实施3LoD模式可能会降低融资成本。评级机构倾向于对实施了企业风险管理框架的公司给予更好的评级（因为这样做被认为是最佳实践），而评级更好的公司往往融资成本更低（因为他们获得了更好的信贷条件）（见Bohnert等人，2019）。3LoD模型的实施可能会产生类似的效果。例如，如果假设开发最先进的人工智能系统的成本将因计算需求的增加而增加，那么降低融资成本尤为重要（Sevilla等人，2022）。在商业压力比今天高得多的情况下，降低融资成本对于继续进行对产品开发没有贡献的安全研究也很重要。也就是说，我不确定ERM框架的研究结果在多大程度上推广到3LoD模型。我的最佳猜测是，实施3LoD不会对当今中型研究实验室的融资成本产生有意义的影响。但我预计，随着实验室变得更有利可图，越来越多地利用其他资金来源（如信贷或债券），这种情况会改变

5结论

本文将3LoD模型应用于AI上下文。它提出了OpenAI、Google DeepMind和Anthropic等前沿人工智能开发人员可以实施该模型以降低人工智能风险的具体方法。它认为，实施该模型可以通过识别和缩小风险覆盖范围的差距来防止个人、集体或社会伤害，提高风险管理实践的有效性，使理事机构能够更有效地监督管理。它得出的结论是，尽管存在一些局限性，其影响不应被夸大，但该模型似乎有助于降低人工智能的风险。

根据本文的发现，我建议进一步研究以下问题。首先，我对该模型降低人工智能风险的能力的讨论大多是理论性的，并依赖于抽象的合理性考虑。我鼓励其他学者对这些说法进行实证评估。类似于Mökander和Floridi（2022）为基于道德的审计进行的行业案例研究可能是第一步。其次，尽管人工智能公司似乎没有实施3LoD模型，但他们已经开展了许多上述活动。为了更好地针对未来的工作，审查这些公司现有的风险管理做法并进行差距分析将是有益的。由于公共数据稀缺，学者们将不得不进行访谈或调查（例如“人工智能风险管理基准调查”），尽管我预计保密性将是一个主要障碍。这样的调查可能与Schuett等人进行的调查类似。（2023a，b）关于人工智能安全和治理的最佳实践。第三，本文重点介绍了3LoD模式的自愿采用。重要的是要知道现有或未来的法规是否可能要求人工智能公司实施该模型（Anderjung等人，2023）。例如，虽然拟议的《欧盟人工智能法》第9条没有提到3LoD模型，但有人建议，未来的统一标准或通用规范应包括该模型（Schuett 2023a）。3LoD模型也在NIST人工智能风险管理框架（NIST 2023a、2023b）附带的行动手册中提到。可以想象，该框架将被转化为美国法律，类似于NIST《改善关键基础设施网络安全框架》（NIST 2018）。最后，本文对3LoD进行了分离研究。它排除了上下文因素，如人工智能公司的风险文化，这些因素也可能影响模型的有效性。更好地了解这些因素将进一步改善人工智能公司及其他公司决策者的信息基础

正如George Box（1976）著名的一句话，“所有的模型都是错误的，但有些是有用的”。本着同样的精神，有人可能会说，3LoD模型不是对抗人工智能风险的灵丹妙药，但它仍然可以发挥重要作用。人工智能公司应该将其视为他们可以用来应对当今和未来人工智能威胁的众多治理工具之一。