作者：周翔，浙江大学光华法学院特聘研究员、法学博士。
一、问题的提出
以算法技术驱动的自动化决策已然进入人类社会的诸多决策领域，人形机器人“有望成为继计算机、智能手机、新能源汽车后的颠覆性产品，将深刻变革人类生产生活方式，重塑全球产业发展格局”。由此引发的各类权益侵犯风险引起了法学界的高度重视，比如自动驾驶汽车造成的生命健康侵权、智能投顾系统造成的投资人财产损失、新闻推送造成的信息茧房等。这些不同场景中算法应用的原理不尽相同，所造成的权利侵犯类型差异也很大。过去关于算法的研究，往往笼统地归纳算法领域的风险并基于此提出应对的方案，因此有学者认为“传统算法规制路径面临困境的根本原因在于忽视算法的场景性”，应结合具体场景的特点设计算法规制的方案。近年来，有很多针对医疗、交通、金融等专门场景展开的规范型研究，表明算法规制有关的学术讨论正在走向“场景化”的下半场。
那么，场景化的算法规制理论究竟应当如何重塑呢？传统的算法规制理论重在设计一系列的制度工具，以应对上述的不同算法场景和风险。其中，既有的规范体系十分依赖算法的解释技术，它是赋予私主体“算法解释权”、信息处理者的“说明义务”、行政机关“算法监管”职权行使等各类制度设计方案的基础。在人工智能应用的不同阶段算法的解释发挥着不同类型的功能，可以说，当前的算法规范理论主要是围绕“算法解释”展开的。通常认为，不同的场景对算法解释的需求往往是不同的，比如高风险决策的场景（High-stakes decision）就十分需要算法的解释，典型的医疗和司法等关乎重大权利的重监管领域（many heavily regulated industries）即如此。但是，目前我们对“算法解释”在特定场景中功能的认识依然停留于逻辑论证的层面，“算法解释”究竟在特定场景中的效果如何，影响效果的重要因素是什么等，文献层面都还论之甚少。
故而，本文的研究拟针对某一场景，首先实验分析智能产品的使用中算法黑箱、算法解释与算法理解、信任等效果间的相关性；接着根据算法使用中的有关实验结论，展开分析并得出对算法规范场景化的研究启示，包括场景化的用户、用途和人机关系等几个方面。
二、算法解释的有关机制和理论趋势
“算法黑箱”问题堪称算法风险治理的关键，而算法解释技术被认为是算法治理制度的核心。结合学界当前着力提倡的算法规范场景化思路，本文针对特定的算法场景，提出了提升算法理解和增强算法信任这两个算法解释的可预期效果。
（一）解释是从黑箱到信任的桥梁
在算法有关风险的学术研究里，最为突出的是“算法黑箱”问题，主要指自动化决策的运转过程和结果不透明。由于算法黑箱的存在掩盖了算法歧视、算法绑架等其他风险，既有研究纷纷提出要“打开算法的黑箱，提升算法的透明度”。算法的解释技术，在提升算法透明度上被寄予厚望，被誉为算法治理制度的核心。首先，有研究认为算法解释最直接和重要的功能就是化解算法的“黑箱”；其次，对化解自动化决策带来的其他风险亦有明显效果，比如在算法歧视风险研究中，有人提出算法解释可以“展开包裹在算法中的决策过程，为数据主体、司法机关等判断是否存在区别对待或造成区别影响提供具有法律意义的信息”。算法解释技术，既可以“算法解释权”等私权方式在不同场景中落实，也可以作为算法开发使用者的法定义务，或成为国家规制的工具。但无论是哪一种具体的制度路径，通过解释部分或全部地还原算法生成过程和结果，在技术层面都是一致的。
对算法应用进行法律规制，究竟能够起到何种可期待的效果？当前对算法规制的效果研究已经初步形成体系，既有“公平、可责和透明（FAT）”的多角度归纳，亦有着重强调某一侧面的，比如“算法的可信”；有研究认为，只要增加人们对算法决策过程的掌控感，算法厌恶情绪就会得到明显缓解。还有研究注意到规制目标之间的逻辑关系，比如“相对于透明性，可理解性才是目的”。这明显是一套以解决“算法黑箱”问题为主要目的，围绕“算法解释”技术构建的制度工具体系，期待提升算法的可理解性和信任感等效果的出现。这些所提及的算法规制的效果目标间是否具有关联性和层次性是本文所关注的，当前的研究虽有部分内容涉及，但更系统的内在机制还需要进行更深入的挖掘。通过对这些文献的梳理，可以发现：算法解释与其预期的效果之间呈现一定的递进关系，可将之表示为“算法黑箱→算法解释→算法理解→算法信任”的逻辑关系。
关于算法规制效果的实证检验，国内外均有很多研究成果，比如算法信任的产生机制，将之解构为有形性、透明度、可靠性和即时性等几个信任来源的维度。国内有关学术讨论主要停留于主观的逻辑构想层面，还未就此设想的逻辑做过真实性的检验，特别是这一主观构造逻辑的客观效果如何，该问题关系到和算法解释技术相关的一系列制度工具是否行之有效。而这也正是本文希望有所贡献的地方，即就某一特定算法应用场景展开算法解释效果的实验，通过机制层面有效性检验，为制度设计方向提供具有参考价值的信息。
（二）算法研究场景化的趋势
近期另一大趋势也引起了笔者的关注，即算法规范化的研究开始着力提倡结合具体场景提出规范化方法的思路。之所以要求场景化，原因在于“一旦场景不同，算法的性质就会非常不同”这一算法应用规律。正是因为不同算法应用场景在用户画像、面临的风险、所采用的算法、监管的要求等各个方面的差异比较大，所以才不能一直停留于抽象层面的理论演绎，而是应当更加注重对不同场景的具体特征进行分别归纳。当前学术界正在有意识地就具体场景来发现风险问题并提出解决方案，比如针对自动驾驶的场景，认为是训练数据集的缺陷问题；再比如，在算法规范的对策方案中也开始考虑场景化，如算法审核的标准、强度等应视具体应用场景而定。然而，这些讨论仍有不足，因其并非全篇针对某一类特定场景展开，仍是就算法的某一风险、规制的方法展开论题。
真正开展场景化的研究，应当以某一特定的算法应用场景为分析对象。本文选取了一类侵权风险大、专业化程度强、透明性要求高的司法应用场景（本文称之为“高风险场景”）展开研究。就发展阶段而言，算法涉足此类场景的程度还十分初级，这些领域当前还属于典型的弱人工智能场景。就处分的权益而言，这些领域关乎生命健康等人身权利，因此也属于监管问责向来十分严厉的地带，算法技术要进入这些场景还有诸多挑战需要回应。本文所针对的场景有一定的泛化性，虽以司法场景为例展开，但具有这些共性特征的场景却不限于此，医疗、交通等不少其他领域亦有很多相似的规律特征，比如都十分强调算法决策过程的可解释性。因此，若将本文在司法场景的相关实验中的发现推及更大范围，大概率会具有规范层面的启示价值。
（三）实证研究的两个假设
基于以上讨论的算法领域的逻辑和算法规制的场景化趋势，本文针对该特定的算法应用场景，提出两个算法解释的可预期效果：一个是提升算法的理解，另一个是增强算法的信任。两者有不同的侧重点，算法的理解是算法解释产生的直接效果，算法信任则是间接的，两者都有助于推动算法产品的应用落地。基于所设置的以上两大因变量，本文提出两个对应的研究假设：
其一，不同的算法解释技术，将产生不同的算法理解效果。基于用户的立场，算法解释的直接效果是有助于提升用户对算法的自动化决策过程和结果的理解。在其他变量保持不变的前提下，以算法解释所实现的理解程度为因变量，以算法的解释技术类型为自变量，研究两者的相关性。如果算法解释的类型和用户的理解程度之间呈显著的相关性，则说明该假设成立，应当根据场景设置匹配的算法解释技术类型。这里的用户算法理解是广义的，既是私主体“算法解释权”的行使基础，也是监管机关行政执法的事实依据。因此，这一命题的检验具有探讨算法规制方向是否科学的参考价值。
其二，算法的解释技术，有助于提升算法的信任。就逻辑关系来看，“算法的理解在前，算法的信任在后”。就算法的法律规制而言，两者具有不同的意义。之前关于解释的效果论述十分强调构建信任的意义，算法的解释在高风险场景中究竟能否对算法的信任构建产生显著的影响？算法信任的效果机制是否有别于算法理解的效果机制，其中的关键变量有什么差别？高风险场景的用户普遍缺乏对算法的信任，在该场景中开发算法解释技术的一大动因，即在促使场景用户能够放心且充分地使用本算法产品。上述机制层面的检验，也有助于我们反思规范层面的制度路径是否选取得当。
三、高风险场景的算法解释效果实验
为进一步验证以上两个假设，本文将通过开发智能实验产品、通过问卷调研用户反馈的方式收集实验数据，并采用交叉列表和回归分析相结合的方法分析实验数据，验证算法解释技术、用户专业背景等对算法理解程度的影响，归纳算法解释和算法理解、算法信任两大后置效果间的机制规律。
（一）实验用智能产品开发
为有效地检验以上提出的有关算法解释和算法理解、算法信任间的效果机制，本实验开发了一款高风险场景的智能产品。产品提供的服务场景为司法领域决定采取强制措施的类型，产品的内核是由数据训练得到的模型，该模型能够基于一系列的输入来确定应当对犯罪嫌疑人采取何种强制措施。基于这类技术原理所开发的智能化产品，将是某一场景产品步入强人工智能时代后的必然形态，也是国内学者在算法规制领域所应当指向的规制对象含义。正因如此，本文的如下研究设计，能够契合研究假设和目的。
第一步：设计预测模型。测试用的智能产品，是一款预测刑事案件犯罪嫌疑人被采取强制措施类型的智能辅助产品。产品的算法采用较强可解释性的对数回归（logistics）算法，模型的输入为案件的当事人、案件事实的基本情况，采用文本的输入形式；模型的输出为犯罪嫌疑人被采取的强制措施类型，采取二分类标签，标签0为取保候审，标签1为逮捕。
第二步：采集相关数据。为训练上述的预测模型，实验采集了国内三省一市（云南省、浙江省、广东省和北京市）的起诉和不起诉文书数据，共计约14万份文书。较之于采用判决书的优势在于，检察院的（不）起诉文书中包括了不起诉的案件，能更好地反映刑事案件庭前强制措施的类型分布。
第三步：训练预测模型。通过模型的训练和测试，我们得到了一个性能较为优秀的辅助预测模型。接着，选取了1个未出现在训练集和数据集的案例，作为本实验的研究个案，输入模型并得到预测的结果。
第四步：算法解释技术。我们采用了两种算法解释的方法，第一种是直接给出算法公式的解释方法，第二种是可视化的解释方法。模型公式的方法分别列出了决定强制措施类型的主要参考依据，比如x1代表“罪名的类型”；热力图则用“红色”代表和预测结论相关，颜色的“深浅”代表该词语特征和预测结果间的权重大小，红色深度越强的要素，比如“贩卖毒品罪”“有期徒刑”等要素，对采取强制措施的类型影响越大。
（二）问卷设计发放和回收
在获得以上测试用的模型和解释方法后，根据研究假设，实验需要获取用户对上述智能产品及其解释的理解程度、信任程度等相关数据。为此，实验将本模型包装为一款法律智能产品，采取电子问卷的方式分发给各种类型的用户，要求用户在使用该模型后反馈评价。
第五步：问卷设计。电子问卷采取翻页逐页回答模式，依次的内容为：（1）对产品基础功能的介绍；（2）采集用户的基本信息，包括年龄、是否具备计算机技术背景和法律职业背景；（3）介绍案情的基本事实，并要求用户先作判断；（4）页面嵌入模型计算过程，得出机器预测的结果；（5）计算用户对该结果的初始信任度（1-10分计）；（6）随机给出对该预测结果前述两种解释方法之一；（7）计算用户对该结果的理解程度（1-10分计）；（8）二次计算用户在阅读完产品对结果的解释后的信任程度（1-10分计）。通过以上设计，计划获得用户对该智能产品在算法解释前的信任程度、对算法解释的理解程度和解释后的算法信任程度。
第六步：问卷发放。实验将该问卷在以下人群中进行了发放：有法律学位和司法工作经验者、有计算机学位和人工智能知识背景者、无法律和计算机知识背景者。选择以上人群，主要考虑在真实的未来场景中，任何一款智能产品都可能面对具有技术知识背景、领域知识背景和无相关知识背景的三类用户。产品受众广泛的特点，使得不同人群对智能产品的理解上存在差异，将这一因素纳入问卷发放时考虑将有助于控制该变量。
第七步：回收问卷。经过近半年的问卷发放，研究小组共计回收有效问卷511份，实验对象的最小年龄为18岁，最大为87岁，平均年龄为29岁，将凡是具备法律或技术知识、实践背景的受试者分为有领域背景一组，占比55.56%。本实验的受试者在专业背景分布上具有较好的代表性，既有法律专业背景的受试者，亦有非法律背景人士；在法律专业背景中，还区分了专业性背景和是否有相关实践工作经验；同时区分了受试者是否具有人工智能等技术基础知识背景。
（三）实验数据的回归分析
本文采取交叉列表和回归分析相结合的方法对实验数据进行处理。交叉列表分析是一种描述性的分析，回归分析是对规律的深化。在交叉列表的分析中，本文突出强调特定场景的用户属性，采取两个维度的分类标准，其一为是否从事刑事司法的工作，其二为是否具备人工智能有关的基础知识。回归分析主要检验了算法解释和算法理解、算法信任两大后置效果间的机制规律。
1.不同算法解释技术对用户理解效果的影响
如上所述，本文重视专家型用户背景、不同算法解释技术对算法理解程度的影响。通过分组分别计算多组用户对算法解释的理解度、对两种不同算法解释技术的理解度，我们能够清晰地看到如下的特点：
其一，专家组对算法解释的理解程度更高。专家组对算法解释的理解程度总体得分最高（6.6分），这不仅是较之于对照组而言的，而且比具备人工智能知识的技术组得分（5.9分）也要高出12%。究竟是什么原因使得专家组的得分更高，该现象是否说明“司法实践的业务经验”能够提升用户对算法解释的理解，其中的机制如何还有待后续的回归分析。
其二，可视化的解释方法，在提升用户理解方面具有本场景下的相对优势。当以算法的解释技术作类型分组时发现，采取可视化热力图的方式能够起到更好的理解效果，这点不论是从专家组、技术组还是对照组的平均值都能得出一致的结论。这说明，从提升用户主观认知层面的理解程度而言，在高风险场景的普通用户中，更适合的也许是更形象的算法解释方法。进一步回顾可视化的解释方法，其通过颜色的深浅标识了影响强制措施类型的因素，从专家角度也许得到了和经验上的印证，因此可视化的解释不仅整体得分最高，而且专家组的平均分也是最高的（7.7分）。当这一结论基本成立时，研究假设一成立。
其三，专家组对公式解释方法的理解程度最低。和其他各组相比，特别是和技术组相比，专家组的得分明显偏低（4.2分）。这需要结合专家组的构成情况分析，专家组主要是由刑事司法经验的办案人员组成，他们既具有法律专业的知识背景，又多年从事实践工作，也许对需要有一定的数理基础才能理解的公式型算法解释技术具有一定的心理排斥。这一点和技术组比较时更显突出，技术组在该方法上的得分（5.7分）较高，说明具有一定人工智能技术背景的用户，不犯难于公式型的算法解释技术，反而从中获得了对算法更好的理解。
交叉分组的主要发现可归纳为：专家组对算法解释技术的理解程度最高，并且其中主要是由可视化解释技术所贡献的；不同的算法解释技术类型具有明显的得分差距，公式型解释方法在司法场景下不具有良好效果，特别是就专家组用户而言尤其明显。
为进一步挖掘关于算法解释后的用户理解机制，本文采取线性回归进行相关性分析，模型的自变量为算法解释的类型，模型的因变量为算法解释后的用户对算法的理解程度，其余变量为控制变量。从回归分析看，有以下数据发现：
其一，算法解释的类型，对算法解释后的用户理解有显著的相关性。当加入更多的控制变量后，算法解释技术的类型和算法的理解程度间依然显著相关，说明在选取何种算法解释技术的问题上，应当结合场景和用途慎重决定。由此，本研究的假设基本是成立的。针对具体的算法解释类型而言，可视化的算法解释方法更具优势。
其二，算法解释前用户对算法既有的信任，对算法的理解产生了显著影响。这一点需要结合后文关于算法解释前的信任构建机制进行讨论，但就算法解释后的理解机制构建而言，在解释前对算法决策结论的信任基础也是影响算法理解的重要因素。与算法解释前就对决策系统信任度较低的情况相比，对算法系统信任程度比较高的用户自然也能够较好地理解系统给出的解释说辞。由于回归模型中控制了专业领域知识和技术知识背景两类变量，因此将对算法解释的主观理解认知归因于解释前既有的用户信任感，具有较强的可信度。换言之，较之于信任基础好的算法决策，高风险场景的用户如果原本已经不信任算法作出决策，算法的解释技术能够提升和改观的空间就十分有限。
其三，有专业知识的一组，上述两大机制更加被放大。当把分析的单元限定于具有法律知识、技术知识、司法工作经验等任何一种情况时，分组后发现算法解释的技术方法、算法解释前的信任感，两者对被解释变量的相关系数变得更强。这也许说明，在具有一定专业背景的用户群体中，更为强调解释的技术方法和对算法的既存信任感。
2.解释前后的算法信任机制比较分析
研究采取交叉联表的方法归纳出了算法解释前后的信任程度变化，由此引发了一些值得算法规制的制度设计层面反思的问题：
其一，算法的解释，不能提升反而降低了对自动决策系统的信任。初步看这一数据结论令人惊讶，即通过算法的解释后，各组用户对算法的信任感普遍下降。由此，本实验的第二个假设就难以得到认可了，而有必要探寻构建算法信任的更为特殊的机制原理。
其二，在算法的解释前，专家组的信任程度最高（7.2分），有必要进一步探寻专家组对算法的信任基础来源，是什么造成了在算法解释前专家组具有较高的算法信任基础。
其三，在算法的解释后，专家组的信任程度下降最快（下降13%）。从事刑事司法工作者对算法的信任下降最多，其次是具有技术知识背景的一组。有必要通过回归分析，探寻是什么样的关键变量导致了算法解释前后的信任程度有如此明显的下降变化。
同样，为进一步挖掘算法解释前后的用户信任机制，本文采取线性回归的方式对算法信任的构建过程作了相关性分析。模型的自变量为“算法解释的技术类型”和“算法解释的理解程度”，模型的因变量分别为算法解释前和解释后的“用户的算法信任程度”，其余变量为控制变量。从回归模型结果看，有以下分析发现：
其一，算法解释前的信任基础，主要的影响因素是用户的前见。所谓前见，集中体现为自我的判断和算法的判断是否一致。本实验采取的是串联式的逐一回答模式，首先是案件基本情况，接着是用户的回答，然后是算法给出的判断，此时再要求用户给出对算法的解释前信任程度。这种提问和回答架构下，用户对案件应当采取何种强制措施的“自我判断”和“算法的判断”是否一致，对算法解释前的信任基础起到了重要影响。
其二，算法解释后的信任构建，主要的影响因素是用户对解释的理解程度。与之相比较，算法解释的技术类型代表的是中间变量，而用户对解释的理解程度才是实质性的最终变量，后者与算法信任程度间的相关性更强。因此，从中可以得到的初步结论是，在算法信任构建的诸多要素中，具有关键意义的是用户对算法的既有理解程度。
3.算法理解的补充随机对照实验
前述的实验设计中没有考虑到“没有算法解释”的情形，因此难以直接得出算法解释是否有助于提升算法理解的结论。为进一步验证这点，本文又完成了二次补充实验，采用相同的实验设计，以控制对照的方式对110名法学在校研究生进行了分组实验。结果表明，较之于不采取解释的黑箱对照组得分（5.31），解释实验组的平均得分（7.21）提升了36%，其中可视化实验组得分仍然高于公式组13%。考虑到受试者为随机座位的同班同学，该实验结果具有很强的信服力，即可以认为“算法解释技术，的确能够提升用户对算法的理解”。
（四）实验结论的规范研究价值
以上的实验数据分析结论，对规范层面进一步开展算法规制方法的研究提供了诸多启示：
其一、注意不同场景下用户的特征差异。实验结果已表明，以刑事司法为代表的高场景中，具有不同背景的算法用户，因为具有不同的学历、从业、年龄等背景，导致他们对算法解释方法的理解能力、固有的信任基础等各方面存在显著差异。算法规制的场景化规范方案设计，必须考虑基于特定场景中的用户画像才有希望实现“一场景一方案”。
其二、应当强调算法的解释技术和场景化用途的匹配性。实验结果已表明，在本场景中不同的算法解释方式会产生明显的算法理解差异。算法的解释技术本质上是为算法产品的应用落地、满足特定场景的用户需求所服务的。有必要对照高风险场景在决策过程的透明度、可理解性等方面的需求，进一步分析算法规制路径中解释技术的可行性。
其三、需要考虑算法决策在特定场景中的应用限度。从实验对信任度的计算结果看，算法并没有很明显地提高在以司法为代表的高风险场景中的信任程度。要考虑高风险场景下的算法解释为什么没有推动算法信任的构建，信任程度甚至不升下降了？这说明算法决策在高风险场景中并不具有天然的正当性及可接受性，同时单纯地寄希望于通过算法的解释技术，也许并不能改善这一点。
作为一种算法应用的技术，算法解释的提出和发展在于满足特定场景下的用户需求，它主要提供的是一种“尽可能还原决策过程事实材料”的功能。不同场景的用户对算法解释的需求程度应该是有差异的，比如在短视频、商品和新闻等推荐算法中，用户对算法决策的过程可能并不十分关注；在交通领域的自动驾驶决策中，用户更为关注算法决策的及时性和准确性，只在事后归责时可能关心算法决策是否恰当；只有在司法、医疗等场景中，算法解释技术才受到诸多关注，并将之视为人工智能技术在该场景中能否顺利落地的关键。
四、基于用户画像的算法规范场景化
不同实验场景具有不同的用户画像。以本文所重点关注的以司法为代表的高风险场景中为例，即涉及算法产品的直接用户、高侵权风险的实际承担者、算法产品的开发者、该领域的传统监管者四类利害关系者，每类主体的算法解释需求不完全相同，应该为不同的场景用户提供针对性的算法解释。
（一）用户画像影响解释的效果
从“算法解释”和“算法理解”“算法信任”的实验中，我们至少可以得出以下几条值得算法规范场景化重视的有关“用户”方面的实证发现：
其一，特定场景的用户具有前置性的背景。这里的用户背景既包括学历专业方面的，也包括年龄上的，还可以指从业经历方面的。本实验发现，以上各方面的背景都将显著地影响用户对算法的解释效果的理解程度。这些影响包括专业型背景用户具有更好的算法理解能力，用户的知识背景决定了其对算法解释的方法类型具有很强的偏好性。在特定的场景中，用户的年龄和对算法解释的理解能力之间还具有一种反向关系。
其二，特定场景的用户具有很强的固有前见。这里指的前见包括两类，一类是用户原本对该算法产品有一定基础的信任前值，另一类是用户对算法的预测结果有自己的预期，算法决策的结论要么与自己一致，要么不一致。本实验发现，以上两类前见均会对算法解释的效果产生显著的影响，比如算法在解释前的信任基础将影响用户对算法的理解，算法的预测结论是否和自己的预期保持一致与算法的信任之间有显著的相关性。
以上用户画像方面的发现，完全可能随着场景的变更而使得统计学意义上的显著性消失，或者产生其他新的机制。这恰恰说明，不同的场景具有不同的用户画像，以上方面在不同场景中的差别很大，这正是算法的规范化方案应当结合场景开展的重要理由之一。
（二）实验场景的用户结构分析
不同的场景具有不同的算法使用和算法解释的需求者，内在的主体结构差异很大，本文以实验的场景为例予以分析。算法产品的直接使用者可能只有一类，但算法解释的使用者却一定是多元化的，因此有必要从算法解释的需求方角度全面理解高风险场景中的主体结构。以司法为代表的高风险场景，有以下几类利害关系者：（1）算法产品的直接用户。他们是该领域的专家。（2）高侵权风险的实际承担者。我们发现算法决策系统的直接用户和权利侵犯风险承担者往往并不是同一主体。这就面临着法律责任归属的制度抉择，即当风险成为实害之时，究竟由谁来承担相应后果。（3）算法产品的开发者。他们面临产品责任的问题。（4）该领域的传统监管者。他们并未在该场景引入算法决策后自行消失。在以上四类主体的基础上形成高风险场景的用户画像和利害关系。
第一类主体是算法产品的直接用户，在实验场景中是该领域的专家。就算法在司法领域的应用现状看，当前主要是在审判、检察等公权力机关中应用较为广泛。算法产品虽然也包含法律服务市场中的部分算法应用，但主要还是在公权力机关的智能办案中作为辅助办案人员的工具存在较多，比如本实验中用模型辅助判断犯罪嫌疑人被采取的强制措施的类型最具有代表性。与之相似的场景有医疗领域，算法应用的主要用户是医生。这类以法官、医生为代表的领域专家构成的主要用户群体具有鲜明的人物画像特征，比如本身具有该领域的判断能力，具有算法决策过程的一定理解基础。他们擅长各自领域的知识，同时又带有一定的局限性，比如司法场景中的用户往往是文科背景，对数理知识较为陌生。通过该视角，得以解释为什么实验中专家用户对公式型解释方法的得分最低。
第二类主体是风险的实际承担者。高风险场景的风险承担者并不是专家用户自己，而是第三人。当我们把高风险场景下被侵害的权益确定为生命、健康、自由等高位阶的个体权利时，这些权利的确会因为司法裁判、医疗诊断等行为面临失权的风险，这些风险虽然是通过算法的自动决策并借领域专家之手作出的，但是最终的不利结果却是由犯罪嫌疑人、患者等他者所承担的。就风险承担方和使用者的关系而言，不利风险的承担者并不愿意区分是由机器还是人作出的决策，他们更愿意相信这是由专家统一作出的理性决策。
第三类主体是算法产品的开发者。由此该场景的算法应用需要处理算法的开发者、算法的使用者（专家）和最终的风险承担者间的关系，开发者和使用者需要共同对最终的风险承担者负责。在当前的法律体系构造中，前者负有产品质量责任，后者负有业务行为责任。两者间则是一种委托和受委托开发的关系，从司法和医疗的实际建设和运行情况看，算法系统开发者只是某一智能产品的承建方，算法产品的运行和使用权限基本掌握在法院、医院等使用者手中。故而，高风险场景中，从主体格局的视角来看，该领域专家作为算法的使用者占据了主导者的地位，算法的机器决策其实很难和人工的决策割裂开来。
第四类主体是该领域的监管者。他们始终在场，而且较之传统时代的监管强度并未减弱。在司法领域本身即有一套严格的职业伦理要求和严密的司法责任制度体系，监管者包括法官惩戒委员会、司法员额及其责任制，制度设计上包括行政处分等行政法，枉法裁判罪等刑事法作为监管的依据。医疗领域的监管力度并不亚于司法，在医疗器械投放使用事前和事中有食药监局的行政监管，在出现医疗事故时有民事侵权、医疗事故罪等司法追究机制。
（三）基于场景用户的算法规范
从算法黑箱到算法理解、再到算法信任，根据权利（力）主体，既有的算法规范可以划分为两类：一类是公权力的行政监管者，另一类则是代表私权的主体。两者的共性在于都是基于“算法的解释”构造具体的权能内容，两者的差异则在于行权的主体、基于部门的法理等方面。
场景化的算法规范，应当考虑不同场景对行业监管者的职责要求不同。本实验的高风险场景中，从该场景固有的较高监管要求、风险造成实害的重大权利侵害等方面考虑，规范应当赋予行政监管者更大的权限和自由空间，目的是为高风险场景发现监管的线索、确定监管审查的内容、制定处罚定性的依据等提供便利。用户画像对算法使用、算法解释的效果实验表明，就高风险场景下的算法规制而言，应当事前建立一套分类分级的算法解释内容细则，以针对日常检查、个案追责、算法备案等不同执法任务和执法层级，规范研究应当设计不同的解释方案。
场景化的算法规范还应当考虑不同场景中赋予私权利主体多大范围的权利。当算法解释技术为保障个人权益所用时，既有文献往往在“算法解释请求权”的概念之下讨论，认为这是一种当对相对人有法律上或者经济上的显著影响时，相对人向算法使用人提出异议，要求解释和更正错误的权利。对此，学界将之归纳为算法技术伦理、技术性正当程序以及算法运行危害成本内化三个层面的理由。就本实验的高风险场景而言，规范层面可精细化地考虑在几对不同的私主体间构造救济权。首先是风险的实际承担者面向算法的专家用户请求权，其次是风险的实际承担者面向算法的开发者请求权，最后是算法的专家用户面向算法开发者的请求权。在具体的算法规范内容设计中，又应当体现出面向专家型用户和面向普通的实际风险承担者，在解释方式、解释程度等方面的差异性。
五、技术供需匹配的算法规范场景化
实验的司法场景是一类高风险的场景，处置的权利类型比较重大（比如生命健康权），利害关系非常复杂（比如涉及多方主体），传统对该领域的监管也比较严厉（典型如本文经常用于举例的司法和医疗领域）。这些方面共同决定了高风险场景对算法解释的类型需求较多元化。与此同时，在实验中我们也看到算法的解释技术所能提供的解释内容十分有限，它并不是完全为某一场景量身定制的。这就导致通用的算法解释相关技术并不能够直接恰如其分地满足场景中的个性化用途。
（一）解释有关技术的能力限度
在实验中观察到算法解释的有关技术不是无限的，通用的解释技术并不一定能够满足特定场景的需要。正因如此，我们看到公式型的算法不能为用户很好理解，算法的解释不能提高实验场景中信任的效果等问题。因此从实然的角度，还需要分析算法解释的前沿技术，是否能够在实验的高风险场景中满足以上的用途。结论主要有两点：
其一，并非全部的算法都有对应的解释技术。本实验选择的是对数回归这一较为传统的机器学习算法，故而既可以表达出算法的公式以及参数，又可以针对个案呈现和输出结果相关的输入信息以及相关程度。但这是由于这类算法比较简单，而当下有很多的深度学习算法模型就不能够用“公式”表达，即使可以用数学公式说明也无法确定其详细的参数。对于深度学习等较为复杂的算法，在解释方式的选择上就必然是受限的，因为只能选择个案化的可视化解释等部分解释技术。
其二，可视化等部分解释技术，不能全面地反映算法决策过程的全貌。可视化算法虽然在本实验中对提升算法理解的表现要优于公式法，不过这种方式的弊端亦十分明显，即它只是针对个案、事后型的。算法解释不论是在公、私两条路径中的哪一条中都不限于事后，可能在算法决策的事前和事中亦需要提供说明。与此同时，可视化等个案解释方法所呈现的模型信息是很不全面的，在完成算法实害归责、审查算法开发中是否存在违规等任务时，这种解释技术所还原的信息是不够全面的。
以上两点说明，当前的算法解释技术至少难以满足实验场景的需求，同时也限定了算法规范的可设计空间。
（二）实验场景的解释用途分析
进一步分析高风险场景的参与主体，可以发现一些鲜明的场景特点，比如该领域决策的专业化、算法使用者对决策结果负主要责任、行业传统监管比较严格等。这些行业专业规律，决定了在该领域应用算法决策时有特别的需求。不论是事前备案、事中监管还是事后追责，都离不开对算法决策运转机制的理解。正因如此，算法高度透明性自然成为司法、医疗等场景中对算法应用提出的一种近乎苛责的要求。也因此，在文献中一旦提到算法解释的技术问题时，所预设的主要是司法、医疗等高风险的场景。这是一个值得追问的现象，即高风险场景为什么对算法决策过程透明性有如此多的要求。
强调决策过程的说理，可能原本即是此类场景的传统。司法的场景中体现为对裁判说理的重视，这种司法实践和理论学说的共识传导至法律人工智能的讨论中，就衍生出相似的观点，即“裁判的精华是裁判理由而不是裁判结论”。无独有偶，我们发现医疗领域的算法应用发展也十分强调过程的说理，因此在医疗场景的算法应用产品中训练语料最多的是病历记录，除给出病情诊断的主输出结果外还要求有结论的依据。由此，我们姑且可得到的结论为，当前对高风险领域下算法应用过程透明性的高要求，可能不是对机器决策所新创的，而是传统中该场景就对人类的决策也提出过较高的过程透明性要求。那么这些场景所要求的算法透明性，具体有哪些用途呢？笔者认为主要在于三个方面：
其一，强调算法决策的透明性，在于和使用者的判断形成印证。本研究的实验中已经发现可视化的算法解释呈现方法受试者更易于接受，特别是面向专家用户时更为明显。这一现象背后的机制在实验中并未得到阐释，但根据可视化解释的方法主要呈现的内容，可以推断其完成了人类决策者和机器决策的一种印证过程。当机器决策的结果所依据的基本事实要素和人类决策比较相似的时候，会产生提高人工决策者对算法信任的效果，这在实验数据中能够得到一定的反映。如前所述，高风险场景的算法使用者原本即是领域专家，这一特点决定了用户自身就有判断结果的能力，当要求他们使用算法机器决策的工具，用户就会产生一种需求，即了解机器决策的依据能否得到自身经验的印证。
其二，算法决策过程的还原，还可能是为了在事中说服高风险的实际承担者。如前所述，本文所关注的司法、医疗领域的直接用户一般都不是风险的承担者，这些场景真正需要承担生命健康、人身自由等权利侵犯不利风险和后果的主体另有其人。因此，算法决策的直接使用者就负有向高风险实际承担者说明和解释的法律上或道义上义务，能够让风险承担者认同算法决策是可信任的，该智能应用才能够在该场景中真正得以直接适用，比如在医疗的手术场景若采用算法决策，可能有必要向患者说明手术的决策机制、过程与效果。这实际上是医师职责的一部分，因为在医疗中患者知情同意是医疗行为正当化的核心根据，医师负有说明义务。
其三，对算法决策依据的留痕，成为事中监管和事后归责的依据。在高风险场景中已经出现过很多个风险变为实害的案例，当出现这些侵权和违法事件后自然存在如何归责的问题。司法场景中有法律职业伦理的一般要求，而且在当法官依据人工智能辅助作出错误决策时，还有法官是否需要对该案承担责任的问题。司法责任的追究机制包括基于法官法、公务员法的惩戒处分机制，严重者可至刑事法中的徇私枉法罪、民事行政枉法裁判罪等相关罪名。医疗领域与之很类似，出现实害后要在患者、生产商、医疗者三方之间分配医疗事故的责任。既然要求归责，就要有明确的事实依据，正是这些高风险场景中的严格归责需要，使这些场景下不论是人类决策还是算法决策，其过程都必须能留痕备查。实验设置了可理解和可信任两类效果，而实验结果发现了算法的解释和算法的理解有统计学上的相关性，事后归责即对应算法解释及其理解效果的具体实际用途。
（三）由规范回应场景化的需求
算法的有关解释技术还需依赖于具体的制度设计加以落实。既有的算法解释研究文献主要从解释的内容、程度、时间与方式等方面对算法解释的具体细节展开描述。这几点也许可以成为分析某一场景下算法解释具体用途时的框架。首先，算法解释的内容和程度，内容是指还原的算法决策信息量，这取决于解释的方法，不同解释方式含有不同程度的信息量，客观上解释的最大可能范围可归结为“算法的可解释性”。其次，解释的时间，主要分为算法是否正在运转，是决策中还是决策后等。再次，从解释的技术角度，个案解释的方法只能是在事后，就模型本身的解释可以在事后也可以在事中。从高风险场景的实际需求看，既有在事前事中说服风险实际承担者的理解需求，亦有事后归责的理解需求，因此解释贯彻于事前中后。最后，算法解释的方式，可分为由人作出解释还是由机器作出解释两类，从技术角度，机器解释应当是一手信息，人工解释是对资料的二次组织。在高风险场景中，对算法决策过程进行解释，主要为呼应以上提到的几点用户需求，因此既有面向专家用户的机器解释，亦有专家面向实际风险承担者的人工解释。
用途一的算法解释主要是算法开发者面向专家用户，这方面的解释从内容看应当尽可能全面和专业，契合特定场景的需要；从解释的程度看应当偏向于全局的解释，且时机上应当是在正式投入使用前；从解释的方式看应当既有机器直接输出解释，也应当包括技术专家和领域专业用户间的直接对话。
用途二的算法解释是风险的实际承担者面向专家用户的请求权，从权利的性质看应当属于程序性的权利，权利的内容包括对算法决策有知情、参与和提出异议的权利；从解释的内容看主要是算法判断的依据、可能承担的后果等方面的说明；从算法解释的时机看主要应当是事中的；解释的方式应当以专家用户的人工解释为主。
用途三有两个方面，分别对应“私权保障”和“监督管理”。第一种是私权主体寻求救济时的需要，此时的权利主体应当是风险的承担者，属于一种救济性的权利。在高风险场景法律归责时，需要一些“查明事实真相、分配不利后果”的素材，作为司法诉讼或行政执法的证据。以这个用途来说，解释的内容和程度要求都比较高。第二种是满足监管的需要，个案追责和算法备案两种最具代表性。从解释的内容看，高风险场景中个案追责所需要的算法信息最广，其次是算法备案；从解释的程度看，对应的个案追责应当以个案能够得到解释为前提，算法备案则基本对应于全局解释的技术；从解释的方式看，机器提供原日志原材料，人工可编辑摘要同时保留元数据。此种用途需求，对算法解释在内容的广度和深度上要求都将比较高。
六、考虑信任基础的算法规范场景化
从实验中算法解释的实际效果来看，算法解释并不能够化解高风险场景中的全部风险，能化解的甚至只是其中很有限的一部分。因此，从该场景的风险规范角度，除了基于算法的解释技术设置算法解释权、算法规制的一系列制度外，还应当在算法进入该领域的门槛、人机间的分工等更基础的方面作出规定。这类规范实际上是着眼于技术的局限性。
（一）算法的信任影响人机的分工
基于场景化设计算法法治化的规范方法，第三个具有启发性的方面是算法在该场景中的用户信任基础，这将根本性地决定算法进入该领域的难度。某一场景中算法的应用程度，根本上是由该场景中主要参与者的态度决定的。从实验中可以发现，当前高风险场景下的算法应用，在用户信任方面有两个不容乐观的现象。其一，算法的信任基础并不高，本实验场景下的测量数值为7分左右（10分制）。其二，在实验中插入算法的解释后，算法的用户信任甚至不升反降，降低了13%。除了考虑结合场景作解释方法的改进之外，更加值得反思的是，算法进入各应用场景的难度也许本身就是不一样的。
这一实验中的发现和算法的规制方法之间的启示，则是究竟应该如何定位某一场景算法决策中人类用户和算法机器间的关系，即在不同场景下人机间应当如何分工。不同的算法应用场景表现出的分工特点和差异已然很大，比如短视频的推送已经基本实现全自动化，自动驾驶汽车也正在迈向更加脱离人的自动驾驶状态，而以本实验举例的司法、医疗等领域，则仍难以放手交由机器自主作出决策。
（二）实验场景中的人机关系分析
在实验的高风险司法场景中，哪怕是最为坚定的法律人工智能支持者，也偏向于认为人机关系中机器处于辅助的地位。究竟为什么该领域的法律专家普遍对算法的接受程度偏低，甚至很多人质疑呢？梳理之下，部分专家学者对算法过程方面缺乏足够的、适合司法场景的解释产生质疑。他们认为，法律预测算法的不可解释性、机器判断压缩了法律议论。以上基于场景的批判，却并不能够得到技术上完全有力的回应，由此便造成当下该场景中人机分工的局面，而以上批判无法得到技术上回应的原因却是多层次且复杂的。
第一个方面的原因是算法解释技术的应用，不能过多地牺牲模型的性能。算法的解释技术主要在高风险场景中兴起，原因就在于这些领域的专家用户要求只有当算法决策具有可解释性时，才会同意这些智能应用的落地。由此，算法开发者才不得不考虑如何实现算法的解释问题，有一定的可解释性势必要求选择算法类型时要有所受限，某些算法类型很难找到有效的解释技术。换言之，其中必然有一方面要有牺牲，算法模型的性能和可解释性间存在不可避免的交易（trade-off）关系，即在要求高透明性的场景中算法类型选择受限，算法决策作出解释和模型预测的准确性之间存在此消彼长的关系。因此，从算法开发者的角度这里存在“两难”问题，一个预测精确度堪忧的模型肯定不能投入应用，而一个难以解释的黑箱算法同样无法被高风险场景的用户所理解和信任。
第二个方面的原因是关于算法的解释，在技术能呈现的内容和用户所期待的决策过程的说明程度之间有理解上的差异。从算法解释的初衷看，主要的方法是用一定的技术勾连起人类可理解的“表征”（representations）和算法输入用的“特征”（features）间的关联性。而从具体的呈现方式看，可以是一段说明的文字、一个带有参数的公式、一个输入特征相关性数值的表格或者是一张图片等。不论是以上哪种形式，都和高风险场景中人类决策的说理有些差别。在司法决策中主要是一种解释规范大前提、归纳事实小前提的三段论式说理，但当下的解释技术是做不到的，正因如此才有学者提出最新建议，“这种高标准的法律论证在技术上也无法实现，实事求是地将论证的要求‘降维’成解释”。在医疗场景中的情况也很相似，当前的算法解释技术主要应用于诊断环节，采取的典型方式是将和结果正相关的因素用红色标出、负相关的因素用蓝色标出，呈现在医生面前，这种方式和传统的人工医疗诊断方式也并不一致。
第三个方面的原因是当前的法律归责体系。在高风险的场景中，都较为统一地认为算法决策较为初级。在医疗中，医疗AI并非要替代人类医生，只是辅助医生工作，主导权仍掌握在人类医生手中，主要目标是通过人机协作提升医疗的准确率和效率；在司法中当前的机器辅助也主要是侧重于效率提升的一面，涉及实体裁判的不多。而且一个突出的现象是，司法等高风险领域的法律责任是否会被数字技术所冲淡，领域专家对此保持极高的警惕性。正因如此，从对机器智能的法律定性上来讲，当前也是以否定论占多数。这自然可以推导出一个结论，机器不会就所产生的实害负责，高风险场景的责任主要在各参与主体间分配，专家用户面临较重的注意义务。在医疗领域，既有的司法裁判和学说观点较一致地认为，专家用户应对算法决策的结果负注意义务，仅在一般过失下才能免责。而在司法领域情况相似，即假使这是一项关系当事人实体权利的司法判断，不论是否借由算法决策作出，担负司法问责风险的仍然是办案的司法官。既然如此，当解释的方式、内容并不能令其确信时，他们自然有权拒绝算法决策。
（三）规范限制场景中的算法任务
在实验的高风险场景下，应当在行业性规范中确立人机之间坚持以人工决策为主、机器为辅的原则，这是由用户的信任基础、解释技术的局限性、法律责任的分配方式等以下几个方面所共同决定的。在该场景中应当更进一步推演的是，算法的场景化规范应当设置算法应用的正面和负面任务清单。算法及其解释技术的局限性、高风险场景的固有规律，决定了这些场景中不是每一个任务都适合引入算法决策，哪怕只是承担辅助角色。诚然，我们难以阻止人工智能的浪潮席卷这些高风险的场景，但是法律规范依然有必要划定一些禁用算法决策的任务清单，引导算法技术向正确的任务方向发展。根据既有的算法应用所尝试的场景任务类型，我们可以作如下取舍：
程序辅助型任务，更适合高风险场景的算法任务。司法领域希望用信息化和智能化区别数字技术应用。程序性事项更偏向于形式任务，比如办案无纸化、全流程线上办公等，并将之和信息化等同。但其实在程序性事项中也有很多可算法辅助判断的事项，只是这些判断不涉及重大的实体权利处分，属于适合算法决策的内容，比如案卷的归类、是否满足管辖的条件、文书是否已经送达。与之相对应的是一系列涉及终局性的实体权利处分，比如刑事领域的定罪和量刑等，这些任务才有更高的决策透明度要求。
知识辅助型任务，更适合高风险场景的算法任务。所谓知识辅助型主要是指算法决策所处的是实体判断过程的中间环节，最终的实体判断依然由专家完成，但就司法中寻找参考案例、文书写作，医疗中寻找相似病例、处方写作等，提供更精准的模板匹配。这种辅助不能直接形成实体判断的结论，但是能够让算法的使用者减少寻找依据、资料的工作量，故而称之为知识辅助型任务。与之相对的则是实体判断型，包括司法中确定赔偿金额、医疗中确定治疗的用药方案等。
以上任务的分类可能还有很多其他标准，需要对之加以体系化构建，并同样需要用行业规范的方式予以确立。哪些任务是鼓励算法应用的白名单，哪些任务是算法禁入的黑名单，都应当清晰地在行业的算法应用规范中列明，并结合算法技术的动态发展予以调整。从当下计算机科学发展、法律人工智能的学术前沿来看，却并未受到此种指引，计算机科学的研究人员仍以研发定罪量刑、法条预测等任务为研究重点，而这些任务却被本文称作“慎入”的任务清单。
由此看来，本文虽以研究算法解释的效果作为原点，但得出的结论却略显意外，即算法的解释技术在高风险场景中往往陷入效果不佳的困境。因此在设计算法规制的方案时，要结合具体的场景，不限于算法解释这一种方法，而是与人机间的分工关系、任务的负面清单等其他路径形成合力。
(本文来源于《东方法学》2024年第2期)
专题统筹：秦前松
