蒋克勤&毛海波：平台算法自动化决策侵权责任的司法审查与认定 | 微课程

为传承审判经验、提升司法能力、促进适法统一，自2020年起，上海一中院以司法实践中常见法律问题等为主题，制作系列微课程100余期。2023年，“金色天平微课程”获评“上海法院十大文化品牌”，微课程讲稿公开出版。2024年，《微课程》专栏全新升级，敬请关注。

往期长三角法院系列微课程

乔林&程俊杰：重复起诉纠纷案件的认定与处理 | 微课程

沈雯&姜丽丽：加班的司法认定与举证责任分配 | 微课程

盛萍&沈严：民间借贷合意的司法审查 | 微课程

王茜&谢群：违法解除劳动合同的司法认定与裁判规则

任明艳&张帆：不法原因给付的司法认定与裁判规则

李兴&张晓光：合同僵局的司法

终止规则适用

卢颖&杨俊生：竞业限制中的典型

问题及司法应对

点击标题查看或左右滑动查看下一篇

大家好，欢迎收看上海市第一中级人民法院微课程。我是一中院的王贺。今天很有幸邀请到我院研究室的蒋克勤主任。

主持人好，大家好。

以及浦东法院的毛海波副院长。

主持人好，大家好。

与我们一起探讨平台算法自动化决策侵权责任的司法审查与认定。伴随着数字经济的不断发展，我们的衣食住行都与各类平台、各种算法息息相关。像网购有算法推荐、资讯有算法推送、出行有算法导航，可以说我们是生活在一个算法泛在的社会。

这些算法的自动化应用给我们的生活带来了很多便利，但是也引发了很多的风险和纠纷，像之前大家所广泛关注的大数据杀熟案等。应当讲平台算法自动化决策所引发的侵权纠纷，已经成为当前司法所面临的一项热点和难点问题。毛院长，对于这个问题您是怎么看的？

的确，算法特别是自动化决策作为平台的核心技术，有力地推动了数字经济的发展。然而，在现实生活中，这种算法的黑箱、算法的歧视也比比皆是，所以对社会大众而言怎么样防止因算法受到利益的侵害和歧视，就是广为关注的一个问题。对法院而言，对这些问题来厘定一个裁判规则就显得尤为必要了。

蒋主任，算法自动化决策还是一个比较专业的术语，在我们对相关案件进行裁判的时候需要首先明确它的法律含义。对此，我国的相关法律是如何界定的？

《个人信息保护法》第73条对于自动化决策进行了专门的定义，自动化决策是指利用个人信息，对个人的行为习惯兴趣爱好，或者经济健康信用状况等，通过计算机程序自动分析评估，并进行决策的活动。根据该定义，利用个人信息进行自动化决策通常包含两个环节。

第一个环节是用户画像，即对自然人的各类信息进行记录加工，并分析个人的行为、习惯、兴趣、爱好、或者经济健康信用状况等；

第二个环节是进行决策，即利用用户画像对个人做出广告推荐、信息推送、信用评价等决策。

蒋主任，那我理解，用户画像和决策行为应该是基于实现特定的业务目的而设计的，而算法则是贯穿其中的一个基础性工具，用来加工、采集和分析数据。

是的。

好的，那毛院长，如果网络平台利用算法自动化决策开展相关业务，它需要履行哪些法律义务呢？

对于这个问题，《个保法》的24条进行了明确的规定。这个条款的第一款开宗明义就提出来，平台在进行自动化决策的过程中要做到公开透明，也就说有一个透明度的要求。那么为什么有这样一个透明度要求呢？是因为与一般的个人信息处理不同，这种自动化决策涉及到对大量的个人信息的处理，以及复杂的算法，所以法律规制了它更高的透明度义务。所以平台必须要事前对个人进行告知，有没有进行自动化的决策，决策的基本逻辑和基本的原理是怎么样的，这样一种决策对个人的利益会不会产生重大的影响等。

好的。那蒋主任，除了保证决策的透明度，平台还需要承担何种义务？

网络平台还需要保证自动化决策结果的公平和公正。网络平台作为自动化决策的实际应用者和利益获得者，需要对算法的应用和管理尽到守门人的责任。

那毛院长，该条赋予了用户个人哪些主要的权利呢？

这个条款赋予了个人如下的权利：

首先，个人享有选择权和决定权。这个条款的第2款，它规定当平台进行自动化决策的时候，对个人进行信息的推送，商业的营销的时候，就应当提供给个人不针对他个人特征的选项。或者提供给个人一个便捷的拒绝方式。

第二，这个条款赋予了个人要求解释的权利。这主要集中在这个条款的第三款，它明确规定，就是说如果平台在做出决策的过程中，如果这个决策是有重大利益的，那么我有权要求你对它进行解释。那经过解释以后，我发现其实你的决策过程就是根据我的经济状况、我的信用、我的财产状况等等，那么也就说这个决策过程是对我有重大影响的，那么必须要经过我同意，否则我有权进行拒绝。

结合前面所介绍的相关法律规定，我们对算法自动化决策的法律界定、各方的主要权利义务都有了具体了解。下面我们来分析这样一个典型的案例：

李某是一名执业律师，无意中在某平台网站搜索，发现自己成为该平台的认证律师，并且展示了自己的律所、执业年限、胜诉率以及收费标准等信息。平台网站还显示，其帮助客户与该律师合作了3次，同时标注请勿私下与律师合作的字样。而平台方则回应称，帮助客户与律师达成合作的次数是为了展示平台功能而使用的假数据，而认证律师系错误标注，收费标准、执业年限以及胜诉率等是通过算法采集已公开的律师信息进行分析得出的。

那蒋主任，对于这个案件您认为平台方是否属于采用了算法的自动化决策呢？

我觉得从案件所反映的情况来看，平台是通过算法技术对李某的执业信息进行了采集和分析，形成了包括刚才讲到的收费标准、执业年限、胜诉率等信息的用户画像，并通过专属的页面进行了网络的公开，主要是为寻找律师的用户提供中介服务。虽然，用户画像生成是自动化决策的一个环节，但结合平台方通过公布用户画像，以达到提供律师中介服务的商业目的，我觉得应当认定为利用算法进行了自动化决策。按照《个保法》第24条的规定，平台方应当保证决策透明和结果公正。

好的。本案中，其实还有一个重要的问题需要讨论，就是平台利用算法所采集和分析的这个信息，都是已公开的律师信息，对于这些已公开的信息，平台方是否都可以直接进行加工和利用呢？毛院长，对这个问题您是怎么看的？

确实，对于已经公开的信息，就涉及到个人利益保护和数据合理利用之间的这样一个关系。那么对这个问题，我觉得可以从两个角度来考虑。

首先，对于已经公开的信息，除非个人明确拒绝使用，否则的话，平台是可以未经其同意就利用的，当然这样一个利用，法律有个限定，必须限定在合理使用的范围之内。

第二，对于已经公开的信息，即使这个信息是个人自己公开的，但是如果平台在使用的过程中使用这个信息，并且对这个人会产生重大影响的，也必须经得个人的同意，以防止他的合法权益受到侵害。

好的，毛院长。对于个人明确拒绝的情况还是比较好理解的，但是如何把握合理使用，以及对个人权益有重大影响这两个条件？

这两个概念确实比较含糊的，法律上没有明确的界定。那么我想，对于合理使用而言就涉及到审查他是不是违反法律的强制性规定，或者违反公序良俗。那么从反面角度来理解的话，比如说在短期内对个人进行大量的信息推介、商业营销、邮件的发送，影响到了个人的生活安宁，那么这种呢，我们就认为构成不合理的使用。

那么什么叫做对个人权益有重大影响呢？对这个问题，要根据具体情形来进行仔细的甄别。比如说你利用已经公开的信息，对我的能力、对我的诚信、对我的信用来进行评价。那么这些事项对个人的生活，对个人从事经济活动的影响就非常大，所以对这些事项我们就认定，属于对个人权益有重大影响的这样一个范畴。

好的，那蒋主任，结合本案的情况，您认为该平台利用已公开的律师信息，是否属于对个人权益有重大影响？

的确，就像刚才毛院长所分析的，立法对于何为重大影响并没有具体的界定，在具体认定上存在一定程度的模糊。对此我认为，可以参照国家标准或者行业标准。

我注意到，全国网络安全标准化技术委员会在2023年的5月份，颁布了一份关于《信息安全技术个人信息处理中告知和同意的实施指南》，该指南在9.3条单独同意实施这一条中注2中提到，实施对个人信用、绩效评定、所接受服务的质量交易价格等，会对自然人人格尊严、人身或者财产安全等产生重大直接影响的自动化决策，通常属于可能会对个人权益带来重大影响的个人信息处理活动。

参照该项内容，我们回到本案中。平台对于律师进行了职业画像的目的其实是为了给市场潜在的法律服务需求方提供中介服务，此种职业画像的准确性、完整性以及真实性，实际已经影响到了对相关律师服务质量的评价。应该属于对律师的个人权益有重大影响。那么在这种情况下，我个人认为，平台需要事先告知并取得律师的同意。但本案中平台不仅未告知，而且还虚构了帮助客户与该律师达成合作的次数，明显不属于对公开信息的合理使用。我认为实际是构成了对李某个人信息权益的侵权。

的确，就像刚才两位老师所讲的，平台对于已公开信息的使用还是需要审慎评估，对个人权益是否会带来重大影响。尤其是涉及到对个人的能力、信用进行评价时。由于此类案件，主要是因为新技术的应用而产生的，法官在对相关案件进行裁判时，可能需要在创新与安全之间进行更多的价值衡量。

下面我们来看这样一个案例，王某是一家金融公司员工，注册了某征婚交友平台。在使用期间，平台对其账户进行了封号处理，并向其网友提示称账号可能存在异常，不要与之发生金钱往来等。该情况导致王某多位朋友误认为他是骗子，王某就认为平台损害了其名誉权，诉至法院。平台方则辩称，他们是为了预防和监测电信诈骗，开发了此项预防性的风控系统。由于王某在同平台用户聊天时，多次出现了金融、基金、加微信等系统所设的高频词汇，因此系统就将其识别为高风险账户，并对他进行了封号。后来王某向客服反映，平台经人工审核后，对王某的账号也进行了解封。

蒋主任，对于这个案件，您认为平台是否需要对王某承担名誉权的侵权责任呢？

对于这个案件，从平台应用该算法风控系统的目的来看，是为了预防和监测电信网络诈骗，这也是《互联网信息服务算法推荐管理规定》和《反电信网络诈骗法》对网络服务提供者，尤其是像本案中征婚交友平台的明确要求。所以，首先该平台在主观上具有合法性。其次，从该算法风控系统的设计运行来看，是通过抓取和识别电信网络诈骗高频词的形式来锁定高风险账户，并且是针对所有的平台用户，不存在算法歧视。

我觉得在手段方面也具有合理性，虽然算法风控系统存在了误判，但平台方及时提供了人工审核解决渠道，尽到了与该类算法风险相匹配的注意义务，所以我个人认为该平台不应当承担侵权责任。

好的，毛院长对于这个问题您是怎么看的？

我同意蒋主任的意见。平台的算法应用，在筛选电信网络诈骗起到了很好的作用，当然我们必须要承认算法作为一个技术，它是一个发展的过程，并不一定完全的精准，有可能产生误判。所以对于这种风险，法院应该进行必要的宽容。

对这个案件而言，在王某投诉了以后，平台也提供了人工的服务通道，同时也对他的投诉进行审核并且及时对账号进行了解封，所以从这个角度来讲的话，平台已经尽到了与它相匹配的这样一个注意义务，不构成侵权。

通过这个案例我们也可以发现，对于平台算法自动化决策侵权责任的认定，不仅需要严格依照相关法律对用户方的权益进行保障，同时还需要考虑到当前的技术发展现状，不能对平台方施加过于苛刻的责任，否则的话，不仅会造成个案中双方权益保护的失衡，而且不利于技术创新，以及整个的社会福祉。因为这类纠纷还是比较前沿，毛院长，您认为对于这类纠纷，我们应当采取怎么样的裁判理念呢？

司法裁判的价值，不仅仅在于准确的适用法律，还承担着规范和引领行业发展的这样一个重任。我也注意到在二十届三中全会公报中，对数字经济的发展提到了三个促进。

一是要加快构建促进数字经济发展的体制机制；二是要完善促进数字产业化和数字化发展的政策体系；三是要促进平台经济的创新发展，健全平台常态化的监管制度。

所以，在目前大力推动数字经济发展的这样一个背景下，算法就不仅仅是一种工具，它还承担着作为一种推进产业升级，提升新质生产力的重要动能。

所以说，在对这类案件进行裁判的时候，法官就需要不仅仅了解具体的法律规范，还要立足国家的这样一个产业政策，结合算法目前的这样一个发展态势，来树立一个向上的向善的裁判理念，以有助于数字经济的快速健康发展。

好的。那蒋主任对于这个问题您是怎么看的？

我非常同意毛院长的观点，对于这类因新技术应用而带来的侵权纠纷，确实需要裁判者平衡好鼓励创新和控制风险的关系。同时，这类纠纷不仅关系到平台和用户，而且从全球范围来看，算法以及人工智能技术其实都是各国当前发展的一个重点，在这样的大背景下，我们就需要针对个案中不同的算法场景，进行具体的分析。

像本案中的算法风控系统，如果要求平台方不能出现任何的差错和瑕疵，我觉得既不现实，也不利于整体产业的发展，还是需要审查平台是否尽到了相应的注意义务，避免因个案裁判不当而阻碍算法产业的发展。

的确，就像刚才两位老师讲的，对于平台算法自动化决策所引发的侵权纠纷，需要我们法官在个案中衡平各方的利益冲突，同时将过错的认定作为平衡各方法律价值的一种技术手段，从而构建一种既能鼓励创新，又能防控风险的裁判导向。

另外，刚才两位老师也提到重点还是需要结合不同的场景，审查平台方是否尽到相应的合理注意义务。那么毛院长，您认为对于合理注意义务的审查，可以采取怎么样的裁判原则或者方法呢？

就像主持人刚才谈到的，其实对这类案件，最重要的就是审查平台是否尽到了合理的注意义务。那么我们也注意到，其实对于算法而言，每一个应用场景都是不一样的，包括算法的技术特点、复杂性程度都不一样。所以我们觉得还是要进行个案的审查，具体可以采取如下的这样一个思路。

首先，我们来审查这个平台应用算法自动化决策的主观目的到底是不是合法。如果发现它的主观目的是不合法的，或者违反了公序良俗，那么我们认为它没有尽到注意义务，要承担的相应的侵权责任。

第二，我们在审查的过程中，要注意平台的规模、经营范围、控制力等。比如说这个平台规模很大，控制能力很强，技术水平很高，那么相对的，它的注意义务就要更高。

同时，我们在案件中还要注意到，就是这样一种活动的内容是不是就是它的主营业务。如果说这就是它的主营业务，那你的注意义务就应该更高，相应的责任形态可能也就更重一点。

这也让我想到之前看到的一个案例，一个平台它是主要做企业信息查询服务的，由于算法的设计漏洞，将失信被执行人的信息错误地关联到同名同姓，但是身份证号不同的另一主体，后被法院认定为构成了名誉权侵权。毛院长你是否看到过这个案例？

我注意到这个案件了，那么这个案例里面，这个企业它本身就是从事企业的名称查询的。所以，对于同名同姓但身份证号不同的这种情况，它是应当而且是很容易就能够区分出来的，但偏偏没有做。其实就相当于，这是它的主营业务它没做好，所以它就是没有尽到合理的注意义务，应当承担的相应的侵权责任。

好的，那蒋主任，对于平台合理注意义务的审查原则，您是否还有相应的补充意见？

除了刚才毛院长所讲的，我认为对于平台合理注意义务的认定，还可以从用户方的角度来进行考量。如果算法决策涉及到对用户的信用评价、求职就业等重要信息的，或者说涉及到的是未成年人，或者是老年人等特殊主体权益的，那么平台方就应当采取更为审慎的态度，尽到更多的注意义务。

那蒋主任，对于平台方合理注意义务的审查，具体可以通过哪些方式入手呢？

大体上，我觉得法官可以通过审查平台在事前、事中、事后的行为进行评判。例如在事前阶段，应当审查平台方是否进行了个人信息安全影响的评估。这也是《个保法》对算法自动化决策的一个明确要求。而在事中环节可以审查是否设置了人工辅助审查机制等。以及在事后阶段对于相应的问题是否进行了主动核查和纠正等。

好的。刚才两位老师对于平台合理注意义务的审查原则，提出了非常清晰和实用的裁判原则和方法。那接下来，我们还有一个非常重要的实务问题需要讨论：就是如何在审判过程中对算法进行审查。因为对于平台合理注意义务的认定是需要以算法的应用为基础的，对于算法的审查才能确定案件的基本事实。但是算法又是平台的技术核心，涉及到商业秘密保护的问题，所以平台方也常以商业秘密保护为由，拒绝披露算法信息。对于这个问题，毛院长您是怎么看的？

确实这是一个很复杂的问题。因为算法它本身就是一种内部运作的，对于外部的个人而言并不清楚。所以，最重要的就在于怎么样来打破这种算法的黑箱，来做到公开透明，让信息的被保护者他能够清晰地知道，就像我刚才提到的，他享有知情权、选择权，甚至说拒绝的权利。

那么对司法审判而言，它的立足点就在于，我们怎么来划分这样一个需要打开的，或者说需要进行查明的范围。在这样一个过程中，一定会与商业秘密保护会产生一定的冲突，所以给法官的一个重大的考验就是，怎么来平衡好两者之间的冲突。我想这个也是非常考验法官的智慧和能力的问题。

蒋主任，您对这个问题是怎么看的？

就像刚才毛院长所讲的，其实这个问题的关键就在于如何确定算法公开的一个范围和内容。《个保法》24条虽然规定了算法解释义务，但是对于解释说明的范围和内容并未作具体规定。所以说，这是此类案件审理当中的一个难点。

在个案审判中，我觉得重点是要对算法的逻辑构造进行审查，也就是算法主要通过哪些数据，通过何种逻辑规则做出了影响相关主体自动化决策的，而不需要对算法的整体架构和源代码等进行全面的审查。一是，公开范围太大并没有必要，同时也不利于平台方商业秘密的保护。二是，如果公开的内容是针对算法本身，那就会过于技术性，实际上是无法为法官和原告方所理解。

是的，毛院长对这个问题，您是不是还有什么补充意见呢？

我完全同意蒋主任的意见。我们的审查重点不是在算法本身，而是在算法的逻辑上面。因为算法的运作，它其实是一种技术的方式。一个复杂的算法，它可能涉及到大量人员之间的运作，包括复杂的一个运算过程。同时我们也发现，随着技术的发展和时代的进步，算法本身也在不断的迭代和发展过程中。

所以，对司法审判而言，着重就审查算法本身的逻辑和构造，同时结合我们刚刚讨论到的，平台在这个过程中，有没有尽到合理的注意义务。如果说没有尽到，那么就需要承担侵权责任。

的确，就像刚才两位老师所讲的，在审判过程中，对于算法的审查还是要聚焦在算法的逻辑构造上，没有必要打开整个算法。一是没有现实的需要，二是不利于平台方的商业秘密保护。

今天我们对平台算法自动化决策的规范内容、相关的裁判理念与原则等进行了相应的探讨。非常感谢两位老师的精彩分享，也感谢大家的观看，再见！

再见！

再见！

视频拍摄、剪辑：龚史伟

值班编辑：方玥人