龙雯等：爬虫技术法律风险概述及防范措施

前 言

在信息技术不断发展的今天，数据资源逐渐成为了众多互联网企业尤为重视的核心竞争资源。近年来，爬虫技术被规制的新闻及判例屡见报端，国家立法层面对爬虫数据的管控亦愈发严格。那么，爬虫数据主要存在何种风险、企业又能采取哪些防范措施，本文将一一作出介绍。

一、网络爬虫技术主要风险

网络爬虫主要是指通过自动化手段访问网页，并复制、存储、提取网页数据的技术。从技术中立的角度来看，爬虫技术本身并无违法违规之处，使用爬虫技术是否违反法律法规，主要取决于爬虫访问网页的措施、爬虫技术爬取的内容、使用爬虫技术造成的后果等方面。

1爬虫不当访问网页的风险

（1）不遵守robots协议的风险

根据百度百科查询结果，robots协议是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络爬虫），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的，更多的是提示、告知、引导如何访问网站、爬取数据的功能，本身不存在禁止或阻碍爬取数据的功能。

中国互联网协议2012年11月1日发布的《互联网搜索引擎服务自律公约》第七条“ 遵循国际通行的行业惯例与商业规则，遵守机器人协议（robots协议）”规定，将robots协议作为互联网行业的惯例。现行法律对于“robots协议”的法律效力虽然没有明确规定，但robots协议成为一项行业惯例后，不遵守robots协议的行为在司法中很可能会被负面评价。

案例 1

北京微梦创科网络技术有限公司与北京字节跳动科技有限公司不正当竞争纠纷二审（2021）京民终281号

法院认为：在数字经济时代，数据日益成为企业重要的生产要素，数据资源的获取与利用是极为重要的一种资源配置。网站经营者对数据的收集、整理等基本都付出了相应的人力、物力、财力和时间等经营成本。robots协议在某种意义上已经成为维系企业核心竞争力，维系市场有序竞争的一种手段。尽管robots协议客观上可能造成对某个或某些经营者的“歧视”，但在不损害消费者利益、不损害公共利益、不损害竞争秩序的情况下，应当允许网站经营者通过robots协议对其他网络机器人的抓取进行限制，这是网站经营者经营自主权的一种体现。

案例 2

北京微梦创科网络技术有限公司与云智联网络科技（北京）有限公司不正当竞争纠纷（2017）京0108民初24512号

法院认为：根据微梦公司提交的新浪微博Robots协议，以及双方均认可Robots协议可以约束包括网络爬虫在内的机器人之事实，云智联公司在明知微梦公司限制除白名单以外的机器人抓取涉案数据的情况下仍然实施抓取涉案数据中的公开数据，显然亦具有明显的主观恶意。

（2）突破/绕过网站设置的反爬技术措施的风险

一方面，在数字经济时代，数据日益成为企业重要的生产要素，数据是极为重要的一种资源、财富，有些网页、数据信息是网页经营者不愿意其他方获取的，因此，网页经营者通常会采取各类反爬虫技术措施来过滤或阻止部分爬虫访问网站或阻止采集部分网页数据；另一方面，这些绕开、或者突破的措施会对网页运行造成一定损害，甚至导致网页不能运作。如果爬虫技术使用者强行突破或绕开网站运营者采取的反爬虫技术措施，爬取网页经营者设置为不公开或不允许被爬取的数据的，根据上述法律规定，爬虫技术使用者很可能需要承担非法获取计算机信息系统数据罪、非法侵入计算机信息系统罪（国家的信息系统）等刑事责任。

另外，网站经营者对数据的收集、整理等基本都付出了相应的人力、物力、财力和时间等经营成本，对平台数据享有应受保护的权益，如果爬虫使用者未经授权利用爬虫技术采集了竞争对手的数据用于自身企业的经营，该“搭便车”的行为可能被认定为是截取了平台经营者的竞争优势，损害了其商业资源，而构成不正当竞争。

案例 1

林某非法获取计算机信息系统数据罪(2020)京0105刑初2594号

法院查明：被告单位房麦公司，法定代表人为被告人林某，公司成立后研发“推房神器”等APP。并使用网络爬虫技术爬取北京某信息技术有限公司经营的“某”网站房产数据。在某公司增加反爬取策略后，被告单位房麦公司使用破解验证码、绕开挑战登录等方式破解某公司的反爬取措施，非法获取“某”网站的房源数据，并将非法获取的房产数据存放在自己的服务器中供“推房神器”APP调用，并向该APP用户收取会员费盈利。造成某公司网络资费、人力成本等经济损失人民币10万余元。

法院认为：本院认为，被告单位房麦公司违法国家规定,非法获取某公司计算机信息系统中的数据，情节特别严重，依法应予惩处。被告人林某（法定代表人）作为被告单位直接负责的主管人员，被告人程某、林某购买破解的程序并日常维护，是被告单位其他直接责任人员，亦应予以惩处。

案例 2

李某等非法侵入计算机信息系统罪(2018)川3424刑初169号

法院查明：被告人李某使用“爬虫”软件，大量爬取全国各地及凉山州公安局交警支队车管所公告的车牌放号信息，之后使用软件采用多线程提交、批量刷单、验证码自动识别等方式，突破系统安全保护措施，将爬取的车牌号提交至“交通安全服务管理平台”车辆报废查询系统，进行对比，并根据反馈情况自动记录未注册车牌号，建立全国未注册车牌号数据库。之后编写客户端查询软件，由李某通过QQ、淘宝、微信等方式，以300-3000元每月的价格，分省市贩卖数据库查阅权限。

法院认为：本院认为，被告人李文某为牟取私利，违法国家规定，侵入国家事务领域的计算机信息系统，被告人的行为均已构成非法侵入计算机信息系统罪。

案例 3

原告谷米公司与被告元光公司、邵凌霜、陈昴、刘江红、刘坤朋、张翔不正当竞争纠纷（2017）粤03民初822号

法院查明：元光公司的法定代表人邵凌霜和技术总监陈昴为了提高元光公司开发的智能公交APP“车来了”在中国市场的用户量及信息查询的准确度，保证公司更好的经营，由邵凌霜授意陈昴，出面聘请其他公司技术人员帮忙将谷米公司APP的加密系统攻破，并指使公司员工刘江红、刘坤朋、张翔陈昴、顺利使用爬虫技术爬取到谷米公司“酷米客”服务器里的大量公交车行驶实时数据，日均300万至400万条。被告在获取原告“酷米客”软件的实时公交信息数据之后，将数据用于自己开发的智能公交APP软件“车来了”并对外提供给公众进行查询。相对于此前“车来了”数据经常迟滞于“酷米客”数据的劣势，被告元光公司使用了更为精准的“酷米客”实时公交数据后，使“车来了”软件产品的信息准确度得到提高，用户的使用满意度随之提升，亦促进元光公司的整体经营。

法院认为：1. 谷米公司和元光公司各自开发的“酷米客”APP软件和“车来了”APP软件，均系为用户提供定位、公交路线查询、路线规划、实时公交信息地理位置等服务，二者用途相同，故谷米公司和元光公司在提供实时公交信息查询服务软件的服务领域存在竞争关系。2. 本案中，被告元光公司未经许可，利用网络爬虫技术大量获取并且无偿使用原告谷米公司“酷米客”软件的实时公交信息数据的行为，实为一种“不劳而获”“食人而肥”的行为，具有非法占用他人无形财产权益的不正当目的，谋取该软件在实时公交信息查询软件中的竞争优势，谷米公司的上述行为违反了诚实信用原则和公认的商业道德，构成不正当竞争。

2爬虫技术造成严重后果的风险

《刑法》《网络安全法》《数据安全管理办法(征求意见稿)》《数据安全管理办法(征求意见稿)》《反不正当竞争法》对于网络运营者通过技术手段爬取数据时不得对他人产品造成不当干扰、破坏等均进行了规定。爬虫控制者如基于自身经营需要，使用爬虫技术高频率访问网页、平台，并客观导致网页或平台无法正常运行，使其他正常用户无法访问网页的，或变更了被访问网页运行逻辑和模式的，根据相关法律规定，前述行为可能会被认定为是不正当竞争行为，从而承担相应民事赔偿或行政处罚责任的法律风险；后果严重的，甚至会构成破坏计算机信息系统罪，需要承担刑事责任。

案例 1

杨某、张某破坏计算机信息系统罪（2019）粤0305刑初193号

法院查明：杨某授权公司员工张某开发一款名为“快鸽信贷系统”的软件，该软件内的“网络爬虫”功能能与深圳市居住证网站链接，可以在深圳市居住证网站上查询到房产地址、房屋编码等对应的资料，该软件对深圳市居住证网站访问量能达到每小时数十万次，以达到为其公司主营业务便捷的目的。2018年5月2日10时至5月2日12时许两小时内，该软件对深圳市居住证系统查询访问量为每秒183次，共计查询信息1510140条次并将查询的信息以阿某云网络云盘的形式保存，深圳市公安局居住证服务平台服务器遭受了该爬虫软件的自动化程序攻击，在该时段内造成深圳市居住证系统服务器阻塞，无法正常运行，深圳市公安局居住证服务平台无法正常对外提供服务，其他用户无法正常使用平台业务，极大地影响了该居住证系统使用方深圳市公安局人口管理处的日常运作。

法院认为：本院认为，被告人杨某、张某违反国家规定，对计算机信息系统功能进行干扰，造成为5万以上用户提供服务的计算机信息系统不能正常运行累计1小时以上，后果特别严重，其行为已构成破坏计算机信息系统罪。

案例 2

北京微梦创科网络技术有限公司与云智联网络科技（北京）有限公司不正当竞争纠纷（2017）京0108民初24512号

法院查明：微梦公司是新浪微博平台（简称新浪微博）的运营者及服务提供者。微梦公司付出大量成本运营新浪微博，网页数据是用户提供或经用户同意收集的前端数据及相应的后端数据。云智联公司是超级星饭团App的运营者和服务提供者，其未经许可擅自抓取，并在超级星饭团App中向其用户推送和展示来源于新浪微博明星微博的十五类动态数据（简称涉案数据），使用户无需登录新浪微博即可全面查看明星微博动态。

法院认为：第一，通常而言，当使用此种非正常甚至破坏性的技术手段抓取涉案数据时，破坏了微梦公司新浪微博服务的正常运行，必然会加重新浪微博服务器的运行压力甚至导致产生安全或其他技术隐患，从而增加微梦公司对此应予投入的运营维护成本。第二，云智联公司抓取涉案数据并在涉案App中展示，使得涉案App用户无需注册、登录新浪微博帐号，或无需行为触发即可浏览新浪微博，显然改变了新浪微博的展示形式，破坏了微梦公司为该部分数据设定的访问和展示规则，并将进而影响微博平台这一产品的正常运行。故云智联公司的被诉行为违反了《不正当竞争法》第十二条第二款第四项之规定，构成不正当竞争。

3爬虫技术爬取不当内容的风险

通过爬虫，爬虫控制者有可能访问和抓取到一般用户难以接触到的信息和内容，因此，爬虫控制者还可能由于抓取到某些受法律保护的信息，如个人信息、著作权或商业秘密范围的数据等，而构成违法、违规，甚至刑事犯罪的风险。

针对公民个人信息、隐私而言，国家从刑法、民法、个人信息保护法等多方面设置的较为全面的法律法规对公民个人信息、隐私进行保护，收集、使用、加工、向他人提供或者公开个人信息或隐私的均需要经过当事人的授权和许可，未经许可收集或处置个人信息或隐私，将面临包括民事、行政、刑事在内的责罚。而用户的表格注册、网页浏览、观影记录、搜索记录、购物清单等比较敏感的行为信息，可能通过大量数据可以分析出用户的喜好、偏向等一些隐私的内容，也需要参照个人信息来保护。在爬取上述数据时应注意符合“三重授权原则”。

此外，爬虫技术采集数据的过程本质是对数据进行复制的过程，很可能侵权他人作品的复制；将爬虫技术收集到的数据提供给他人使用的行为，很可能构成侵犯他人发行权或信息网络传播权的行为。

案例 1

杭州魔蝎数据科技有限公司、周江翔、袁冬侵犯公民个人信息罪（2020）浙0106刑初437号

法院查明：2016年初，被告单位魔蝎公司由周江翔等人出资成立，被告人周江翔系魔蝎公司法定代表人、总经理，负责公司整体运营，被告人袁冬系魔蝎公司技术总监，系技术负责人，负责相关程序设计。魔蝎公司主要与各网络贷款公司、小型银行进行合作，为网络贷款公司、银行提供需要贷款的用户的个人信息及多维度信用数据，方式是魔蝎公司将其开发的前端插件嵌入上述网贷平台A**中，在网贷平台用户使用网贷平台的APP借款时，贷款用户需要在魔蝎公司提供的前端插件上，输入其通讯运营商、社保、公积金、淘宝、京东、学信网、征信中心等网站的账号、密码，经过贷款用户授权后，魔蝎公司的爬虫程序代替贷款用户登录上述网站，进入其个人账户，利用各类爬虫技术，爬取（复制）上述企、事业单位网站上贷款用户本人账户内的通话记录、社保、公积金等各类数据。

法院认为：本院认为，被告单位杭州魔蝎数据科技有限公司以其他方法非法获取公民个人信息，情节特别严重，其行为已构成侵犯公民个人信息罪。被告人周江翔、袁冬分别系对被告单位魔蝎公司侵犯公民个人信息行为直接负责的主管人员和其他直接责任人员，其行为均已构成侵犯公民个人信息罪。

二、风险防范措施

1. 正当地使用爬虫技术手段爬取数据。应避免强行破解/绕开网站经营者设置的数据保护措施，避免访问频率过高（超过网站日均流量三分之一），避免对网页造成破坏等；

2. 规范爬虫技术爬取的对象。根据robots协议、保护数据的技术措施、设计逻辑（验证机制、授权接口等）等要素综合判断被访问者允许被爬取的数据范围；避免未经授权（三重授权原则）爬取公民个人信息、独创性表达的作品数据、和经营者核心业务有关的数据等敏感性数据，不慎爬取到上述信息时须注意脱敏或模糊化处理。

3. 向他人提供数据时应对接收方进行审查。审查接收方的使用用途，是否违反授权范围提供。

三、相关法律法规及政策汇编

《中华人民共和国刑法》

第二百五十三条之一 【侵犯公民个人信息罪】违反国家有关规定，向他人出售或者提供公民个人信息，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

违反国家有关规定，将在履行职责或者提供服务过程中获得的公民个人信息，出售或者提供给他人的，依照前款的规定从重处罚。

窃取或者以其他方法非法获取公民个人信息的，依照第一款的规定处罚。

单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照各该款的规定处罚。

第二百八十五条 【非法侵入计算机信息系统罪】违反国家规定，侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统的，处三年以下有期徒刑或者拘役。

【非法获取计算机信息系统数据、非法控制计算机信息系统罪】违反国家规定，侵入前款规定以外的计算机信息系统或者采用其他技术手段，获取该计算机信息系统中存储、处理或者传输的数据，或者对该计算机信息系统实施非法控制，情节严重的，处三年以下有期徒刑或者拘役，并处或者单处罚金；情节特别严重的，处三年以上七年以下有期徒刑，并处罚金。

【提供侵入、非法控制计算机信息系统程序、工具罪】提供专门用于侵入、非法控制计算机信息系统的程序、工具，或者明知他人实施侵入、非法控制计算机信息系统的违法犯罪行为而为其提供程序、工具，情节严重的，依照前款的规定处罚。

单位犯前三款罪的，对单位判处罚金，并对其直接负责的主管人员和其他直接责任人员，依照各该款的规定处罚。

第二百八十六条规定：【破坏计算机信息系统罪】违反国家规定，对计算机信息系统功能进行删除、修改、增加、干扰，造成计算机信息系统不能正常运行，后果严重的，处五年以下有期徒刑或者拘役；后果特别严重的，处五年以上有期徒刑。

《中华人民共和国民法典》

第一百一十一条 自然人的个人信息受法律保护。任何组织或者个人需要获取他人个人信息的,应当依法取得并确保信息安全,不得非法收集、使用、加工、传输他人个人信息,不得非法买卖、提供或者公开他人个人信息。《网络安全法》第四十四条也规定：任何个人和组织不得窃取或者以其他非法方式获取个人信息，不得非法出售或者非法向他人提供个人信息。

《中华人民共和国著作权法》

第四十九条 为保护著作权和与著作权有关的权利，权利人可以采取技术措施。

未经权利人许可，任何组织或者个人不得故意避开或者破坏技术措施，不得以避开或者破坏技术措施为目的制造、进口或者向公众提供有关装置或者部件，不得故意为他人避开或者破坏技术措施提供技术服务。但是，法律、行政法规规定可以避开的情形除外。

本法所称的技术措施，是指用于防止、限制未经权利人许可浏览、欣赏作品、表演、录音录像制品或者通过信息网络向公众提供作品、表演、录音录像制品的有效技术、装置或者部件。

《中华人民共和国数据安全法》

第三十二条 任何组织、个人收集数据，应当采取合法、正当的方式，不得窃取或者以其他非法方式获取数据。

《中华人民共和国网络安全法》

第二十七条 任何个人和组织不得从事非法侵入他人网络、干扰他人网络正常功能、窃取网络数据等危害网络安全的活动；不得提供专门用于从事侵入网络、干扰网络正常功能及防护措施、窃取网络数据等危害网络安全活动的程序、工具等。第六十三条规定：违反本法第二十七条规定，从事危害网络安全的活动等，尚不构成犯罪的，由公安机关没收违法所得，处五日以下拘留，可以并处五万元以上五十万元以下罚款；情节较重的，处五日以上十五日以下拘留，可以并处十万元以上一百万元以下罚款。

《中华人民共和国反不正当竞争法》

第九条　经营者不得实施下列侵犯商业秘密的行为：

（一）以盗窃、贿赂、欺诈、胁迫、电子侵入或者其他不正当手段获取权利人的商业秘密；

（二）披露、使用或者允许他人使用以前项手段获取的权利人的商业秘密；

（三）违反保密义务或者违反权利人有关保守商业秘密的要求，披露、使用或者允许他人使用其所掌握的商业秘密；

（四）教唆、引诱、帮助他人违反保密义务或者违反权利人有关保守商业秘密的要求，获取、披露、使用或者允许他人使用权利人的商业秘密。

经营者以外的其他自然人、法人和非法人组织实施前款所列违法行为的，视为侵犯商业秘密。

第三人明知或者应知商业秘密权利人的员工、前员工或者其他单位、个人实施本条第一款所列违法行为，仍获取、披露、使用或者允许他人使用该商业秘密的，视为侵犯商业秘密。

本法所称的商业秘密，是指不为公众所知悉、具有商业价值并经权利人采取相应保密措施的技术信息、经营信息等商业信息。

第十二条 经营者不得利用技术手段，通过影响用户选择或者其他方式，实施下列妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的行为：

（一）未经其他经营者同意，在其合法提供的网络产品或者服务中，插入链接、强制进行目标跳转；

（二）误导、欺骗、强迫用户修改、关闭、卸载其他经营者合法提供的网络产品或者服务；

（三）恶意对其他经营者合法提供的网络产品或者服务实施不兼容；

（四）其他妨碍、破坏其他经营者合法提供的网络产品或者服务正常运行的行为。

《数据安全管理办法(征求意见稿)》

第十六条 网络运营者采取自动化手段访问收集网站数据，不得妨碍网站正常运行；此类行为严重影响网站运行，如自动化访问收集流量超过网站日均流量三分之一，网站要求停止自动化访问收集时，应当停止。

《最高人民法院 最高人民检察院关于办理侵犯公民个人信息刑事案件适用法律若干问题的解释》

第五条 非法获取、出售或者提供公民个人信息，具有下列情形之一的，应当认定为刑法第二百五十三条之一规定的“情节严重”：（一）出售或者提供行踪轨迹信息，被他人用于犯罪的；（二）知道或者应当知道他人利用公民个人信息实施犯罪，向其出售或者提供的；（三）非法获取、出售或者提供行踪轨迹信息、通信内容、征信信息、财产信息五十条以上的；（四）非法获取、出售或者提供住宿信息、通信记录、健康生理信息、交易信息等其他可能影响人身、财产安全的公民个人信息五百条以上的；（五）非法获取、出售或者提供第三项、第四项规定以外的公民个人信息五千条以上的；（六）数量未达到第三项至第五项规定标准，但是按相应比例合计达到有关数量标准的；（七）违法所得五千元以上的......

《互联网搜索引擎服务自律公约》

第七条 遵循国际通行的行业惯例与商业规则，遵守机器人协议（robots协议）。

《关于平台经济领域的反垄断指南（征求意见稿）》

第十四条 认定相关数据是否构成必需设施，一般需要综合考虑数据对于参与市场竞争是否不可或缺，数据是否存在其他获取渠道，数据开放的技术可行性，以及开放数据对占有数据的经营者可能造成的影响等因素。

特别声明：

以上内容属于作者个人观点，不代表其所在机构立场，亦不应当被视为出具任何形式的法律意见或建议。