数据抓取、AI训练与平台开放不再只是技术问题

本文作者：陈宇

新修订《反不正当竞争法》第13条第3款已经正式把“不正当获取、使用其他经营者合法持有的数据”纳入独立规制范围；这意味着企业过去习惯由产品、技术、增长团队自行决定的爬虫、API调用、第三方数据采购、AI训练数据接入、平台账号关联、公共数据商业化使用、行业数据产品开发，已经转化为法务、合规、董事会和投融资尽调都必须介入的经营风险。重点不是“数据到底归谁所有”，而是四个更现实的问题：数据来源能否证明合法，获取方式是否绕开技术或管理措施，使用结果是否实质性替代他人产品或服务，企业能否留下足够证据证明有限、合理、转换性使用。新规已生效，最高人民法院也已发布数据权益司法保护专题指导性案例；企业现在应完成数据资产与数据来源盘点，更新爬虫/API/第三方数据采购和AI训练数据合规流程，补强合同保证、审计、赔偿、删除和证据保存条款，并将重大数据产品、数据交易、模型训练和并购投资项目纳入GC、CIO、CISO、产品负责人和投资团队共同审批。

一、新规不是“数据所有权法”，而是“数据竞争行为法”

2025年修订后的《反不正当竞争法》第13条第3款规定，经营者不得以欺诈、胁迫、避开或者破坏技术管理措施等不正当方式，获取、使用其他经营者合法持有的数据，并以“损害其他经营者合法权益、扰乱市场竞争秩序”作为结果要件；违反该款的，监管部门可以责令停止违法行为，并处10万元以上100万元以下罚款，情节严重的处100万元以上500万元以下罚款。该法同时赋予监管部门查询、复制资料、查封扣押、查询银行账户等调查权，并规定行政处罚可记入信用记录。

企业应避免三个误判：

第一，公开可见的数据，不等于可以整库搬运。最高人民法院指导性案例262号已经明确，网络平台经营者对数据集合形成的经营性利益受到侵害时，可以请求保护；未经许可获取并向公众提供相关数据，若实质性替代原平台产品或服务、扰乱竞争秩序，可以构成不正当竞争。

第二，没有设置强反爬，不等于放弃数据权益。最终法律删除了“采取相应技术管理措施”作为数据受保护范围的一般前提，技术管理措施不是保护门槛，但“避开或者破坏技术管理措施”本身会成为高度危险的违法方式。

第三，用户授权也不是万能免责，但确实可能构成正当性基础。指导性案例263号确认，经用户授权转移其在关联网络平台获取的数据，为用户在合理范围内处理数据提供便利，未扰乱市场竞争秩序的，不构成不正当竞争。关键是用户是否真实主动，使用是否限于用户自身账号或合理范围，是否侵害数据安全、个人信息和公共利益，是否形成平台级替代。

二、不是互联网公司才有风险

2025年，全国年度数据生产总量达52.26 ZB，同比增长27.28%；企业成为数据生产主力，数据生产增量约九成来自企业数据。企业数据产品和服务数量同比增长29.29%，交易额同比增长39.8%；用于人工智能训练和推理的数据总量达199.48 EB，同比增长42.86%。这说明数据纠纷不再是少数平台之间的“爬虫案”，而会进入工业制造、交通物流、金融、软件服务、AI、低空经济、具身智能、招聘、营销、征信、价格指数、公共数据运营等行业。

三、这次修法真正改变了什么

四、“合法持有”不是一句声明

新规保护的是“其他经营者合法持有的数据”，而不是抽象的数据所有权。“合法持有”的来源可概括为三类：法律依据、合同依据、事实依据；其内在要求是经营者对数据形成投入劳动、资本、技术等实质性资源，并形成稳定控制状态和正当利益期待。

这套思路与“数据二十条”的政策方向一致：我国数据基础制度强调数据资源持有权、数据加工使用权、数据产品经营权的结构性分置；对企业在生产经营活动中采集加工、不涉及个人信息和公共利益的数据，保障其依法依规持有、使用、获取收益的权益，并保障其劳动和其他要素贡献获得合理回报。

企业应建立的“合法持有证明包”

1.来源合法文件

保留用户协议、隐私政策、用户授权记录、API协议、数据采购合同、公共数据授权文件、合作方授权链、发票、交付单、验收单、数据目录。

2.处理合法文件

保存数据分类分级、个人信息处理规则、匿名化或去标识化方案、重要数据识别记录、数据安全评估、权限审批、操作日志。

《数据安全法》将数据定义为任何以电子或者其他方式对信息的记录，并将收集、存储、使用、加工、传输、提供、公开纳入数据处理；同时要求以合法、正当方式收集数据，不得窃取或者以其他非法方式获取数据。

3.投入贡献文件

留存研发成本、服务器成本、人工清洗成本、数据标注成本、运营推广成本、数据质量治理记录、产品迭代记录、客户合同、收入流水、市场推广材料。

4.控制边界文件

保存Robots协议、API调用规则、开发者协议、账号权限规则、验证码策略、IP限频策略、反爬策略、数据水印、数据指纹、异常访问告警。

5.委托处理与外包文件

《网络数据安全管理条例》要求，网络数据处理者向其他处理者提供、委托处理个人信息和重要数据时，应通过合同约定处理目的、方式、范围及安全保护义务，并将处理情况记录至少保存3年。

6.个人信息边界文件

单个用户姓名、联系方式等通常首先落入个人信息保护法框架；经匿名化处理且无法识别特定自然人、不能复原的信息，不属于《个人信息保护法》意义上的个人信息，但这不意味着可以任意搬运他人匿名化数据集合。

五、判断数据使用是否正当：四因素测试

对数据使用行为正当性的判断，应结合使用目的和性质、数据性质与投入、使用数量和程度、使用范围与影响四个维度，并遵循比例原则，综合判断是否符合商业道德、行业习惯，是否损害竞争秩序，是否有利于技术进步、消费者权益和社会总体福祉。

1.使用目的：转换性使用更安全，替代性使用最危险

低风险：为用户提供账号迁移、数据备份、内部分析、兼容服务、数据纠错、反欺诈、网络安全、合规审计。

中风险：用外部数据训练模型、生成行业报告、制作排行榜、搭建价格指数、构建客户画像，但不直接替代原平台服务。

高风险：把他人平台内容、评论、商品、简历、视频、价格、图片、点评、路线、交易信息整库搬运到自有产品中，使用户不再需要访问原平台。

指导性案例262号中，被告抓取搬运大量短视频、用户信息和评论，导致乙APP与甲APP内容高度同质化，用户不使用甲APP也可观看相同内容，构成实质性替代。

2.数据性质：事实性越强，使用空间越大；投入越高，保护越强

更容易被允许：单一事实、公开事实、低投入采集、行业通用信息、用户自主控制并授权转移的数据。

更容易被保护：高投入形成的数据集合、衍生数据、清洗标注数据、长期运营积累的数据产品、平台用户交互形成的规模化数据。

指导性案例264号确认，数据处理者依法采集企业数据，经符合有关标准的方法加工形成数据产品并合理利用，未对企业权益造成损害的，相关企业要求其承担侵权责任不予支持。

3.使用数量：少量、克制、必要，比全量复制更可辩护

低风险：抽样、索引、摘要、统计、非还原性分析、必要接口调用。

高风险：全量抓取、持续同步、批量下载、绕过限频、复制数据库核心字段、生成与原产品高度同质的替代品。

4.使用影响：看原告主营业务市场，而不是只看被告赚了多少钱

企业评估风险时，不应只问“我们有没有获利”，还要问：

是否导致他人平台流量、会员、广告、订阅、数据许可收入下降；

是否削弱他人继续投入数据采集、清洗、维护的动力；

是否造成服务器负担、数据泄露、个人信息风险；

是否影响潜在许可市场；

是否导致消费者误认为数据来自原平台或经原平台授权。

六、数据条款不再是隐私政策附件

1.数据采购合同：供应商不能只承诺“合法合规”

建议加入以下条款要点：

来源保证：供应商保证数据来源合法，未通过欺诈、胁迫、电子侵入、绕开或破坏技术管理措施、违反平台规则、违反API协议、违反Robots协议等方式获取。

授权链披露：供应商应披露数据来源类别、授权主体、授权范围、处理目的、是否含个人信息、是否含重要数据、是否来自公共数据授权运营。

用途限制：数据仅限合同目的使用，未经书面同意不得用于训练通用模型、构建竞品数据库、向第三方提供、公开展示或二次销售。

审计权：采购方有权审计供应商的数据来源证明、授权文件、采集日志、处理记录。

赔偿与解除：因数据来源或使用违法引发投诉、监管调查、诉讼、禁令、罚款、客户索赔、模型下架、产品整改的，供应商承担赔偿、协助抗辩、删除替换数据和费用补偿责任。

证据保全：供应商应保留数据来源、处理、交付记录至少覆盖合同期及争议期；涉及个人信息和重要数据提供、委托处理的，处理记录至少保存3年。

2.API、开发者协议和平台规则

平台企业应更新：

API调用频率、字段范围、缓存期限；

禁止绕开身份认证、验证码、限频、加密、访问控制；

禁止将数据用于竞品服务、模型训练、数据库重建、批量导出；

明确开发者异常访问、超范围使用、账号共享、转售数据的违约责任；

设置暂停接口、删除数据、审计、通知、赔偿、禁令协助条款；

保留平台发现不正当竞争行为后采取必要处置措施和保存记录的权利。

3.委托开发、外包、SaaS合同：重点管住“受托方复用数据”

数据处理者委托他人处理数据时，受托方虽可能有合同依据和实质投入，但基于委托目的对原始数据、过程数据、结果数据一般不享有持有、使用、经营权益，除非合同另有约定。

因此，合同中应明确：

原始数据归委托方控制；

过程数据、清洗数据、标注数据、结果数据、模型输出是否可复用；

受托方不得使用客户数据训练通用模型，除非取得单独书面授权；

项目终止后返还、删除、销毁数据；

禁止将客户数据用于服务其他客户或开发竞品；

约定审计、日志、隔离、加密、访问权限和违约赔偿。

4.并购、投资和上市披露：数据收入越高，尽调越要深入

投资人和收购方应把以下问题列为红旗：

标的主要数据产品是否依赖爬虫；

是否存在绕过验证码、登录认证、反爬、API限频、Robots协议的技术方案；

历史训练数据、语料库、标注数据是否有授权链；

第三方数据供应商是否可追溯；

是否收到平台律师函、投诉、监管问询或诉讼；

数据产品是否实质性替代他人产品；

是否使用公共数据，授权运营文件是否完整；

是否向客户承诺数据“自有”但实际来源不清；

是否存在个人信息、重要数据、跨境数据处理问题；

是否将客户委托数据复用于通用产品或模型。

交易文件中应加入特别赔偿条款、数据合规陈述保证、交割前整改条件、数据来源披露附件、专项赔偿上限豁免、监管调查协助义务。

七、诉讼与监管应对

1.数据持有人准备起诉或投诉时，应先补齐五类证据

第一，证明自己合法持有。包括用户协议、隐私政策、授权记录、平台规则、数据采集日志、数据处理流程、公共数据授权文件、第三方许可合同。

第二，证明自己有实质性投入。包括研发成本、运营成本、服务器成本、内容审核成本、数据治理成本、用户增长成本、产品收入、客户合同。

第三，证明被告获取或使用。包括公证截图、抓包记录、访问日志、异常IP、账号轨迹、数据水印、专有代码、字段错误、评论顺序、数据指纹、技术鉴定报告。

第四，证明行为不正当。包括绕开验证码、模拟登录、突破限频、违反API协议、违反Robots、使用批量账号、隐藏真实身份、超范围调用接口。

第五，证明损害与替代。包括流量下滑、用户流失、会员收入下降、广告收入下降、数据许可报价、服务器成本增加、投诉记录、竞品同质化页面、客户误认证据。

2.数据使用方抗辩时，应重点证明四件事

第一，来源合法。数据来自用户主动授权、合法采购、公开渠道合理采集、公共数据合法开放、合同许可或自有经营活动。

第二，使用有限。没有全量复制，没有持续同步，没有对外公开原始数据，没有让第三方任意检索，没有复刻原产品。

第三，使用有转换性。数据用于分析、索引、验证、风控、兼容、迁移、模型训练、内部决策或新产品开发，而非替代原平台。

第四，影响可控。未造成原平台服务器负担、数据安全风险、个人信息泄露、消费者混淆、市场替代或竞争秩序损害。

八、十问十答

Q1：我们还能做爬虫吗？

可以，但必须经过审查。低频、有限、公开、非替代、非绕开技术措施、非个人信息非法处理的采集，风险较低；批量、持续、绕过验证、复刻竞品数据库、替代对方产品的采集，属于红色风险。

Q2：Robots协议只是行业规则，违反一定违法吗？

不宜机械判断。Robots、用户协议、开发者协议、API规则、验证码、限频等都可能成为数据持有人宣示管理边界的证据。违反后是否违法，还要看获取方式、数量、用途、影响和竞争秩序损害。

Q3：公开网页数据可以直接训练大模型吗？

不能一概而论。需要审查来源、授权、个人信息、著作权、商业秘密、反不正当竞争、网站规则、是否大规模复制、是否生成替代产品、是否可追溯删除。高质量数据集已经成为AI竞争核心资产，训练数据来源会成为监管、诉讼和投资尽调重点。

Q4：匿名化数据是不是就没有风险？

不是。匿名化后可能不再属于个人信息，但仍可能构成他人投入形成的数据集合或数据产品；未经许可大规模搬运并替代原产品，仍可能触发反不正当竞争风险。

Q5：用户授权我们迁移数据，平台能告我们吗？

可能会告，但并非当然成立。指导性案例263号对用户授权、合理范围内处理、未扰乱竞争秩序的关联账号服务给予正向评价。关键是避免把用户授权变成平台级数据汇聚和对外检索。

Q6：我们自己的平台数据被抓，应先发律师函还是直接起诉？

先固证。没有日志、公证、数据指纹、访问轨迹、替代影响和投入证明，律师函效果有限。对严重爬取、持续替代、数据泄露风险，应同步考虑诉前禁令、监管投诉和民事诉讼。

Q7：买第三方数据，供应商承诺合法就够了吗？

不够。必须要求披露来源类别、授权链、采集方式、是否绕过技术措施、是否含个人信息或重要数据，并设置审计、赔偿、删除和监管协助条款。

Q8：我们没有和对方直接竞争，也会构成不正当竞争吗？

有可能。数据纠纷越来越关注竞争秩序、经营性利益、潜在市场和实质性替代，不以传统直接竞争关系为唯一前提。

Q9：数据被屏蔽后，我们能否反诉对方不正当竞争？

难度较高。数据持有人原则上有经营自主权。只有在其具有市场支配地位、拒绝开放严重排除限制竞争等特殊场景下，才更可能进入反垄断法或特殊监管框架。

Q10：最大的赔偿风险是什么？

除了行政罚款，更现实的是禁令、产品下架、模型重训、数据删除、客户违约、融资估值下调、并购赔偿、上市问询和商誉损害。第13条数据案件的损失证明会高度依赖许可费、替代流量、研发投入、服务器成本、获利、客户流失等证据。

九、未来最可能爆发争议的六个方向

1.AI训练数据诉讼会明显增加。

训练语料、图片、视频、评论、问答、代码、简历、行业报告、企业信息、医疗文本、金融数据都可能成为争议对象。未来案件不会只问“是否爬取”，还会问“模型是否吸收了他人数据产品的核心价值”“是否可删除”“是否替代原数据服务”。

2.公共数据授权运营会产生新型边界争议。

“数据二十条”明确公共数据、企业数据、个人数据分类分级确权授权，并推动公共数据在保护个人隐私和公共安全前提下通过模型、核验等产品和服务向社会提供。公共数据授权运营平台、数据产品经营者之间，将围绕授权范围、二次开发、转授权、收益分配和不正当竞争产生争议。

3.平台开放与平台封闭会同时被挑战。

平台一方面会主张他人爬取不正当竞争，另一方面也可能因过度封闭、歧视性开放、选择性授权、拒绝互操作被投诉。数据专款与反垄断法、平台规则监管会交叉适用。

4.数据合同会从“合规附件”变成交易主合同核心。

未来数据采购、AI合作、SaaS服务、营销投放、联合建模、公共数据运营、产业互联网合作中，数据条款将直接影响定价、交割、验收、违约、赔偿和退出。

5.赔偿计算会成为诉讼胜负的第二战场。

数据权益案件常见难点是损失难证。企业应提前准备许可费参考、客户合同、研发投入、服务器成本、数据产品收入、流量转化、替代影响、模型重训成本等证据。没有这些证据，即使胜诉，赔偿也可能低于商业预期。

6.董事会和投融资责任会被放大。

数据收入占比高、AI估值依赖训练数据、数据产品作为核心资产的企业，应在融资、并购、上市、重大合同签署前完成数据来源和数据竞争风险审查。未披露重大数据合规缺陷，可能引发投资人索赔、交易价格调整、业绩承诺争议和信息披露责任。

新法释放的信号很清楚：法律不会鼓励平台借数据形成绝对封闭，也不会允许后来者用低成本搬运摧毁他人的数据投入。数据可以流动，可以复用，可以创新，但必须证明来源合法、方式正当、使用克制、结果不替代、不扰乱。

对GC而言，最稳妥的是凡是外部数据进入公司，必须先过来源审查；凡是技术团队要抓取、同步、调用、训练、展示他人数据，必须先过用途审查；凡是数据成为收入、估值或产品核心，必须建立合法持有证明包；凡是数据来自供应商、客户委托或公共授权，必须把授权、用途、审计、赔偿、删除和争议协助写进合同。这不是一次单点合规整改，而是企业数据经营方式的底层重构。

陈宇，北京市京都律师事务所律师，中国政法大学民商法学硕士、法学学士，专注于民商事诉讼与仲裁领域，深耕重大、疑难、复杂商事争议解决，代理了最高人民法院一审终审的一系列重大案件，并取得有利结果。在金融与资管争议领域，陈宇律师曾代理多起标的额巨大、法律关系复杂的案件，包括证券质押式回购、信托与资管纠纷、保证合同及债权转让争议等，案件标的总额达百亿元，并在多起案件中实现胜诉、改判或通过和解方式达成客户商业目标；在股权投资与公司治理领域，成功处理股权转让、增资扩股及控制权争夺等系列纠纷，具备从交易结构到诉讼攻防的全链条争议解决能力；在房地产及建设工程领域，代理多起合作开发、商品房预售及租赁合同纠纷案件，具备复杂项目风险拆解与争点聚焦能力；在跨境交易及商事合同领域亦积累了丰富经验，能够应对多法域背景下的争议解决需求。此外，陈宇律师兼任民革北京市委经济工作委员会委员、北京东城统战智库专家等社会职务，多篇论文在国家级及省市级专业评选中获奖，具有较强的理论研究与实务结合能力。