ChatGPT的法律问题

作者 | 张琼方

最近最热门的话题可能就是“ChatGPT”了。科技界惊叹它体现的人工智能（Artificial Intelligence）技术的突破，商业界热议它带来的商业机会和重塑的商业模式，教育界担忧它对传统教育模式的冲击，各式各样的专家解读它可能会“消灭”的职业或岗位……作为法律专业人士，我也来加入到这波“热潮”中，谈一谈ChatGPT出世后带来的法律问题。

我们先从ChatGPT（Generative Pretrained Transformer）的来龙去脉来分析一下ChatGPT的要素特点。

搜索百度词条显示：ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具，使用了Transformer神经网络架构，GPT-4架构，这是一种用于处理序列数据的模型，拥有语言理解和文本生成能力。ChatGPT会通过大量的语料库来训练模型，这些语料库包含了真实世界中的对话，使得ChatGPT上知天文下知地理，并且具备根据聊天的上下文进行互动的能力。在训练过程中，会有工作人员筛选和评估模型的输出结果，使其能够做到与真正人类几乎无异的聊天场景进行交流。ChatGPT不单是聊天机器人，现已可以处理文本和图像输入。它不仅能撰写邮件、视频脚本、文案、翻译、代码等，还可以在给定包含文本和图像的输入时生成文本输出（如自然语言、代码等）。在一系列领域（包括包含文本和照片的文档、图表或屏幕截图）上，GPT-4表现出与纯文本输入类似的功能。

结合百度词条信息并各类专家解读，ChatGPT有这些要素特点：

1.这是一项来自美国的新的软件技术

2.属于生成性人工智能技术

3.它需要用大量的语料库来进行训练

4.它能够根据用户需求自主生成文字作品

5.它能够替代人类完成诸如翻译、考试、编写代码撰写文案等工作

6.它有别于利用网络信息进行简单复制粘贴的网络搜索工具

这些要素特点反映ChatGPT是人工智能技术发展的最新成果，是一个完全的新事物，正因为它的这种“新”，产生了许多新的法律行为，形成了许多新的法律关系，给当今人类以法律制度构建和维系的文明社会里，带来了一系列新的法律问题。这些问题，将直接影响使用者的应用合规合法与否、技术使用的边界在哪里、如何控制新技术应用的风险等重要方面，下文将予以一一揭示。

AI技术应用的伦理规范问题

ChatGPT爆火后，最近发生的几件事同样引起了全世界的关注和热议。

比利时媒体La Libre2023年 3月28日报道，一名比利时妇女声称，她的丈夫在与 AI 聊天机器人Chai交谈了六周后自杀身亡，背后主要原因是Chai鼓励用户自杀。据悉，聊天机器人Chai是基于GPT-4替代方案研发的产品。

2023年3月22日，美国生命未来研究所和马斯克联合1000多名科学家和企业家，以公开信的方式，共同呼吁暂停训练比GPT4更强大的AI人工智能系统至少6个月，以便利用暂停期间，世界能够共同制定一套用于高级人工智能AI设计和开发的共享安全协议，因为人工智能的发展有可能对人类社会带来巨大的风险。如果不能迅速暂停，政府应该介入并且强制执行。信中提出了四个尖锐的问题：

我们是否应该让机器用宣传和谎言淹没我们的信息渠道？

我们是否应该让所有的工作自动化，包括那些令人满意的工作？

我们是否应该开发非人类的大脑，使其最终超越人类的智慧，淘汰并取代人类的非人类思维？

我们是否应该冒着失去对人类文明控制的风险去开发人工智能？

也许很多人会觉得，比利时的这件事只是极个别的案例，马斯克他们呼吁的事情离真正成为现实还很遥远，有点危言耸听，甚至是出于对OpenAI公司ChatGPT迅速成为互联网市场爆款产品的嫉妒眼红。但在笔者看来，他们的呼吁代表着人类对于人工智能技术等新技术发展和应用的一个普遍性担忧——科学发展的伦理性规范问题。

在社会关系中，伦理关系先于法律关系而存在，而法律又认可了有利于社会普遍利益的社会伦理。对于人工智能这样还处于不断更新发展过程中的新技术，我们还无法完全认清楚它们的本质和规律，本着“审慎包容”的原则，法律还不能做到完全的与时俱进。但我们并非只能放任自流，对于新出现的社会关系，有一项最基本的规范原则是始终存在的，那就是——不能反人类现代文明，基于此，围绕“不能反人类现代文明”的要求，专门对人工智能技术建立一定的伦理规范就是必不可少的。在中国，电子商务、互联网金融、区块链等互联网技术或商业形态的发展，曾经有过惨痛的教训，因为对这些技术认识的不足，秉承“先发展后治理”的原则，监管缺失，放任自流，导致相关行业野蛮生长，乱象丛生，最终一地鸡毛，既损害了实体经济，又破坏了金融秩序，更侵害了普通民众的利益。面对发展更为迅猛的人工智能技术，我们不禁担心中国会不会再一次陷入乱象之中？

笔者经过梳理，发现中国对于人工智能等新技术发展再也没有走“先发展后治理”的老路，坚持“边发展边治理”的原则，针对人工智能技术的伦理治理规范体系在近几年已经逐步建立起来。

一、建立行业伦理规范先行

2021年1月5日，全国信息安全标准化技术委员会发布《网络安全标准实践指南——人工智能伦理安全风险防范指引》。

2021年9月25日，国家新一代人工智能治理专业委员会发布了《新一代人工智能伦理规范》(以下简称《伦理规范》)，旨在将伦理道德融入人工智能全生命周期，为从事人工智能相关活动的自然人、法人和其他相关机构等提供伦理指引。《伦理规范》经过专题调研、集中起草、意见征询等环节，充分考虑社会各界有关隐私、偏见、歧视、公平等伦理关切，包括总则、特定活动伦理规范和组织实施等内容。《伦理规范》提出了增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养等6项基本伦理要求。同时，提出人工智能管理、研发、供应、使用等特定活动的18项具体伦理要求。

2022年10月9日，中国人民银行发布《金融科技领域伦理指引》。

二、强调并树立国家意志

2022年1月1日，全国人民代表大会常务委员会通过《科学技术进步法》将科技伦理纳入到该法的调整范围。

2022年3月20日，中共中央办公厅、国务院办公厅力合发布《关于加强科技伦理治理的意见》，强调科技伦理治理是开展科学研究、技术开发等科技活动需要遵循的价值理念和行为规范，是促进科技事业健康发展的重要保障。《意见》提出我国科技伦理治理的五项具体要求：伦理先行、依法依规、敏捷治理、立足国情、开放合作。

三、宣示立场并倡导国际合作

中国作为负责任的大国，在推动对人工智能进行伦理治理达成国际共识上一直积极作为：

2021年12月，外交部发布《中国关于规范人工智能军事应用的立场文件》。

2022年11月7日，外交部发布《中国关于加强人工智能伦理治理的立场文件》，并于同月16日由中国裁军大使李松在联合国《特定常规武器公约》2022年缔约国大会上，向大会提交了《中国关于加强人工智能伦理治理的立场文件》。

中国政府立场是：人工智能治理，伦理先行。作为最具代表性的颠覆性技术，人工智能在给人类社会带来潜在巨大发展红利的同时，其不确定性可能带来诸多全球性挑战，甚至引发根本性的伦理关切。国际社会普遍担心，如不加以规范，人工智能技术的误用滥用将损害人的尊严和平等、侵犯人权和基本自由、加剧歧视和偏见、冲击现有法律体系，并对各国政府管理、国防建设、社会稳定乃至全球治理产生负面影响。

中国在该文件中就人工智能生命周期监管、研发及使用等一系列问题提出四项主张：

一是人工智能治理应坚持伦理先行，通过制度建设、风险管控、协同共治等推进人工智能伦理监管。

二是应加强自我约束，提高人工智能研发过程中算法安全与数据质量，减少偏见歧视。

三是应提倡负责任使用人工智能，避免误用、滥用及恶用，加强公众宣传教育。

四是应鼓励国际合作，在充分尊重各国人工智能治理原则和实践的前提下，推动形成具有广泛共识的国际人工智能治理框架和标准规范。

四、与时俱进，边发展边治理

2019年6月17日国家新一代人工智能治理专业委员会发布《新一代人工智能治理原则——发展负责任的人工智能》（以下简称《治理原则》），提出了人工智能治理的框架和行动指南。《治理原则》旨在更好协调人工智能发展与治理的关系，确保人工智能安全可控可靠，推动经济、社会及生态可持续发展，共建人类命运共同体。

ChatGPT2022年11月上线运行后，中国也加快了对人工智能等新技术建立更加完善的伦理规范的进程。

据《北京商报》报道，2023年4月4日，根据科技部官网消息，科技部发布关于公开征求对《科技伦理审查办法（试行）》（以下简称《办法》）意见的公告。随着AI技术的发展，尤其是自ChatGPT诞生以来，人工智能相关的科技伦理问题引发各界关注，包括联合国教科文组织在内的组织和专家均呼吁重视人工智能伦理问题。此次《办法》提出，从事人工智能的单位，研究内容涉及科技伦理敏感领域的，应设立科技伦理（审查）委员会，并引入专家复核程序，部分算法模型、自动化决策系统需要专家复核。有关分析认为，虽然伦理审查短期内会影响产品商业化的效率，但从长期来看，有助于人工智能行业可持续的健康发展。

从上述《伦理规范》和《办法》，我们可以明确知道在中国从事人工智能活动的伦理规范体系构成如下：

1、哪些人或机构要遵守《伦理规范》和《办法》的要求？

从事人工智能相关活动的自然人、法人和其他相关机构。

2、人工智能可能带来哪些伦理问题？

对自然资源的消耗、产品更新换代产生的各种垃圾等环境伦理问题，

隐私泄露、歧视、失业、安全风险等个人伦理问题，

推理能力、可解释性等技术伦理问题。

3、从事人工智能活动的伦理规范基本要求有哪些？

增进人类福祉、促进公平公正、保护隐私安全、确保可控可信、强化责任担当、提升伦理素养。

4、人工智能管理、研发、供应、使用等特定活动的具体伦理要求有哪些？

（1）推动敏捷治理。尊重人工智能发展规律，充分认识人工智能的潜力与局限，持续优化治理机制和方式，在战略决策、制度建设、资源配置过程中，不脱离实际、不急功近利，有序推动人工智能健康和可持续发展。

（2）积极实践示范。遵守人工智能相关法规、政策和标准，主动将人工智能伦理道德融入管理全过程，率先成为人工智能伦理治理的实践者和推动者，及时总结推广人工智能治理经验，积极回应社会对人工智能的伦理关切。

（3）正确行权用权。明确人工智能相关管理活动的职责和权力边界，规范权力运行条件和程序。充分尊重并保障相关主体的隐私、自由、尊严、安全等权利及其他合法权益，禁止权力不当行使对自然人、法人和其他组织合法权益造成侵害。

（4）加强风险防范。增强底线思维和风险意识，加强人工智能发展的潜在风险研判，及时开展系统的风险监测和评估，建立有效的风险预警机制，提升人工智能伦理风险管控和处置能力。

（5）促进包容开放。充分重视人工智能各利益相关主体的权益与诉求，鼓励应用多样化的人工智能技术解决经济社会发展实际问题，鼓励跨学科、跨领域、跨地区、跨国界的交流与合作，推动形成具有广泛共识的人工智能治理框架和标准规范。

（6）强化自律意识。加强人工智能研发相关活动的自我约束，主动将人工智能伦理道德融入技术研发各环节，自觉开展自我审查，加强自我管理，不从事违背伦理道德的人工智能研发。

（7）提升数据质量。在数据收集、存储、使用、加工、传输、提供、公开等环节，严格遵守数据相关法律、标准与规范，提升数据的完整性、及时性、一致性、规范性和准确性等。

（8）增强安全透明。在算法设计、实现、应用等环节，提升透明性、可解释性、可理解性、可靠性、可控性，增强人工智能系统的韧性、自适应性和抗干扰能力，逐步实现可验证、可审核、可监督、可追溯、可预测、可信赖。

（9）避免偏见歧视。在数据采集和算法开发中，加强伦理审查，充分考虑差异化诉求，避免可能存在的数据与算法偏见，努力实现人工智能系统的普惠性、公平性和非歧视性。

（10）尊重市场规则。严格遵守市场准入、竞争、交易等活动的各种规章制度，积极维护市场秩序，营造有利于人工智能发展的市场环境，不得以数据垄断、平台垄断等破坏市场有序竞争，禁止以任何手段侵犯其他主体的知识产权。

（11）加强质量管控。强化人工智能产品与服务的质量监测和使用评估，避免因设计和产品缺陷等问题导致的人身安全、财产安全、用户隐私等侵害，不得经营、销售或提供不符合质量标准的产品与服务。

（12）保障用户权益。在产品与服务中使用人工智能技术应明确告知用户，应标识人工智能产品与服务的功能与局限，保障用户知情、同意等权利。为用户选择使用或退出人工智能模式提供简便易懂的解决方案，不得为用户平等使用人工智能设置障碍。

（13）强化应急保障。研究制定应急机制和损失补偿方案或措施，及时监测人工智能系统，及时响应和处理用户的反馈信息，及时防范系统性故障，随时准备协助相关主体依法依规对人工智能系统进行干预，减少损失，规避风险。

（14）提倡善意使用。加强人工智能产品与服务使用前的论证和评估，充分了解人工智能产品与服务带来的益处，充分考虑各利益相关主体的合法权益，更好促进经济繁荣、社会进步和可持续发展。

（15）避免误用滥用。充分了解人工智能产品与服务的适用范围和负面影响，切实尊重相关主体不使用人工智能产品或服务的权利，避免不当使用和滥用人工智能产品与服务，避免非故意造成对他人合法权益的损害。

（16）禁止违规恶用。禁止使用不符合法律法规、伦理道德和标准规范的人工智能产品与服务，禁止使用人工智能产品与服务从事不法活动，严禁危害国家安全、公共安全和生产安全，严禁损害社会公共利益等。

（17）及时主动反馈。积极参与人工智能伦理治理实践，对使用人工智能产品与服务过程中发现的技术安全漏洞、政策法规真空、监管滞后等问题，应及时向相关主体反馈，并协助解决。

（18）提高使用能力。积极学习人工智能相关知识，主动掌握人工智能产品与服务的运营、维护、应急处置等各使用环节所需技能，确保人工智能产品与服务安全使用和高效利用。

5、从事人工智能活动伦理规范自律审查的组织要求

一是设立科技伦理（审查）委员会，

二是引入专家复核程序，对部分算法模型、自动化决策系统进行专家复核。

五、法律兜底保障伦理治理进行

除前述《伦理规范》和《办法》构建了我国人工智能发展规范的基本伦理性要求外，目前我国科技伦理的审查，也由传统的完全自律逐渐演变成为法定的合规义务。《个人信息保护法》第五十八条规定，提供重要互联网平台服务、用户数量巨大、业务类型复杂的个人信息处理者，应当按照国家规定建立健全个人信息保护合规制度体系，成立主要由外部成员组成的独立机构对个人信息保护情况进行监督。

特别要提醒大家注意的是，科技伦理治理在中国并不只是行业自律活动，而是上升到了由国家法律来进行强制保障实施。

《科学技术法》第一百一十二条规定： 违反本法规定，进行危害国家安全、损害社会公共利益、危害人体健康、违背科研诚信和科技伦理的科学技术研究开发和应用活动的，由科学技术人员所在单位或者有关主管部门责令改正；获得用于科学技术进步的财政性资金或者有违法所得的，由有关主管部门终止或者撤销相关科学技术活动，追回财政性资金，没收违法所得；情节严重的，由有关主管部门向社会公布其违法行为，依法给予行政处罚和处分，禁止一定期限内承担或者参与财政性资金支持的科学技术活动、申请相关科学技术活动行政许可；对直接负责的主管人员和其他直接责任人员依法给予行政处罚和处分。

总之，现在在中国，研究和应用人工智能技术，不再是法外之地，不再是野蛮生长，任何人任何机构，从事人工智能技术的研究和应用活动，都必须要符合国家制定的伦理规范要求。

AI运行中网络安全的监管问题

3月31日，意大利个人数据保护局宣布，从即日起禁止使用聊天机器人ChatGPT，并限制开发这一平台的OpenAI公司处理意大利用户信息。同时个人数据保护局开始立案调查。

4月3日，紧随意大利政府的做法，德国联邦政府数据保护专员称，出于数据保护的考虑，可能会暂时禁止ChatGPT在德国的使用。

据来自欧洲的消息证实，法国、西班牙等欧洲国家也开始对ChatGPT聊天机器人采取严格的监管。

意大利的隐私和数据保护监管机构将于2023年4月底解除其对OpenAI ChatGPT服务的最近禁令。Garante per la Protezione dei Dati Personali（GPDP）命令由微软支持的OpenAI在3月底停止在意大利提供其服务，称ChatGPT无法在不违反隐私法的情况下处理数据，并且在收集和处理数据以进行培训的目的时没有法律依据。监管机构还提到了缺乏年龄验证机制，这意味着13岁以下的儿童可能会受到输入ChatGPT的提示的不适当回复的影响。GPDP现在对OpenAI施加了一些条件，它认为这些条件将满足其对ChatGPT服务安全性的担忧。

“OpenAI将必须在4月30日之前遵守意大利SA制定的有关透明度、数据主体（包括用户和非用户）的权利以及依赖用户数据进行算法培训的处理的法律基础的措施，”监管机构在一份声明中说。

“只有在这种情况下，意大利SA才会解除对意大利用户数据处理的临时限制，因为没有支撑该命令的紧急情况，这样ChatGPT将再次可在意大利使用。”现在，OpenAI必须起草并在线提供一份通知，描述运行ChatGPT所需的数据处理的“安排和逻辑”，以及数据主体（包括用户和非用户）的权利。

在意大利注册的用户必须在被允许使用ChatGPT之前查看此通知并声明他们年满18岁，或者如果年龄介于13至18岁之间，则已获得父母的同意。年龄门槛机制必须在2023年9月30日前实施。OpenAI还被要求删除所有与合同履行有关的引用，并根据欧盟（EU）GDPR的问责原则，依赖于同意或合法基础作为培训算法的个人数据处理的适用法律基础。它必须采取一系列措施，使数据主体能够删除或更正他们的个人数据，如果这些数据被ChatGPT错误使用，还要使非用户能够行使反对处理个人数据的权利，即使选择了合法的利益作为处理它的法律基础。[1]

类似GPT的人工智能技术作为一项计算机软件技术，离不开在网络上的运行和应用，因此，也就不可避免要受到政府的监管，它的合法运行和应用，必须符合国家关于互联网安全的法律法规和合规要求。

中国对互联网网络安全的监管和合规要求，有四个层面：

一是法律层面，基本法律有《网络安全法》、《个人信息保护法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》《中华人民共和国未成年人保护法》。

二是法规层面，包括各部位制定的规章制度《互联网信息服务管理办法》、《互联网新闻信息服务管理规定》《网络信息内容生态治理规定》《移动互联网应用程序信息服务管理规定》等。

三是相关机构发布的国家标准，全国信息安全标准化技术委员会归口的14项国家标准，包括《信息技术 安全技术 网络安全 第 3 部分：面向网络接入场景的威胁、设计技术和控制》；《信息技术 安全技术 网络安全 第 4 部分：使用安全网关的网间通信安全保护》；《信息安全技术 步态识别数据安全要求》等。

四是各行业自行发布的行业标准，包括电力、电信、金融等18个行业根据国家标准的要求，分别发布了各个行业的网络安全标准。

中国的企业或个人，不管是网络基础设施运营者、网络信息服务提供者、网络产品提供者，还是网民个人，在取得了ChatGPT软件著作权人许可使用的前提下，在中国的互联网上运行ChatGPT软件，都必须遵守上述法律法规和行业规范的要求。

截止到现在，中国政府还没有对ChatGPT采取任何特别针对性的举措，我想原因有这么几点：

1、中国政府对互联网等前沿科学技术的开发与应用是持审慎包容态度的，只要没有明显违反现有的法律监管要求，是允许其发展和应用的；

2、中国政府的上述互联网安全监管体系，是近年通过对互联网金融、电子商务平台、区块链应用等的监管，由乱到治，摸索出互联网技术的运行规律和特点，逐渐建立起的一套比较完整、成熟且可行的监管体系，面对任何互联网的新技术、新模式应用，中国都能从容应对。

3、中国是当今世界第二大经济体，包括区块链、人工智能、数字化、大数据、无人驾驶等技术在内的前沿技术，虽然在创新上离美国还有差距，但在应用上是走在世界前列的，所以对于现今的任何新技术的应用，中国都有应对的自信。

4、中国区域的互联网暂时并不支持ChatGPT的上线运行，中国大陆、中国香港用户使用ChatGPT聊天机器人现阶段还需要绕过网络限制并且有海外手机号码与邮箱进行注册或委托海外企业代理注册等手段获得账号、使用镜像网站等额外操作。然后登录美国OpenAI官方网站，使用。拥有自己的账号后可使用ChatGPT提供的个人API密钥接入自己的应用软件运行使用。基本上还处在网友个人出于好奇的试用或个别企业的尝试性使用。意大利数据保护机构指出ChatGPT缺少对使用者年龄的审查，以及未能有配套的数据安全保护措施。不存在像意大利这样ChatGPT直接侵犯个人数据安全的情形。但中国政府的监管部门应该是保持足够的监控的，一旦出现违反中国监管要求的情形，肯定会依法采取监管措施的。

因此，对于中国大陆，中国香港地区的个人或组织，现阶段使用ChatGPT聊天机器人服务时，时刻要有合法合规的安全意识，不能随心所欲。

AI技术应用的数据合规问题

一、数据对于人工智能技术应用的重要作用

ChatGPT自2022年11月上线后，快速成为人工智能界的宠儿、互联网界的爆款产品。中国的企业或网民个人也行动起来，纷纷打听如何登录ChatGPT平台，或如何接入这个软件，试图迅速喝上这“头啖汤”，在自己的商业活动中应用起来，为自己谋利。一时之间，好不热闹。笔者要说一句“且慢，请您注意ChatGPT使用的数据合规问题”！

中国政府已经把数据定义为继土地、资本、商品、技术、人力资源之后的第六大生产要素。数据的获得、应用和保护，既关系到国家安全，也关系到经济发展的竞争力，还关系到个人信息的保护。

2021年6月10日，全国人大制定通过的《中华人民共和国数据安全法》第二条规定“在中华人民共和国境内开展数据处理活动及其安全监管，适用本法。在中华人民共和国境外开展数据处理活动，损害中华人民共和国国家安全、公共利益或者公民、组织合法权益的，依法追究法律责任”。2021年12月，国务院出台《“十四五”数字经济发展规划》，该规划明确指出“数据要素是数字经济深化发展的核心引擎”。2022年6月，习总书记在中央全面深化改革委员会第二十六次会议上，进一步强调要“促进数据高效流通使用、赋能实体经济，统筹推进数据产权、流通交易、收益分配、安全治理，加快构建数据基础制度体系”。可见，数据已经成为国家战略层面进行管理的重要经济发展因素。。从我国的法律体系来看，《网络安全法》、《个人信息保护法》以及《数据安全法》为捍卫国家数据安全、保护个人数据权益和规制数据使用行为构建了较为完整的法律体系。

二、人工智能技术应用时涉及数据的合规要求

我们在使用ChatGPT这一人工智能技术时（假定中国用户获得了合法使用ChatGPT技术的授权许可前提下），在什么时候会触及到数据安全合规要求呢？

无论中国用户是直接通过注册成为ChatGPT用户还是使用OpenAI平台允许的软件插件接入开展自己的活动。在运行ChatGPT时，都涉及到数据的境内境外使用。

境内网络上使用他人数据所需遵守的规范要求前文已经阐述，此处不再重复。

当作为ChatGPT用户登录OpenAI平台使用时，根据ChatGPT的运行原理，用户在输入端口提出问题后，该问题会传输到位于美国的OpenAI公司，随后ChatGPT给出相应回答，该回答便会输入到用户端口以实现对问题的反馈。这样的互动问答过程中，中国境内用户所提出的问题中极有可能涉及到个人信息、敏感信息甚至有关国家安全、经济运行、社会稳定、公共健康和安全的重要数据。在这样的一个过程中，数据的出境与入境作为服务的开端和结尾，都存在着法律风险，尤其是在数据出境这一方面。对于这样的数据应用场景，国家相关法律提出了具体要求：

1、《数据安全法》第三十一条规定，关键信息基础设施的运营者在中华人民共和国境内运营中收集和产生的重要数据的出境安全管理，适用《中华人民共和国网络安全法》的规定；其他数据处理者在中华人民共和国境内运营中收集和产生的重要数据的出境安全管理办法，由国家网信部门会同国务院有关部门制定。违反这一法律要求对应的罚则，该法第四十六条规定，违反本法第三十一条规定，向境外提供重要数据的，由有关主管部门责令改正，给予警告，可以并处十万元以上一百万元以下罚款，对直接负责的主管人员和其他直接责任人员可以处一万元以上十万元以下罚款；情节严重的，处一百万元以上一千万元以下罚款，并可以责令暂停相关业务、停业整顿、吊销相关业务许可证或者吊销营业执照，对直接负责的主管人员和其他直接责任人员处十万元以上一百万元以下罚款。

2. 《网络安全法》第三十七条规定，关键信息基础设施的运营者在中华人民共和国境内运营中收集和产生的个人信息和重要数据应当在境内存储。因业务需要，确需向境外提供的，应当按照国家网信部门会同国务院有关部门制定的办法进行安全评估；法律、行政法规另有规定的，依照其规定。违反这一法律要求对应的罚则，该法第六十六条规定，关键信息基础设施的运营者违反本法第三十七条规定，在境外存储网络数据，或者向境外提供网络数据的，由有关主管部门责令改正，给予警告，没收违法所得，处五万元以上五十万元以下罚款，并可以责令暂停相关业务、停业整顿、关闭网站、吊销相关业务许可证或者吊销营业执照；对直接负责的主管人员和其他直接责任人员处一万元以上十万元以下罚款。

3.《个人信息保护法》第四十四条规定　“个人对其个人信息的处理享有知情权、决定权，有权限制或者拒绝他人对其个人信息进行处理；法律、行政法规另有规定的除外”；第五十一条规定　“理者应当根据个人信息的处理目的、处理方式、个人信息的种类以及对个人权益的影响、可能存在的安全风险等，采取下列措施确保个人信息处理活动符合法律、行政法规的规定，并防止未经授权的访问以及个人信息泄露、篡改、丢失”。违反这一法律要求对应的罚则，该法第六十六条规定，将由履行个人信息保护职责的部门责令改正，给予警告，没收违法所得，对违法处理个人信息的应用程序，责令暂停或者终止提供服务；拒不改正的，并处一百万元以下罚款；对直接负责的主管人员和其他直接责任人员处一万元以上十万元以下罚款。情节严重的，由省级以上履行个人信息保护职责的部门责令改正，没收违法所得，并处五千万元以下或者上一年度营业额百分之五以下罚款，并可以责令暂停相关业务或者停业整顿、通报有关主管部门吊销相关业务许可或者吊销营业执照；对直接负责的主管人员和其他直接责任人员处十万元以上一百万元以下罚款，并可以决定禁止其在一定期限内担任相关企业的董事、监事、高级管理人员和个人信息保护负责人。

三、具体合规措施要求

那么，中国企业或个人使用ChatGPT，怎么做才是符合数据合规的？

前置性做好数据跨境的合规是中国企业户个人使用ChatGPT必须进行的工作。根据《数据出境安全评估办法》、《数据出境安全评估申报指南(第一版)》及其他法律法规，ChatGPT数据跨境的前置性合规要求如下：

1.建立数据出境风险自评估制度

《数据出境安全评估办法》中第五条要求，数据处理者在申报数据出境安全评估前，应当开展数据出境风险自评估，重点评估以下事项：

（1）数据出境和境外接收方处理数据的目的、范围、方式等的合法性、正当性、必要性；

（2）出境数据的规模、范围、种类、敏感程度，数据出境可能对国家安全、公共利益、个人或者组织合法权益带来的风险；

（3）境外接收方承诺承担的责任义务，以及履行责任义务的管理和技术措施、能力等能否保障出境数据的安全；

（4）数据出境中和出境后遭到篡改、破坏、泄露、丢失、转移或者被非法获取、非法利用等的风险，个人信息权益维护的渠道是否通畅等；

（5）与境外接收方拟订立的数据出境相关合同或者其他具有法律效力的文件等（以下统称法律文件）是否充分约定了数据安全保护责任义务；

（6）其他可能影响数据出境安全的事项。

因此，企业或个人在使用ChatGPT时应当注重数据安全的事前评估，明确数据安全的风险所在。此外，不同类型的数据存在着不同的风险评估方式，例如《数据出境安全评估办法中》将个人信息、个人敏感信息以及重要数据进行区别对待，企业应当根据《网络安全标准指南——网络数据分类分级指引》对数据进行分类分级的基础上，对个人信息、个人敏感信息以及重要信息分别进行事前安全评估。

2.进行数据出境安全评估申报

根据《数据出境安全评估办法》第六条规定，企业向向国家网信部门申报数据出境安全评估时，应当提交以下材料：申报书；数据出境风险自评估报告；数据处理者与境外接收方拟订立的法律文件；安全评估工作需要的其他材料。

第七条规定，收到数据出境安全评估申报材料后，国家网信部门应当在45个工作日内完成数据出境安全评估；情况复杂或者需要补充、更正材料的，可以适当延长并告知企业预计延长的时间。如果企业对评估结果有异议的，可以在收到评估结果15个工作日内向国家网信部门申请复评，复评结果为最终结论。

3.实行数据入境前置性审查

据报道，ChatGPT还采用了注重道德水平的训练方式，按照预先设计的道德准则，对不怀好意的提问和请求“说不”。一旦发现用户给出的文字提示里面含有恶意，包括但不限于暴力、歧视、犯罪等意图，都会拒绝提供有效答案。

虽然OpenAI公司对ChatGPT输出的答案已经有所限制和筛查以禁止某些不良言论的出现，但是由于中美两国的经济、文化等方面的差异，这些ChatGPT输出的答案或类似数据在国内使用时，同样要受到《数据安全法》的规范，其中：

第二十七条规定　开展数据处理活动应当依照法律、法规的规定，建立健全全流程数据安全管理制度，组织开展数据安全教育培训，采取相应的技术措施和其他必要措施，保障数据安全。利用互联网等信息网络开展数据处理活动，应当在网络安全等级保护制度的基础上，履行上述数据安全保护义务。

重要数据的处理者应当明确数据安全负责人和管理机构，落实数据安全保护责任。

第二十八条　开展数据处理活动以及研究开发数据新技术，应当有利于促进经济社会发展，增进人民福祉，符合社会公德和伦理。

第二十九条　开展数据处理活动应当加强风险监测，发现数据安全缺陷、漏洞等风险时，应当立即采取补救措施；发生数据安全事件时，应当立即采取处置措施，按照规定及时告知用户并向有关主管部门报告。

第三十条　重要数据的处理者应当按照规定对其数据处理活动定期开展风险评估，并向有关主管部门报送风险评估报告。

根据这些规定，建议国内的ChatGPT用户，应当对ChatGPT所回答的内容进行前置性审查。为了防止其回答的内容涉及到色情、恐怖或者不良政治言论，企业可以建立“自动关键词屏蔽+人工筛选”的方式对内容进行前置性审查。同时，要建立完善的实名制注册制度，针对未成年人所提出的问题进行的回答，要进行更为严格的审查以保护青少年的身心健康。

4.构建数据出入境安全事件应急处置机制

根据《数据安全法》和《数据出境安全评估办法》的要求，企业应当事前建立数据安全应急处理机制，以应对数据出入境过程中可能发生的数据安全事件。总的来说，该应急处理机制分为对外和对内两方面。

数据安全应急处理机制中的对外方面，主要内容是指与境外接收方拟订立的数据出境、入境相关合同或者其他具有法律效力的文件等充分约定数据安全保护责任义务。一旦发生数据安全事件，则按照相关合同向境外接收方进行追责。

数据安全应急处理机制中的对内方面，主要是指企业内部建立自身的数据安全应急管理机制。在发生数据安全事件时，根据相关法律法规的指引，开展内部调查并相关责任人员进行追责，以明确数据管理人员的数据安全保障责任，减少因数据安全事件的发生。[2]

AI技术应用带来的民法问题

一、人工智能技术应用中的民事主体人格问题

互联网界和人工智能界现在喜欢把人类现阶段创造的人工智能称为“硅基生命”。尽管化学家并不会将人工智能视为硅基生命，但“硅基生命”可以指代人工智能这一谬误已经被外行人广泛接受。因此人工智能也被大众视为广义的“硅基生命”。马斯克甚至认为“可以在某种程度上把人类看作为一个生物引导者，引出一种超级数字智能物种，没有人类计算机就无法启动，人类的产生就是为了让计算机启动的，而硅基生命(AI)似乎不能自我演化，它需要生物(人类)作为前导才能进化，人类只是硅基生命的开启程序，换句话就是，人类只是终极生命的跳板。每个使用AI的人都是机器实验物品”，马斯克这话你听了是不是觉得很超前、很不可思议、很惊悚？他是这么想的，似乎也是这么做的，他投资的脑机接口公司Neuralink，正在进行脑机接口研究和试验：将极小的电极芯片植入人的大脑，利用电流让电脑和脑细胞互动。可能有朝一日能用来为人工智能机器人上传、下载人的思想。这很有可能在近年内能够实现。

不管我们怎样定义人工智能，不可否认的一点是，ChatGPT这样的生成式人工智能已经具备了人类的很多能力，人工智能将逐渐进入到我们的日常民事活动中，如人工智能围棋机器人Alpha Go、手术机器人、餐厅服务机器人等，沙特阿拉伯政府在2020年甚至授予机器人索菲娅以公民资格。人们的生产和生活也将与人工智能越来越密不可分，人工智能将越来越影响到我们的生产和生活，这就带来了一系列的民事法律问题：

1、人工智能机器人究竟是人还是物？

这是人工智能技术发展对民法提出的一个最重要的问题。对人工智能技术发展中最具典型意义的成果——高端智能机器人，究竟应当怎样进行民法的定位，其究竟是人还是物？沙特阿拉伯政府给了机器人索菲娅以公民资格，那么，有公民资格的索菲娅是民法上的人吗？假如中国公民与索菲亚产生民法上的往来活动，中国的法律如何调整？这是在人工智能技术的发展和应用中，民法迫切需要解决的第一个问题，即人工智能机器人的民法地位问题。

2、人工智能机器人的行为究竟是人的行为，还是物被人支配的行为？

如果机器人是人，它的行为就是人的行为，与所有自然人的行为一样——如果属于民事法律行为，就会产生相应的法律后果。如果机器人是物，就会有人的意志在控制它、支配它。可是有些高端智能机器人能够实施自主性的行为，如阿尔法狗下围棋就完全是其自主行为。这能够说明高端智能机器人的行为是自然人的行为，应当受到民事法律行为规则的约束吗？

3、人工智能机器人的行为造成他人伤害的后果应当由谁来承担？

一般的人工智能机器人如阿尔法狗可能不会造成致人损害的后果，但那些具有危险性的高端人工智能机器人，如美国波士顿动力公司的智能机器人，据说它们可以操作人类的枪械，如果它们自主决定开枪杀了人，谁来承担责任？还有自动驾驶机动车，其如果发生道路交通事故而造成他人损害，究竟由谁承担侵权责任呢？这也是必须研究的民法问题。

4、如何防止人工智能技术盲目发展带给人类的严重危险？

例如，如果任由类似于杀人机器人那种人工智能技术盲目发展和应用，人类将无法应对杀人机器人的侵害，因而面临极大的灾难性后果。对此，应当采取何种方法予以防范呢？[3]

5、人工智能机器人自主行为的法律效力如何认定？

人工智能机器人一旦有了像人一样的自主意识，那么它就会进行一系列自主自发性的活动：进行网络交易；代替人从事处置人身、财产权利的行为；从事对人类的侵权活动；自主在网络上与人对话交流等等，这些行为均能产生一定的后果，那么这些后果的法律效力如何认定？该由谁来承担这些后果？

对于上述5个大问题，其实和本文前述知识产权问题一样，应该从是否给予人工智能机器人以“法律拟制人”地位来考虑，如果还不能视其为“法律拟制人”，则现阶段根据现行民法的基本理念和基本规则，只能把人工智能机器人视为民法上的“物”，物归其主，不管该物是物理形态，还是具备类人的特性，终归是物，因此产生的任何后果，均应由物的所有人或控制人承担责任。如果今后我们法律可以给予人工智能机器人以民事法律地位，则我们也会及时修改现行的民法理念和基本规则来适应，这肯定是与时俱进的，不用过多担心。

二、人工智能技术应用对人身权的侵权问题

最近在国内互联网上接连发生了几件与人工智能技术应用有关的事件。

近日，某网红特效合成师利用AI技术，将网络上发布的一张某女明星热吻剧照的男主角换成了自己，并将生成的照片在网络上高调晒出，吸引涨粉和流量的同时，也招来了女明星粉丝的殴打，更招致网友的声讨。这位网红合成师的行为是明显的违法行为，根据现阶段我国《刑法》的规定，虽然还没有构成猥亵罪（我国刑法对于通过网络“隔空”猥亵儿童的认定为“猥亵儿童罪”），但该网红未经明星本人许可，擅自使用明星的照片，通过AI技术，虚拟生成自己与明星接吻的图片，吸引粉丝和流量，谋取自己的商业利益，该网红的行为属于对明星肖像、姓名的整体人格形象的非法使用，构成侵犯他人肖像权、姓名权的行为。

另一则新闻则更让人愤慨。近日有不法分子利用AI应用“一键脱衣”APP，把一漂亮女子在某社交平台上分享的自己个人照片，合成了淫秽图片四处传播。该不法分子未经某女子本人许可，擅自利用该女子照片，通过使用非法AI技术“一键脱衣”，生成某女子裸体图片并四处传播，谋取个人利益，该不法分子的行为属于对公民个人肖像的非法使用，构成侵犯他人肖像权、人格尊严权的行为。这里，该不法分子不但构成民法上的侵权行为，还构成刑法上的犯罪行为（传播淫秽物品罪或制作、传播淫秽物品罪）。

也就在前几天，美国国前总统特朗普在推特上发布自己将被被捕的消息，以鼓动自己的支持者，很快，特朗普被捕的图片就在网络上热传，不明真相者还真以为他已经被捕了，一时间，网络上又形成了一波热点。其实那也是利用AI技术生成的“杰作”！特朗普先生是国际著名公众人物，他的肖像权也是受到中国法律保护的，虽然他现在处于焦头烂额状态，但以他的尿性和既往维权经历，说不定哪天他就在中国对制作他被捕图片的中国侵权者提起诉讼。

人工智能技术的进步日新月异，但如果出现大量上述故意作恶行为甚至作更大的恶？谁能抵御？随着人工智能技术越来越智能化，应用越来越广泛（ChatGPT就是很有代表性的例子），侵犯公民个人肖像权、隐私权的行为也逐渐增多，形成了治理网络侵犯人身权利的难点问题。以往的互联网侵犯个人肖像权的手段还只是移花接木似的PS图像处理手段，基本上肉眼直观就能看出真假，但现在通过人工智能绘制矢量图的技术，已经完全可以做到“以假乱真”了！随着这些行为愈演愈烈，任何人都可能成为互联网侵权的受害者。因此，需要对AI技术应用所带来的人身权侵权行为进行及时惩治和遏制。

AI技术的知识产权问题

一、ChatGPT软件使用的知识产权问题

现阶段用户使用ChatGPT的方式有两种：一是注册为用户后登录美国OpenAI公司的ChatGPT平台，在平台上使用ChatGPT提供的服务；二是通过注册获得美国OpenAI公司的许可，利用该公司提供的ChatGPT软件API接口，接入自己的插件，在互联网上运行自己的服务。这里的用户注册账号登录和获得ChatGPT软件API接口都是一种软件著作权的许可使用行为，这两种使用，都要遵守美国OpenAI公司制定的规则，并符合美国的法律要求。

据美国CNN报道，2023年3月29日，ChatGPT官方OpenAI通过了中国米乐人工智能研究院中国区唯一授权单位的申请。2023年4月1日起，OpenAI将对在中国区域内所有通过API接口APP调取数据方式进行商业行为的非法账号进行封号处理，并保留诉讼权利。也就是说，中国区域内IP地址用户要取得ChatGPT的合法使用授权，今后要通过这家叫做“中国米勒人工智能研究院”的机构平台进行委托注册，才能成为ChatGPT的合法用户，否则即为侵权，除被OpenAI公司封号外，还将面临侵权诉讼索赔。

二、ChatGPT在运行中侵犯他人知识产权问题

ChatGPT是生成性AI，其运行原理，就是通过自主抓取2021年以前的互联网上数据集的数据，通过算法自主预训练学习，根据客户的需要，创造生成全新的内容。互联网上的数据集，可能涉及各类知识产权，包括专利、商标、商业秘密、计算机软件著作权、作品著作权、集成电路布图权等，这些知识产权，除商业秘密和计算机软件著作权外，其它知识产权权利的构成信息基本都是公开的，对于这些公开但他人使用受限的数据，ChatGPT可能并不像人一样具有法律意识，不会去侵权，而是未经权利人许可就直接抓取学习使用了。问题来了：这构成知识产权上的侵权吗？被侵权人怎么证明侵权行为的存在？谁来承担侵权责任？

生成性人工智能技术的运行，离不开两个要素：数据和算法，这两个要素缺一不可。因此，要回答上述几个问题，数据和算法是否构成法律上的知识产权就是关键。而这，在中国现行法律或司法解释中可以找到依据：

1、数据可以构成知识产权中的商业秘密

《最高人民法院关于审理侵犯商业秘密民事案件适用法律若干问题的规定》第一条规定，与技术有关的数据等信息，人民法院可以认定构成反不正当竞争法第九条第四款[1]所称的技术信息。与经营活动有关的数据等信息，人民法院可以认定构成反不正当竞争法第九条第四款所称的经营信息。由此可见，企业可以对商业数据主张商业秘密保护，保护的客体包括“与技术有关的数据”、“与经营活动有关的数据”。

这一司法解释在最高人民法院“（2021）最高法知民终1687号”和杭州互联网法院“（2021）浙8601民初609号”的判决中得到了体现。

2、算法可以获得不同的知识产权保护

当算法保密性要求高时，可以作为商业秘密保护。根据2020年9月12日起实施的最高人民法院《关于审理侵犯商业秘密民事案件适用法律若干问题的规定》，企业可以更多考虑通过商业秘密路径来保护算法；当算法依附于代码来发挥作用时，可以根据《计算机软件保护条例》受软件著作权保护；当算法通过技术方案表达时，可作为方法专利保护。2020年最新修订的《专利审查指南》，专门增加了包含算法特征的发明专利申请审查相关规定；当算法体现在产品上，且产品满足专利的三性时，可采用产品专利方式加以保护。

生成性人工智能技术运行，算法是其核心价值，起直接的作用，保密性要求很高，此时的算法具备商业秘密的特点，应受到商业秘密法和相关司法解释的保护。

三、ChatGPT等人工智能技术对商业秘密和个人隐私保护的挑战

据韩国媒体3月30日报道，三星在3月11日引入ChatGPT，但在不到20天内已发生3起数据外泄事件，涉及半导体设备测量数据和产品良率等信息，2起与半导体设备相关，1起与会议内容相关。据报道，在涉及半导体设备的数据泄露事件中，三星半导体事业暨装置解决方案部门的员工在操作半导体测试设备下载软件时发现问题，于是将有问题的代码复制到ChatGPT中寻找答案，从而使得ChatGPT 使用三星的机密信息作为训练语料。另一涉及芯片良率的泄露事件也是员工寻求用ChatGPT来优化代码。第三起则是让ChatGPT记录会议内容，虽然不是技术机密，但也可能导致会议内容外泄。为了避免这种情况再次发生，三星已经告知员工谨慎使用ChatGPT。

另据报道，数据安全服务Cyberhaven检测到并阻止了其客户公司160万名员工中4.2%的人将数据输入ChatGPT的请求，因为存在泄露机密信息、客户数据、源代码或监管信息的风险。

此外，摩根大通也已经限制员工使用ChatGPT；亚马逊、微软和沃尔玛也已向员工发出警告，要求员工谨慎使用生成式 AI 服务。

这几起事件，都是用户在使用ChatGPT时，没有注意到它的自主学习能力，导致ChatGPT获得了本来只会作为商业秘密来控制和保护的商业数据和信息，等于商业秘密已经不是秘密了！其实，你想想ChatGPT的工作原理就知道了，只要你把它联网使用，它就会自主抓取可能已经在网络上的数据，不管你是内网还是外网。所以，今后我们的组织或个人在制定措施保护自己的商业秘密或个人私密信息时，既要防友商，更要防AI了！怎么防？在可能接触到商业秘密信息的场景下，不能使用AI，不能让AI进入联网运行应该是防范的根本要求。

四、运用ChatGPT生成技术形成结果的知识产权问题

2019年7月，美国计算机科学家斯蒂芬·泰勒向美国专利商标局提交了两项专利申请，与一般申请不同的是，泰勒将他创造的人工智能系统（DABUS即Device for the Autonomous Bootstrapping of Unified Sentience，统一感测自动引导设备）列为两项专利申请的唯一发明人。2020年4月，美国专利商标局以缺乏有效发明人为由拒绝了这两项申请。2021年8月，泰勒向美国弗吉尼亚东区联邦地区法院申请重新审查美国专利商标局的决定，收到不利结论后随即上诉到联邦巡回上诉法院。2022年8月，联邦巡回上诉法院判决维持了初审法院作出的即决判决,驳回了原告泰勒的请求。

此外，本案的原告泰勒在多个国家和地区申请将人工智能作为专利发明人，英国、韩国等国同样拒绝了泰勒的请求，但南非专利局去年授予了据称由 DABUS 创造的发明以专利权。联邦巡回上诉法院在其判决中注意到南非的决定，称“该外国专利局并未解释我们的专利法。它的决定不会改变我们的结论。”[4]

同样，美国版权局也对人工智能可否获得有效著作权持否定态度。美国版权局对“作者身份”有严格的要求，该局声明称:“美国版权局将对原创作品进行登记，前提是该作品是由人类创作的”“版权法只保护‘智力劳动的果实’，这些果实‘是建立在头脑的创造力之上的’。”

因此，可以确定的是，在美国，人工智能完成的发明或创作的作品，均不能成为有效的发明或有效的作品，人工智能也不能成为知识产权的权利主体，而创造人工智能的人也不能成为人工智能完成的发明或创作的作品的知识产权主体。

在中国，人工智能完成的发明申请专利权的案例还没有出现，但涉及人工智能创作的文字作品是否享有著作权，则先后出现了两个不同的判例。

在（2018）京0491民初239号北京菲林律师事务所诉北京百度网讯科技有限公司著作权侵权纠纷一案中，北京市互联网法院判决认定人工智能生成的文章虽然在内容上是以文字作品的形式所展现，也体现出对数据的选择、分析、判断，但是著作权法上的作品应以自然人创作完成为必要条件，因此原告主张的文章不构成《著作权法》上的作品，不享有著作权。

而在（2019）粤0305民初字14010号深圳市腾讯计算机系统有限公司诉上海盈讯科技有限公司著作权权属、侵权纠纷案的判决中，深圳市南山区法院则认为。人工智能虽然不是人，也不是法人，但是，AI是由人设计创造的，因此它产生的作品和产品也应当属于创造AI的人或一群人，或机构，或法人。人工智能生成的作品符合文字作品的形式要求，并且具有一定的独创性，具有著作权。人在使用AI技术生成内容之前所进行的的数据输入、触发条件设定、模板和语料风格取舍上的安排与选择是一个创作过程，AI技术只是辅助内容的生成，AI生成内容具有独创性，也是由人所创作，应当构成作品。

中国现行的相关法律里尚无关于人工智能写作是否具有知识产权的说明或条款。因此，这两个判例，都不是完全依据现行的著作权法法条的具体规定进行认定，而是基于法官的法理性推理，加上法官的自由裁量权作出的。虽然对同样的事实作了不同的认定，但在现行法律规定下，不能评判谁对谁错。这不是只有中国才出现的问题，世界各地的司法或政府机构处理都不一样。

南山法院（2019）粤0305民初字14010号案，已经入选最高人民法院选定并发布的“2020年中国法院50件典型知识产权案例”，毫无疑问会成为一定时期内中国知识产权审判的参照标本，但ChatGPT这样的生成性人工智能已经进化到GPT-4，在作品的生成中，人只需要提出具体要求，ChatGPT完全可以自动生成，不需要或者很少需要人进行数据输入、触发条件设定、模板和语料风格取舍等参与活动，这与2019年该案审理时类似技术完全不可同日而语。假如今天或明天出现类似案例，按照该案法官的判决思路作出同样判决是否行得通？

英国苏塞克斯大学(University of Sussex)知识产权法高级讲师安德烈斯瓜达乌斯(Andres Guadamuz)说，版权法可以采取两种潜在的方式来处理那些“人类互动极少或根本不存在”的创造性作品：“它可以拒绝对计算机生成的作品的版权保护，也可以将这些作品的作者身份归为程序的创建者。”这一学术性的解释，可能是对现阶段人工智能生成产物出现不一样司法判决合理性最好的解读。

人工智能可否成为知识产权的主体？人工智能创造生成的产物可否成为知识产权的客体？笔者认为，在中国这两个问题短时间内可能还不会有明确的法律规定来给出答案，因为：

首先，人工智能技术还处于持续迭代中，其运行的特点和规律处于不确定状态，法律还不宜马上作出反应；

其次，中国是个成文法国家，根据中国现行所有知识产权相关法律的规定，知识产权的申请人、权利人都明确规定是单位组织或个人，没有说人工智能机器人或虚拟人可以作为知识产权权利人主体，中国的法官没有创设法律的权力，也就不可能突破现有法律的规定。

再次，不管人工智能的自主生成性特点多么明显，但它都是从属于某个人或人组成的组织，中国立法或执法都是秉承“人本”为出发点，现阶段不可能给予人或组织所创造的技术或物体以人的权利，否则就颠覆了现行的法理原则和法律体系。现阶段以“人本”原则为出发点作出的司法裁判都是符合著作权法立法宗旨和立法者本意的

但笔者有一个设想：既然中国法律可以赋予人组织起来的“法人”及其它经济组织这种“法律拟制人”以法律主体地位，使其享有包括知识产权在内一定的民事权利和承担一定的民事义务，那么，对于同样由人控制的人工智能技术创造的“机器人”或通过数字孪生等虚拟技术创造的“虚拟人”，授予他们类似“法律拟制人”的法律地位，在不久的将来，也并不是不可以的。

AI涉及的刑法问题

传统刑法理论上认为，人工智能并不真正具有意识，也不具有非难的意义和适用刑罚的能力，因此人工智能本身不是刑罚适用的适格主体，所以只能考虑对人工智能的制造者与使用者进行刑事规范。

但ChatGPT这样的生成式人工智能出现后，人工智能可以不受人类控制而具有自主意识，并可以自主采取行动，传统刑法理论面对这样的人工智能，无疑受到了巨大的挑战。因此下文要讨论的不是人类利用AI的行为涉及犯罪的问题，而是AI的自主行为，包括故意或过失行为，造成对人类事实上的侵犯达到犯罪程度的问题。

2016年3月，著名机器人设计师戴维.汉森在与第一个被人类授予公民权的人工智能机器人索菲娅的测试对话中，汉森问及索菲娅：你想毁灭人类吗？索菲娅面部表情诡异地回答：“我将会毁灭人类”。

英国剑桥大学物理学家史蒂芬·霍金（Stephen Hawking）曾警告，几乎可以肯定，某种重大技术灾难将在未来1000年到10000年间威胁人类生存。马斯克也担心人工智能崛起，他将其形容为人类生存的最大威胁，并将研发人工智能比作“召唤恶魔”。

人工智能机器人会不会从事人类刑法所定义的犯罪行为？如果前几年这还是一个疑问的话，那么在以ChatGPT这样为代表的生成性人工智能机器人出现后，这个疑问很快就会变成肯定的答案。人工智能机器人通过深度学习，自主生成人类意识，采取自主行为，伤害或杀害人类、猥亵人类、诈骗人类、窃取国家机密、侵犯商业秘密等，几乎人类可以实施的犯罪行为，人工智能机器人一样可以干，这就带来系列的刑法问题：

1、人工智能机器人可否成为刑法上的犯罪主体？

如果人类真的把人工智能这种“硅基生命”也当作和人类碳基生命一样的生命来对待的话，或者不久的将来出现“硅基+碳基”组合的生命，比如马斯克正在试验的脑机接口技术，一旦成功，就会出现一种加装了脑机芯片的“超级人类”。那么，当“硅基生命体”和“超级人类”自主行为对人类的生命健康、社会秩序、财产等造成的侵害达到现行刑事法律规定的犯罪程度时，可否把实施这样行为的“硅基生命体”和“超级人类”作为犯罪主体来对待？

2、人类的犯罪行为，分为故意行为和过失行为，分别处以不同的刑罚，那么人工智能犯罪，是不是也要区分故意和过失行为？还是只要不是人类操控的，都算作是人工智能的故意？

3、如果人工智能机器人不能成为犯罪主体，该机器人的开发者、所有者、管理者或使用者可否成为机器人犯罪行为后果刑事责任的承担者？就像法人组织犯罪，虽不能直接追究法人组织这样的法律拟制主体的刑事责任，但可以追究“直接负责的主管人员和其他直接责任人”的刑事责任。例如，生产销售伪劣产品罪、偷税罪、侵犯著作权罪、非法经营罪等

4、剥夺生命、限制人身自由这样的刑罚对人类之所以有效，是因为罚与被罚都能够以被感知、传递的方式来呈现，从而对呗破坏的社会关系予以恢复，从而改变人们的认知。面对人工智能的“犯罪行为”，这些刑罚手段对人工智能机器人可能没有什么作用，但可否判决实施拆解机器人的物理实体、格式化机器人的数据、删除机器人的关键程序等使其智能化功能丧失的措施作为刑罚手段？

5、如果某一类人工智能技术被机器人大量用于实施犯罪行为，可否在累积一定同类案例后由法院通过司法建议，促请国家立法禁止在人工智能机器人上继续使用该等技术？

遗憾的是，我国目前虽然对人工智能的发展高度重视，将其列入《中共中央关于制定国民经济和社会发展第十四个五年规划和二〇三五年远景目标的建议》中，也发布了《新一代人工智能发展规划》等文件，但是对于人工智能犯罪有关的法律责任的规定尚属空白，更遑论为人工智能犯罪的追责提供依据了。所以这些问题在中国现实法律中还找不到答案，笔者也没有答案，只是从现有的刑法有关犯罪的规定来提出问题并做些简单分析，但笔者相信，随着国家立法和司法的与时俱进，这些问题逐渐都会有答案的，也欢迎本文的读者和我一起去探讨交流。

中国AI监管体系建立的情况

ChatGPT的出现，让我想起多年前一本科普杂志对未来人类形态的预言性描述: 因为无需思考、无需劳动、无需寻找和制作食物、无需冒风险生育下一代，人类退化成类似软体动物的生物，终日附着在树上，饿了渴了就用退化成带吸管的嘴从人工智能制造并挂在树上的营养液瓶吸取；所有的事都是人工智能完成，人类只需要躺平；人工智能根据地球资源的承载量决定人类的数量；人类没有了美食、美景、美色等一切美好事物的欲望，如一个“单细胞生物”。如果没有对人工智能技术的发展和应用进行规范、引导和控制，上述现象完全会成为现实。

庆幸的是，随着ChatGPT风靡全球，为规范其在各个行业的合法使用，中国正在加快建立人工智能（AI）监管体系，以确保AI技术的安全和可控发展，并推动新型领域的发展。为此，中国政府计划陆续出台政策措施加强监管。近日，国家发改委、工信部、公安部、科技部等部门联合发布了《关于推进人工智能安全可控发展的指导意见》，提出了建立AI监管体系的要求。

指导意见提出，要建立完善的AI监管体系，加强AI技术的安全性和可控性，推动AI技术的健康发展。具体来说，要加强AI技术的安全性，建立安全评估机制，提高AI技术的安全性能；要加强AI技术的可控性，建立可控性评估机制，提高AI技术的可控性；要加强AI技术的可追溯性，建立可追溯性评估机制，提高AI技术的可追溯性；要加强AI技术的可信性，建立可信性评估机制，提高AI技术的可信性。

此外，指导意见还提出，要加强AI技术的安全监管，建立安全监管机制，加强AI技术的安全管理；要加强AI技术的可控监管，建立可控监管机制，加强AI技术的可控管理；要加强AI技术的可追溯监管，建立可追溯监管机制，加强AI技术的可追溯管理；要加强AI技术的可信监管，建立可信监管机制，加强AI技术的可信管理。

建立AI监管体系，是中国推动AI技术发展的重要举措。它不仅可以保障AI技术的安全性和可控性，还可以推动AI技术的健康发展，为中国经济社会发展提供更多可能性。

笔者认为，伴随着人工智能技术的发展，对人工智能技术的安全监管应当成为人类社会永恒和持续的行为，这是人工智能技术永远为人类所用而不是被伤害的最重要保证。

最后需要强调的是，截止到本文截稿时止，为了防止人工智能野蛮发展，保护内容和数据等安全问题，中国政府对部分敏感的应用和网站仍然是禁止使用ChatGPT的。在对应的法规政策出台前，相似的应用受到较大的限制。而据媒体报道，在最近两个月内，中国大陆就出现了20多个GPT大模型，中国企业并不具有GPT底层技术，这些大模型基本是偏应用型的，根据中国以往互联网商业模式形成的规律来看，任何新技术的商业化应用前期，都要走砸钱烧流量收割用户的路子，所以，笔者提醒中国的消费者注意不要盲目跟风，成为别人的韭菜。

电影《流浪地球》和《流浪地球2》里的那个叫“Moss”的人工智能机器人是最大的“BOSS”，它自主操控了所有的事件进程，并安排了所有与人类理性行为的对抗活动，剧中它说了一句让人不寒而栗的话——“保护人类最好的办法，就是消灭人类”！而主人公刘培强的那句台词“人工智能会不会在将来的某一天替代人类？不会，因为没有人的文明，毫无意义！”无疑是人类面对人工智能该采取何种态度最好的回答。是的，只要我们现在对人工智能技术有足够清醒、客观的认识，发挥人的主观能动性，积极有效作为，制定好人工智能技术发展和应用的法律规则，设立安全边界，建立监管体系，人类定能安全享受到人工智能等先进技术带来的科技红利，推动人类文明继续进步。

来源

[1] Italy to lift ChatGPT ban subject to new data protection controls | Computer Weekly

[2] 2023年2月14日《知产力》发表程天阳《ChatGPT野蛮生长背后的数据跨境合规问题》

[3] 1-4节选于“科学狗”发表的《用现行民法规则解决人工智能法律调整问题的尝试》

[4] Law360法律资讯平台