越聪明，越开放，越危险！如何让个人隐私不“裸奔”？

2025.02.24

本文字数：3072，阅读时长大约5分钟

作者 |第一财经 吴斯旻

伴随AI智能体“接管”手机屏幕，数据安全和隐私保护问题正变得更加复杂。尤其是当将AI“装入”手机的两张“技术地图”——端侧AI与云侧AI时，还涉及第三方大模型，手机终端厂商、大模型提供者和开发者等不同商业主体间的生态模式及责任边界尚不清晰。

另有专家提出更深一层担忧：在AI手机时代，手机厂商和App开发者将为用户权限展开激烈争夺，原有的市场竞争格局将被重塑，当市场竞争由传统的以App主导变为以端侧大模型主导，可能触及现有《反垄断法》和《反不正当竞争法》未曾涉及的问题。此外，面对越来越了解自身需求的手机智能体，用户难免会产生智能体“自动化决策”的担忧。

越聪明，越开放，越危险

和任何一种基于大模型的创新应用一样，AI手机功能的实现，往往建立在“吞下”大量的个人数据的基础上。尤其是训练AI智能体时，需要不断地收集、处理和分析用户的各种信息、浏览习惯乃至生物特征数据，以训练自动化推理能力，实现自动化决策。

“所以，隐私保护是一切商业故事的起点。”近日，在一场以 “AI手机隐私危机：新秩序中的安全挑战与抉择”为主题的学术研讨会上，有业界人士提出。

目前AI手机主要基于三种开发路径：基于端侧AI大模型，自研AI的端云配合以及第三方AI参与的端云配合。

也因此，AI手机生态囊括了手机终端、第三方大模型、APP以及云服务等参与主体。不同于传统手机以App为抓手的隐私保护策略，AI手机各主体间的数据安全责权关系将更加复杂，要想达成令用户信服的数据安全解决方案，挑战也更大。

中国法学会网络与信息法学研究会常务副秘书长周辉在前述研讨会上提到，相较于云侧AI，端侧AI能够实现数据本地处理，本地模型个性化训练与优化，理论上能够最大限度地减少数据传输，避免用户敏感信息被上传至云端。如果管理到位，这是一种“更私密”的解决方案。此外，由于端侧AI设备相对独立，算法更新和优化在本地完成，用户更易察觉和监督。

但端侧大模型真的能实现“AI锁在手机硬件里”，让用户数据和隐私变得更安全吗？

一种业界观点认为，由于大模型各方、用户与端、端与应用、端与云等风险责任有待清晰界定，目前法律制度尚待健全。

尚隐科技有限公司CEO张仁卓表示，纯端侧的模式能完全在本地处理用户的数据，其安全性比较可控。但其风险是，在第三方App介入时，隐私保护的边界往往模糊不清，也容易引发数据滥用或过度采集的问题。

北京汉华飞天信安科技有限公司总经理彭根从事手机端侧研究多年，他称，AI手机诞生后，原本为了帮残障人士“打破障碍”的无障碍权限正变成AI手机里的“上帝模式”，能够打破各个App之间的沙箱隔离机制，具有极高的权限。“便利的同时也孕育了更大的危机。”彭根说，在无障碍模式下，AI手机的隐蔽式调用可能反而造成安全和隐私风险，乃至被不法分子使用，作为窃取用户信息的工具。

另一个不可否认的事实是，端侧AI计算能力不如云端。有调研显示，尽管手机厂商都宣称自己的端侧AI大模型能力，但AI手机全部功能的实现，仍将依赖云侧大模型。

“为了实现高算力、强算法等能力，目前AI手机的主流模式依然是端云配合，即将数据处理分散到本地与云端。”张仁卓说。他以苹果手机举例称，苹果努力采用本地AI处理数据，但也与其私有云计算（Private Cloud Compute, PCC）紧密配合。

而当用户数据随模型迁移至云端，如何强化云端数据的安全，使之与端侧保持一致，并防止数据被滥用，就成为了数据安全和隐私保护领域的新挑战。

此外，AI手机数据交互边界的不断扩大，同样存在“硬币的正反面”。

自诞生以来，AI手机的终端厂商就对第三方大模型报以开放合作态度。比如，荣耀、三星与百度的合作，小米接入豆包大模型，再如近一段时间以来，华为、荣耀、OPPO等一众国产手机厂商相继官宣接入DeepSeek-R1。

“即便是苹果这样的科技巨头，涉及第三方AI的时候，PCC的保护程度也稍显捉襟见肘，仅能保证数据的预处理安全。虽然手机厂商们大多会宣称保护用户数据，但这些声明往往缺乏具体细节，潜藏着诸多不确定性与隐患。国内厂商数据保护举措的透明度亦不充分。”张仁卓说。

在他看来，第三方AI大模型通常需要访问大量用户数据，这进一步增加了数据泄露的可能性；数据在端侧、云端和第三方AI之间的流动复杂，透明度较低，责任分配也不明确，出现问题后恐怕难以追责。

“技术的监管永远优先于法律的监管”

中国信通院互联网法律研究中心主任何波表示，人工智能是引领这一轮科技革命和产业变革的战略性技术，相关产业正在向多智能融合新阶段发展。从目前情况来看，AI手机的发展不是完全裸奔的。

首先，现有的法律法规都适用并需要遵守。何波举例说，《网络安全法》《数据安全法》《个人信息保护法》明确规定了处理个人信息的要求，包括知情同意规则、最小必要原则等；今年1月1日生效的《网络数据安全管理条例》进一步对涉及自动化工具、生成式人工智能等新兴技术的数据处理活动作出了特殊规定，这些都可以作为AI手机的监管依据。

对外经贸大学数字经济与法律创新研究中心主任许可同样认为，在既有法律规制的框架之内，对AI手机的监管实际已非常多了。“尽管在某种程度上，中国互联网发展的历史就是不断打破既有法律甚至在无法状态中进行的历史，但过去十年间，尤其是在过去五六年间，中国互联网法律体系已经相当全面了，基本覆盖到每个领域。”许可说。

此外，何波还提到，我国在新兴领域的监管“还是非常及时的”。无论是此前的区块链、算法推荐还是生成式人工智能，都在出现需求的第一时间出台了相应的监管规则。

但由于AI手机涉及主体众多，数据在不同主体间流动，导致各环节责任难以区分，何波亦承认，AI手机的诞生，确实给监管带来了挑战。

何波称，AI手机作为一个新应用新事物，对很多普通用户而言目前还难以清晰认知到可能带来的安全风险，尤其是在用户信息被抓取和隐私权限被开启时。此外，虽然现在的隐私政策更加细致了，但对普通用户而言也更加复杂难懂。

更值得警惕的是，一旦用户开启彭根所言的“上帝模式”——无障碍权限，尽管手机系统会进行提醒，但这些提醒通常只有一次，且警告内容模糊，用户很难真正理解其潜在风险。当一些AI手机自带的内置应用权限高于普通App时，用户“钝感”会再次被放大。

“无障碍模式的核心问题是数据安全和网络安全问题，这个安全问题首先应该由技术专家去提出，并负责解决。”许可说，比如，无障碍权限的设立是否已形成行业共识？它在何种场景下开通收益大于风险？在云端数据交互模式下，包括云端大模型蒸馏到本地化小模型时，技术标准如何制定？这些都需要行业予以回应。

在他看来，对于AI手机的算法治理，第一，不能将数据和隐私的保护责任单方面压给用户；第二，技术的监管永远优先于法律的监管。

北京大学政府管理学院教授马亮注意到AI手机带来的另一大新挑战——市场竞争秩序的变化。伴随厂商和App围绕用户权限的争夺越演越烈，势必会涉及权限的定义、掌控及优先级划分等问题。“当前亟需形成共识，探索合理的权限治理模式。”马亮说。

许可也提出了对市场垄断的担忧。他观察到，AI智能体在手机中的作用日益重要，它决定了资源的调配方式，可能改变传统的App主导模式。如果未来某些AI模型在市场上占据主导地位，可能会给市场竞争带来新的挑战，甚至产生现有《反垄断法》和《反不正当竞争法》未曾涉及的问题。

此外，许可提示称，再聪明的AI智能体也需要加上“人类监督”这个角色，即通过“人在环中”（Human-in-the-Loop，HITL）技术优化，达成人类和机器智能的有机结合，让手机AI智能体与现有法律相衔接。目前，该目标的实现仍待更多制度和伦理层面的破局思路。

微信编辑| 生产队的驴（拉磨版）