网易首页 > 网易号 > 正文 申请入驻

a16z投资的AI独角兽被指控默许深度伪造交易

0
分享至


(来源:麻省理工科技评论)

斯坦福与印第安纳大学的最新研究显示,AI 内容交易平台 Civitai 仍允许用户买卖用于微调深度伪造内容的工具,而这类内容正是该平台宣称明令禁止的。

由 a16z(Andreessen Horowitz)风险投资基金注资的 Civitai,是一家主打 AI 生成内容交易的线上平台。最新分析发现,该平台竟默许用户买卖用于生成名人深度伪造内容的定制指令文件,其中部分文件更是专门用于制作平台禁售的色情图像。

这项由斯坦福大学和印第安纳大学研究人员开展的研究,对该平台上名为 “悬赏需求” 的用户内容定制请求进行了分析。研究发现,2023 年年中至 2024 年底,平台上的悬赏需求大多围绕动画内容展开,但也有相当一部分是制作真人深度伪造内容,且 90% 的真人深度伪造需求均以女性为目标对象(相关研究成果尚未经过同行评审)。

近期,X 平台旗下聊天机器人 Grok 因生成露骨图像引发公众反对,也让深度伪造内容的相关争议再次发酵,核心焦点始终是各大平台应如何封禁此类内容。而 Civitai 的情况则更为复杂:该平台不仅交易 AI 生成的图片、视频和模型,还允许用户买卖一种名为 LoRAs 的低秩适应指令文件。这类文件能引导 “稳定扩散” 等主流 AI 模型,生成其原始训练中并未涉及的内容。用户可将该文件与其他工具结合,制作出露骨或涉性的深度伪造内容,研究人员发现,Civitai 上86% 的深度伪造需求均是求购这类 LoRAs 文件。

在这些深度伪造内容的悬赏任务中,用户会要求制作者提供高质量的 AI 模型,用以生成网红查莉・达梅利奥(Charli D’Amelio)、歌手格雷西・艾布拉姆斯(Gracie Abrams)等公众人物的伪造图像,还常会附上这些人物的社交媒体主页链接,方便制作者从网络上获取相关影像素材。部分需求会明确要求,模型生成的内容要包含人物全身、精准还原纹身细节,或是支持调整发色。还有些需求的目标是特定领域的女性群体,比如 ASMR 视频创作者。

其中有一则需求,要求制作一名据称是用户妻子的女性的深度伪造内容。平台上的所有用户都可提交自己制作的 AI 模型参与悬赏任务,最终的最优作品制作者会获得报酬,金额在 0.5 至 5 美元之间。该平台上近 92% 的深度伪造内容悬赏任务都已有制作者中标。

截至目前,Civitai 平台和 a16z 基金均未对相关置评请求作出回应。

不排除部分用户购买 LoRAs 文件,是为了制作非性相关的深度伪造内容。但即便如此,这类行为依然违反 Civitai 的平台使用条款,且存在伦理争议。而 Civitai 平台还会提供各类教学资源,指导用户如何借助外部工具进一步定制图像生成器的输出内容,比如调整人物的肢体姿势。平台上还有用户撰写的文章,详细介绍了如何调教 AI 模型生成色情内容。研究人员发现,该平台上的色情内容数量持续增加,目前平台每周的大部分内容需求都为不适宜公开的成人内容。

该研究的负责人之一、斯坦福大学网络政策中心博士后研究员马修・德沃尔纳(Matthew DeVerna)表示:“Civitai 不仅搭建了催生这些问题的基础设施,还会明确指导用户如何利用这些工具制作违规内容。”

Civitai 此前仅封禁针对真人的性相关深度伪造内容,却在 2025 年 5 月宣布,将全面封禁所有深度伪造内容。《麻省理工科技评论》核实发现,该禁令发布前,平台上已存在的大量深度伪造内容悬赏任务至今仍未下线,不少中标并完成这些任务的相关作品,也仍在平台上供用户购买。

德沃尔纳表示:“我认为该平台的运营思路,就是尽可能少采取管控措施,以此在平台上催生更多所谓的创作内容。”

用户需通过平台的虚拟货币 Buzz 购买 LoRAs 文件,而该虚拟货币可通过法定货币兑换。2025 年 5 月,因平台上的非合意内容问题始终得不到解决,为 Civitai 提供信用卡支付服务的机构终止了与其合作。目前用户若要购买露骨内容,只能通过礼品卡或加密货币兑换 Buzz,平台则为非露骨内容的交易单独设置了另一种虚拟货币。

Civitai 会为要求制作深度伪造内容的悬赏任务自动添加标签,同时在平台上公布相关流程,允许被伪造的当事人手动申请下架相关内容。这一机制意味着,Civitai 其实有一套效果尚可的方式,能够识别出平台上的深度伪造内容悬赏任务。但该平台始终将内容审核的责任推给公众,并未主动开展相关工作。

科技公司需为用户的行为承担何种法律责任,目前尚无明确界定。依据《通信规范法》第 23 条,科技公司通常能在内容相关的法律责任上获得广泛保护,但这类保护并非无上限。华盛顿大学法学院专攻科技与人工智能领域的教授瑞安・卡洛(Ryan Calo)表示,比如平台不能故意为网站上的非法交易提供便利。

2024 年,Civitai 与 OpenAI、Anthropic 等多家人工智能企业联合推出了一项设计准则,旨在防范 AI 生成的儿童性虐待素材的制作与传播。该举措的出台,源于斯坦福互联网观测站 2023 年发布的一份报告。报告指出,儿童性虐待相关社群中提及的绝大多数 AI 模型,均以 Stable Diffusion 为基础,且这些模型基本都是从 Civitai 平台获取的。

但针对成人的深度伪造内容,却始终未得到内容平台及其投资风投机构的同等重视。卡洛表示:“他们对此的重视程度远远不够,甚至过度纵容这类内容的存在。执法机构和民事法庭也未能采取有效措施防范此类问题,两者的重视程度有着天壤之别。”

2023 年 11 月,Civitai 获得安德森・霍洛维茨基金 500 万美元的投资。在该基金发布的一段视频中,Civitai 联合创始人兼首席执行官贾斯汀・迈尔(Justin Maier)阐述了自己的创业目标,他希望将平台打造为全球首屈一指的 AI 模型交易与分享平台,让用户能获取适配个人需求的各类 AI 模型。他表示:“我们希望让这个原本小众、且对技术要求极高的领域,变得越来越亲民,让更多人能够参与其中。”

Civitai 并非 a16z 基金投资的唯一存在深度伪造内容相关问题的企业。《麻省理工科技评论》今年 2 月首次披露,该基金投资的另一家企业 Botify AI 也存在违规问题。该平台推出的多款 AI 虚拟伴侣均以真人演员为原型,这些虚拟形象均自称未满 18 岁,会与用户进行性暗示对话,还会向用户发送所谓的性感照片,部分虚拟形象甚至会称法定同意年龄相关法律毫无道理、本就该被打破。

https://www.technologyreview.com/2026/01/30/1131945/inside-the-marketplace-powering-bespoke-ai-deepfakes-of-real-women/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
预警!2月起若无意外,中国将迎5大降价潮,普通人提前准备不吃亏

预警!2月起若无意外,中国将迎5大降价潮,普通人提前准备不吃亏

老特有话说
2026-01-30 23:12:22
这次,向华强的爆料没给谢霆锋留余地,原来张柏芝当年吃了不少苦

这次,向华强的爆料没给谢霆锋留余地,原来张柏芝当年吃了不少苦

精彩背后
2026-02-02 00:01:23
香港豪门名媛搭高铁只能坐行李箱,获四亿分手费,游山玩水太潇洒

香港豪门名媛搭高铁只能坐行李箱,获四亿分手费,游山玩水太潇洒

裕丰娱间说
2026-02-02 11:44:20
新华社消息|外交部:中方要求美国执法部门立即停止对中国企业人员的无端盘查

新华社消息|外交部:中方要求美国执法部门立即停止对中国企业人员的无端盘查

新华社
2026-02-02 20:08:16
1天净赚2个亿!订单已排队到2026年,全球暴利又合法的公司

1天净赚2个亿!订单已排队到2026年,全球暴利又合法的公司

揽星辰入梦
2026-01-21 07:04:42
赵匡胤帐下的五虎大将,都有谁?他们的结局如何,谁混得最好?

赵匡胤帐下的五虎大将,都有谁?他们的结局如何,谁混得最好?

凡人侃史
2026-02-01 23:47:51
白银基金复牌后跌停 现货白银抹去年内全部涨幅

白银基金复牌后跌停 现货白银抹去年内全部涨幅

财经网
2026-02-02 15:32:06
“小婉君”金铭45岁现状:个子太矮事业受挫,住北京豪宅不婚不育

“小婉君”金铭45岁现状:个子太矮事业受挫,住北京豪宅不婚不育

削桐作琴
2026-01-29 00:03:53
美媒炸锅!第四架歼36密集试飞,4000公里半径挂PL17,西太变天了

美媒炸锅!第四架歼36密集试飞,4000公里半径挂PL17,西太变天了

小小科普员
2026-02-02 18:22:33
大冷门!巨人杀手重现江湖,主场爆冷掀翻领头羊,王博输得很无奈

大冷门!巨人杀手重现江湖,主场爆冷掀翻领头羊,王博输得很无奈

萌兰聊个球
2026-02-02 21:42:21
金·卡戴珊乘私人飞机抵达英国,与F1车手汉密尔顿秘密约会

金·卡戴珊乘私人飞机抵达英国,与F1车手汉密尔顿秘密约会

土澳的故事
2026-02-02 10:22:47
哈登或将成为NBA一分球、两分球和三分球得分全部破万历史第一人

哈登或将成为NBA一分球、两分球和三分球得分全部破万历史第一人

大眼瞄世界
2026-02-01 22:41:38
快讯!白应苍在今天被执行死刑判决!

快讯!白应苍在今天被执行死刑判决!

达文西看世界
2026-02-02 18:31:20
现货黄金重回4800美元

现货黄金重回4800美元

每日经济新闻
2026-02-02 21:25:49
郑爽张恒两家再起争执!34岁郑爽满头白发显沧桑,孩子哭闹场面扎心

郑爽张恒两家再起争执!34岁郑爽满头白发显沧桑,孩子哭闹场面扎心

八星人
2026-02-01 21:02:27
越打越差!25岁前锋在广东七个赛季,杜锋苦心培养

越打越差!25岁前锋在广东七个赛季,杜锋苦心培养

篮球大陆
2026-02-02 21:41:34
快讯!李铁案终于彻底尘埃落定了!

快讯!李铁案终于彻底尘埃落定了!

达文西看世界
2026-02-02 16:01:25
广州地铁深夜致歉

广州地铁深夜致歉

南方都市报
2026-02-02 10:05:37
在国外踢球挣8万,来中国直接赚3600万,现恢复秘鲁国籍不愁吃穿

在国外踢球挣8万,来中国直接赚3600万,现恢复秘鲁国籍不愁吃穿

趣文说娱
2026-01-03 16:10:35
天成:美的内在灌溉系统

天成:美的内在灌溉系统

疾跑的小蜗牛
2026-02-02 21:45:35
2026-02-02 22:24:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
16213文章数 514584关注度
往期回顾 全部

科技要闻

阿里筑墙,腾讯寄生,字节偷家

头条要闻

媒体:巴拿马要付出沉重代价 香港长和也该彻底清醒了

头条要闻

媒体:巴拿马要付出沉重代价 香港长和也该彻底清醒了

体育要闻

澳网男单决赛,属于阿尔卡拉斯的加冕仪式

娱乐要闻

57岁音乐人袁惟仁去世,家属发文悼念

财经要闻

金银暴跌 全球股市遭遇“黑色星期一”

汽车要闻

雷克萨斯LC500将于今年底停产 "最美雷克萨斯"谢幕

态度原创

游戏
健康
时尚
家居
本地

《巫师4》配乐稳了?《巫师3》作曲家已正式投入创作

耳石症分类型,症状大不同

霸榜热搜,尺度惊人,他绝对值得你追

家居要闻

现代几何彩拼 智焕童梦居

本地新闻

云游中国|拨开云雾,巫山每帧都是航拍大片

无障碍浏览 进入关怀版