网易首页 > 网易号 > 正文 申请入驻

用AI合成数据训练AI,AI模型训练新市场涌现

0
分享至

本文系网易新闻•网易号特色内容激励计划签约账号【智东西】原创内容,未经账号授权,禁止随意转载。

编译| 铭滟
编辑 | 徐珊

智东西7月25日消息,微软、OpenAI和Cohere等公司正在测试使用合成数据(计算机生成的信息)训练大语言模型(Lare Language Models,LLM)。合成数据一般用于训练LLM。目前使用人造数据的最复杂形式即为合成数据,使用合成数据训练或有助于进一步训练AI模型。

开发人员表示,来自网络的通用数据已不足以进一步提升AI模型的性能。多家AI公司已经将目光转向合成数据。

今年5月,OpenAI首席执行官Sam Altman曾被问及是否担心监管机构对ChatGPT潜在侵犯隐私的调查。Altman对此表示,“非常有信心将所有数据都更换为合成数据”。

一、合成数据能进一步满足AI模型训练需要

AI创企Cohere的CEO Aidan Gomez曾说:“如果你能从网络上获取所需的所有数据,那就太棒了。但实际上,网络环境嘈杂混乱。它并不能满足我们对数据的需求。”

▲图为Cohere的CEO Aidan Gomez

为了提高AI模型的性能并应用于科学、医学或商业等领域,AI模型需要专门且复杂的数据集用以训练。这些数据要么由科学家、医生、或工程师等领域内专家创建,要么从制药、银行和零售商等大公司获取专门数据。但是,“人类创建的数据非常昂贵”,Gomez说。

使用合成数据则避免了这笔支出。AI公司可以使用AI模型,合成与医疗或金融相关的数据。然后,将这些合成数据用于培训LLM。

Gomez表示,Cohere及其他几个AI公司已经使用了合成数据,然后由人类进行微调。“即使合成数据没有广泛传播,它所包含的内容量已经很大了。”Gomez说到。

例如,为了训练AI模型,Cohere可能会让两个AI模型相互对话,其中一个充当数学老师,另一个充当学生。

“两个AI模型对话围绕数学的三角学展开,而这些内容都是AI生成的。”Gomez说,“这一切对话都只是AI模型的想象。然后,人类会查看这段对话,如果模型说错了什么,人工就会介入并纠正。这就是我们正在做的事。”

微软研究院最近的两项研究表明,合成数据可用于训练比OpenAI的GPT-4或谷歌的PaLM-2等LLM更小、更简单的模型。

第一项研究是由GPT-4生成的短篇小说的综合数据集,其中只包含一个典型的四岁孩子可能理解的单词。这个数据集被称为TinyStories,然后被用来训练一个简单的LLM,它能够生成流畅且语法正确的故事。

另一项研究为,AI可以通过教科书和练习形式,合成Python代码进行训练。研究发现,这些代码在编码任务上表现相对较好。

在合成数据这个新兴市场中,Scale AI和Gretel.ai等初创企业如雨后春笋般涌现,提供合成数据服务。Gretel由美国国家安全局和中央情报局的前情报分析师创立,曾与谷歌、汇丰银行、Riot Games和Illumina等公司合作,通过合成增强现有数据,帮助AI企业训练更好的AI模型。

二、合成数据的潜在风险不容忽视

Gretel首席执行官Ali Golshan表示,合成数据可以保护数据中的个人隐私,同时仍然保持数据统计的完整性。

他补充说,经调整后的合成数据还可以消除现有数据中的偏见和不平衡。“创建对冲基金的AI模型可以用于观察黑天鹅事件(指难以预测,但突然发生时会引起连锁反应、带来巨大负面影响的小概率事件,它存在于自然、经济、政治等各个领域)。比如说,创建一百种变体来观察我们的模型是否崩溃,”Golshan说。对于银行来说,欺诈行为通常只占总数据的百分之一以下,Gretel的软件可以生成数千个有关欺诈的边缘案例场景,并用于训练AI模型。

但是,合成数据的批评者指出,并非所有合成数据都会使用真实反映或改进现实世界的数据。随着AI生成的文本和图像充斥互联网,AI公司不断在网络上抓取训练数据,最终很可能走向重复抓取自己模型的原始版本生成的原始数据——这种现象被称为“内部测试(dog-fooding)”。

牛津大学和剑桥大学等大学近期的研究也对此发出警告。研究称,根据AI模型的原始输出(可能包含虚假或捏造)来训练AI模型,随着时间的推移,这种方式有可能会破坏和降低技术性能,从而导致“不可逆转的缺陷”。

Golshan同意这种观点,他也认为使用不良合成数据进行训练可能会阻碍AI模型迭代。“网络上充斥着越来越多AI生成的内容。我也认为随着时间的推移,这将导致生成式内容退化,因为LLM只是不断重复旧有的知识,没有任何新的见解。”

尽管存在上述风险,Cohere的Gomez等AI研究人员表示,合成数据也有可能加速超级智能AI系统的发展。

Gomez说:“我们真正想要的是能够自学的模型。你希望他们能够做到提出自己的问题,发现新的真理并创造自己的知识。这才是梦想。”

结语:AI企业是否将大规模应用合成数据仍有待观察

目前AI企业对AI模型的训练主要基于通用数据。在现有状况下,如果AI企业意图寻求新的数据训练AI模型,可选择的方式包括专业领域数据库和合成数据等。但是,专业领域的数据鉴于专业价值及个人隐私等因素,难以用于AI模型训练。所以,部分AI企业会选择成本相对较低的合成数据训练新的AI模型。

但在合成数据的使用过程中,有两点值得保持警惕:一为数据关联的个人隐私问题,合成数据首先应确保数据合法;二为数据的反复使用,即“内部测试(dog-fooding)”。如果反复喂入AI模型的数据并未发生实质性迭代,AI模型的功能或可能出现缺陷等性能问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
纳指尾盘跌幅扩大至5%

纳指尾盘跌幅扩大至5%

财联社
2026-11-21 04:48:07
哈登24+5!骑士60-59步行者,看数据:你就是头号功臣!

哈登24+5!骑士60-59步行者,看数据:你就是头号功臣!

运筹帷幄的篮球
2026-11-21 09:42:00
上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

上海爷叔铁了心娶小35岁女子,三次将子女告上法庭!家人:她从事过特殊行业,动机不纯;爷叔:她对我一片真心,我同情她

大风新闻
2026-11-21 09:12:09
紧迫、重要、根本,日本方面、高市早苗能听明白这三点吗?

紧迫、重要、根本,日本方面、高市早苗能听明白这三点吗?

新民周刊
2026-11-21 08:21:53
特朗普:中俄美元首会晤“史无前例”“意义重大”

特朗普:中俄美元首会晤“史无前例”“意义重大”

新华社
2026-11-21 05:00:06
天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

天呐!差点没认出来,电视里那么漂亮女神,原来跟普通人也没两样

情感大头说说
2026-11-20 04:49:19
知情人士:美方要求乌明年1月初与俄达成和平协议

知情人士:美方要求乌明年1月初与俄达成和平协议

界面新闻
2026-11-21 08:00:30
美股狂泻,原因找到了!Anthropic上市即标志AI行情终结?彭博惊人言论

美股狂泻,原因找到了!Anthropic上市即标志AI行情终结?彭博惊人言论

金石随笔
2026-11-21 01:33:32
美媒晒数据挺唐斯成东部第一中锋!1点创队史新高 拒给2.76亿成诱因

美媒晒数据挺唐斯成东部第一中锋!1点创队史新高 拒给2.76亿成诱因

颜小白的篮球梦
2026-11-21 07:42:05
央视曝光!成本10元卖30多元,暴利达100多万元,网友:智商税

央视曝光!成本10元卖30多元,暴利达100多万元,网友:智商税

品牌观察官
2026-11-20 14:44:56
余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

余承东紧急纠正发布会不当言论:现在还是L2 开车不能睡觉!

快科技
2026-11-20 18:40:09
0-5!中国U17男足队长回应,西班牙足协官方表态,韩国媒体发声

0-5!中国U17男足队长回应,西班牙足协官方表态,韩国媒体发声

张辱卤说体育
2026-11-21 05:59:05
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
国际法院裁定缅甸犯有“种族灭绝罪”,中国籍法官薛捍勤投票支持了缅甸,外交部:薛捍勤法官根据其专业知识发表意见,是其履职尽责的表现

国际法院裁定缅甸犯有“种族灭绝罪”,中国籍法官薛捍勤投票支持了缅甸,外交部:薛捍勤法官根据其专业知识发表意见,是其履职尽责的表现

政知新媒体
2026-11-20 15:43:32
七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

珠三角港
2026-11-20 10:44:17
AI交易崩跌踩踏!金银铜全线重挫,全周期金跌超9%、纽铜跌近10%,原油三周大跌两成

AI交易崩跌踩踏!金银铜全线重挫,全周期金跌超9%、纽铜跌近10%,原油三周大跌两成

华尔街见闻官方
2026-11-21 06:34:34
中美俄发布和平宣言, 里面有句公道话,是否对杜特尔特产生影响?

中美俄发布和平宣言, 里面有句公道话,是否对杜特尔特产生影响?

墨兰史书
2026-11-21 03:20:04
普林斯顿大学华人女博士被ICE逮捕!刚参加完神经科学学会年会

普林斯顿大学华人女博士被ICE逮捕!刚参加完神经科学学会年会

大洛杉矶LA
2026-11-21 03:45:31
高市早苗对台湾问题躲闪作答,日媒担忧:关系改善仍遥遥无期

高市早苗对台湾问题躲闪作答,日媒担忧:关系改善仍遥遥无期

环球网资讯
2026-11-21 07:06:48
数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

数学界炸了!一天两方称证出“黎曼猜想”:一份借助Claude,一份纯人工

可达鸭面面观
2026-11-21 08:21:38
2026-11-21 10:28:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12990文章数 117196关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

牛弹琴:美媒发文"追杀"黄仁勋 细节绝对拉满触目惊心

头条要闻

牛弹琴:美媒发文"追杀"黄仁勋 细节绝对拉满触目惊心

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

房产
手机
亲子
健康
教育

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

手机要闻

华为星芒O1 Pro定价5499元起引争议,总经理刘赫回应称“我们选择创新优先”

亲子要闻

人类幼崽对警察的恐惧!网友:早知道你是警察我就不让你当我爸爸

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

校长要守住的3条办学底线

无障碍浏览 进入关怀版