网易首页 > 网易号 > 正文 申请入驻

已删库!硅谷团队抄袭清华系大模型?面壁智能李大海独家回应:套壳现象难规避

0
分享至

本文来源:时代周报 作者:申谨睿

大模型厂商你方唱罢我登场,“套壳”之争风云再起——神仙打架的战场又出现了软饭硬吃的戏码。

近日,一个来自斯坦福的研究团队发布了一款名为Llama3-V的多模态大模型,声称只要500美元(约合3650元)训练,就能在多个基准测试中实现与GPT4-V、Gemini Ultra、Claude Opus一较高下的性能。

Llama3-V团队中的两位作者Siddharth Sharma与Aksh Garg是斯坦福大学计算机系的本科生,曾发表过数篇机器学习相关的论文。因两人具备名校背景,且曾在特斯拉、SpaceX等大厂任职,Llama3-V一经发布迅速蹿红网络,还冲上了HuggingFace趋势榜首页(机器学习领域影响力平台)。

然而Llama3-V迅速跌落神坛。有网友指出,该模型跟“清华系”大模型创业企业面壁智能5月发布的MiniCPM-Llama3-V 2.5模型有不少相似处,模型结构、代码、配置文件堪称雷同,只是变量名称做了更改。

具体来看,Llama3-V的代码是对MiniCPM-Llama3-V 2.5的重新格式化,其模型行为检查点的噪声版本相似;Llama3-V使用了MiniCPM-Llama3-V 2.5的分词器(tokenizer),并且MiniCPM-Llama3-V 2.5定义的特殊符号也出现在了Llama3-V中;Llama3-V提供的代码无法与Hugging Face的检查点兼容,而将从HuggingFace下载的Llama3-V模型权重中的变量名改成MiniCPM-Llama3-V 2.5的,模型可以用MiniCPM-V代码成功运行。

此外,在未公开的实验性特征上,Llama3-V与MiniCPM-Llama3-V 2.5显示出了相似的推理结果。

时代周报记者注意到,6月3日上午,面壁智能CEO李大海在朋友圈发文称,团队核实发现,Llama3V展现出和小钢炮一样的清华简识别能力,连做错的样例都一模一样,而这一训练数据尚未对外公开。

他表示,清华简的识别能力是团队耗时数月,从卷帙浩繁的清华简中一个字一个字扫描下来,并逐一进行数据标注从而融合进模型中的。在对两个模型进行高斯扰动验证后发现,它们在正确和错误表现方面都高度相似。

时代周报记者就如何规避相关现象询问李大海,他称,(想规避)应该很难。“这主要是个学术道德问题。”

对于质疑,Llama3-V项目的作者与外界进行一番辩驳后,删除了质疑者在Llama3-V上提交的质疑他们偷窃的问题,并将Llama3-V项目从开源网站中删除,且发文致歉。Siddharth Sharma与Aksh Garg解释道,他们并未参与代码工作,所有代码都是毕业于南加州大学的Mustafa Aljadery负责的,而他一直没交出训练代码。

业内关于“套壳”的争议由来已久。有人认为,开源就该被充分利用;有人则表示,闭源才是自主研发,参考开源就是套壳。

实际上,如今所有大模型都源于2017年谷歌大脑团队发布的Transformer神经网络架构,这些包含模型架构和算法的设计决定了模型如何处理输入数据并生成输出。在此基础上,厂商在大规模的数据上对大模型进行预训练,来提高模型的泛化能力,加速后续的学习任务推进。因神经网络架构和预训练这两项工作打造难度高、投入金额大、耗费数据量多,往往被称作大模型的内核。

而大模型的“壳”一般指调优。调优是指对已经预训练过的模型进行进一步的训练。这个过程通常是有监督的,需要使用标注好的数据来指导模型的学习。调优的目标是调整模型参数,使其更好地适应特定任务的需求。

“‘套壳’常指在调优阶段通过更改变量名称,在开源成果基础上调适出更加符合某些场景的大模型。”AI分析师张毅向时代周报记者称。

前语雀设计师、现AI助手Monica联合创始人Suki曾分享了“套壳”的四个阶段:一是直接引用OpenAI接口,ChatGPT 回答什么,套壳产品回答什么。卷UI、形态、成本。

二是构建Prompt。如大模型可以类比为研发,Prompt可以类比为需求文档,需求文档越清晰,研发实现得越精准。套壳产品可以积累自己的优质Prompt,卷Prompt质量,卷 Prompt分发。

三是把特定数据集进行向量化,在部分场景构建自己的向量数据库,以达到可以回答 ChatGPT 回答不出来的问题。比如垂直领域、私人数据等。Embedding可以将段落文本编码成固定维度的向量,从而便于进行语义相似度的比较,相较于Prompt可以进行更精准的检索从而获得更专业的回答。

四是微调 Fine-Tuning。使用优质的问答数据进行二次训练,让模型更匹配对特定任务的理解。相较于 Embedding 和 Prompt 两者需要消耗大量的 Token,微调是训练大模型本身,消耗的 token 更少,响应速度也更快。

“实际上,套壳是个相对正常的模式,针对某一垂直领域频繁进行调优司空见惯,该主题的研究论文也非常多。而抄袭框架和预训练数据的情况,一般得叫‘借壳’了。”张毅告诉时代周报记者,正因为大模型研发门槛高,入局者才更应审慎对待自研。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

争议!19岁亚马尔转发辱华视频,遭质疑删帖,网友:第2个姆巴佩

大秦壁虎白话体育
2026-11-16 08:27:29
蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

蔡英文任命的台军前“防长”冯世宽,公开与台独分子划清界限:

果妈聊娱乐
2026-11-16 11:34:10
谷歌工程师杀妻案嫌疑人提民事诉讼,追讨近20万美元被盗资产;两人为清华大学2018届毕业生,均曾在谷歌任职

谷歌工程师杀妻案嫌疑人提民事诉讼,追讨近20万美元被盗资产;两人为清华大学2018届毕业生,均曾在谷歌任职

扬子晚报
2026-11-16 14:27:49
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
亚马尔涉辱华!本人+巴萨均未回应 官媒怒批:不应该以沉默回避

亚马尔涉辱华!本人+巴萨均未回应 官媒怒批:不应该以沉默回避

念洲
2026-11-16 16:37:23
批评黄仁勋最狠的人身份扒出!不是白人黑人,不是印度人,是以华裔女记者为主的《纽约时报》

批评黄仁勋最狠的人身份扒出!不是白人黑人,不是印度人,是以华裔女记者为主的《纽约时报》

小徐讲八卦
2026-11-16 09:27:43
突然,直线拉升!英伟达,大消息!

突然,直线拉升!英伟达,大消息!

证券时报
2026-11-16 07:41:05
特朗普:我即将访问中国,期待参加中俄美元首会晤

特朗普:我即将访问中国,期待参加中俄美元首会晤

极目新闻
2026-11-16 15:10:23
黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

黄仁勋老婆被曝出轨,街头和帅气男子热吻,两人互不干扰

江山挥笔
2026-11-16 15:20:59
新华社快讯:习近平将同俄罗斯总统普京、美国总统特朗普举行中俄美元首会晤

新华社快讯:习近平将同俄罗斯总统普京、美国总统特朗普举行中俄美元首会晤

新华社
2026-11-16 09:01:02
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

APEC会议首位外国元首抵达深圳,中国女保镖贴身保护;出发前与中国游客热情合影,网友们花式点赞

极目新闻
2026-11-16 17:23:11
山东泰山官宣新帅!斯托伊科维奇重返中超,曾执教广州富力4年

山东泰山官宣新帅!斯托伊科维奇重返中超,曾执教广州富力4年

奥拜尔
2026-11-16 12:29:18
收视率几乎为0,县城电视台为什么还没关?

收视率几乎为0,县城电视台为什么还没关?

罗sir财话
2026-11-15 12:56:18
山东13岁少年被控杀害5岁邻居案将开庭:最高检核准追诉,被害人父亲望顶格判处

山东13岁少年被控杀害5岁邻居案将开庭:最高检核准追诉,被害人父亲望顶格判处

澎湃新闻
2026-11-16 16:38:26
从前从前,有个人卖卡很久

从前从前,有个人卖卡很久

风向观察
2026-11-15 14:32:23
高市早苗参会行程来了!四天跑两国,深圳只是参会,会开完就走

高市早苗参会行程来了!四天跑两国,深圳只是参会,会开完就走

123斯蒂芬
2026-11-16 07:07:34
突然直线拉升!英伟达爆大消息,黄仁勋或回归掌舵

突然直线拉升!英伟达爆大消息,黄仁勋或回归掌舵

魏家东
2026-11-16 13:28:59
前省委常委掌掴副市长,副市长不堪受辱辞官!

前省委常委掌掴副市长,副市长不堪受辱辞官!

兵叔评说
2026-11-16 14:24:20
死刑布告重出江湖!荆门一男子预谋报复,入户行凶致人死亡,一审死缓,抗诉后改判死刑,已于10月21日执行

死刑布告重出江湖!荆门一男子预谋报复,入户行凶致人死亡,一审死缓,抗诉后改判死刑,已于10月21日执行

火山詩话
2026-11-16 06:23:18
2026-11-16 18:36:49
时代周报 incentive-icons
时代周报
影响有影响力的人
43252文章数 522101关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

APEC会议首位外国元首抵达深圳 中国女保镖贴身保护

头条要闻

APEC会议首位外国元首抵达深圳 中国女保镖贴身保护

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

日产终于开窍了!全新NV200 PHEV才是露营党的梦中情车?

态度原创

亲子
健康
教育
时尚
军事航空

亲子要闻

剖腹产瘢痕增生,居家护理 + 4 个舒缓动作!

情绪真能让健康人"伤心至死"?

教育要闻

买1赠1=打几折?难不倒学霸

秋天找到一些固定的穿衣公式,用针织衫搭配牛仔裤,减龄舒适

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版