网易首页 > 网易号 > 正文 申请入驻

VeRA: 性能相当,但参数却比LoRA少10倍

0
分享至

2022年的LoRA提高了微调效率,它在模型的顶部添加低秩(即小)张量进行微调。模型的参数被冻结。只有添加的张量的参数是可训练的。

与标准微调相比,它大大减少了可训练参数的数量。例如,对于Llama 27b, LoRA通常训练400万到5000万个参数,这比标准微调则训练70亿个参数药效的多。还可以使用LoRA来微调量化模型,例如,使用QLoRA:

虽然LoRA可训练参数的数量可能比模型参数小的多。但它随着张量(在LoRA中通常表示为r)的秩和目标模块的数量而增加。如果我们想要以大秩r(假设大于64)和模型的所有模块为目标(达到最佳性能),那么我们可能仍然需要训练数亿个参数。

本周又发布了VeRA,以进一步减少LoRA可训练参数的数量。

VeRA: Vector-based Random Matrix Adaptation

VeRA在LoRA冻结的低秩张量上添加可训练向量,只训练添加的向量。论文中显示的大多数实验中,VeRA训练的参数比原始LoRA少10倍。

但是原始的低秩张量(上图右侧中的A和B)呢?他们是如何训练或初始化的?

A和B随机初始化,然后冻结。这样它们虽然看起来像两个无用的张量我们可以在这个框架中去掉它们,但实际上,它们仍然是必不可少的。即使是随机张量也可以用于训练。论文的第2节,作者通过列举以前的论文,从之前的工作中得出结论:

作者最后也表示这些论文为冻结随机矩阵的应用创造了令人信服的案例。可以为VeRA提供理论和经验基础。

模型指标

GLUE评分

E2E

消融研究

总结

作为新的一种微调方法,VeRA显著减少了可训练参数的数量,而精度没有损失。与LoRA相比参数减少了10倍
在GLUE基准测试中,robertta large的性能相同,但在GPT-2 medium的E2E基准测试中,性能降低了30%,说明这种方法特别适合于需要频繁交换大量微调模型的场景,比如针对个人用户个性化的基于云的人工智能服务。由于缩放向量尺寸小,可以将许多版本驻留在单个GPU的有限内存中,从而大大提高了服务效率,并消除了将特定模型加载到内存中的瓶颈。

VeRA: Vector-based Random Matrix Adaptation

https://avoid.overfit.cn/post/0c18ad6b818c4e11ae5c54825ef4857a

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
央视曝光校园举报乱象:有家长问“能否保证新老师不怀孕”

央视曝光校园举报乱象:有家长问“能否保证新老师不怀孕”

澎湃新闻
2026-11-15 10:26:02
詹姆斯助攻超基德升第三!76人两连胜擒步行者 马克西布朗合砍58分

詹姆斯助攻超基德升第三!76人两连胜擒步行者 马克西布朗合砍58分

罗说NBA
2026-11-16 04:38:13
西部排名又变了:马刺创NBA奇迹,湖人剑指第一,勇士掉到第九

西部排名又变了:马刺创NBA奇迹,湖人剑指第一,勇士掉到第九

篮球大视野
2026-11-16 13:31:47
火光冲天!乌军无人机袭击引发俄罗斯最大石化工厂火灾,该厂距离乌克兰1300km

火光冲天!乌军无人机袭击引发俄罗斯最大石化工厂火灾,该厂距离乌克兰1300km

军迷战情室
2026-11-15 23:26:53
侯耀华题字“认贼作父”,信息量挺大

侯耀华题字“认贼作父”,信息量挺大

大张的自留地
2026-11-16 10:13:35
局势彻底反转了!中方准时行动,俄也介入了,高市后路已被封,日本成不了军事强国,掀起舆论广泛热议

局势彻底反转了!中方准时行动,俄也介入了,高市后路已被封,日本成不了军事强国,掀起舆论广泛热议

民宿体验志
2026-11-15 19:41:13
“家长没钱,孩子才会沉迷手机”,一段高尔夫视频让人沉默了,中产晒孩子打高尔夫暗讽“沉迷手机是因为穷”

“家长没钱,孩子才会沉迷手机”,一段高尔夫视频让人沉默了,中产晒孩子打高尔夫暗讽“沉迷手机是因为穷”

蝴蝶花雨话教育
2026-11-14 00:05:16
中国的优势明显!哈佛教授提醒:不要高估中国,因为美国或已控制其命脉

中国的优势明显!哈佛教授提醒:不要高估中国,因为美国或已控制其命脉

海佑讲史
2026-11-16 08:10:38
10月国民经济运行总体平稳、向新向优

10月国民经济运行总体平稳、向新向优

新华社
2026-11-16 10:06:29
涉嫌严重违纪违法,龚先华接受审查调查

涉嫌严重违纪违法,龚先华接受审查调查

中国基金报
2026-11-16 13:36:52
美的集团盘中股价创历史新高

美的集团盘中股价创历史新高

证券时报
2026-11-16 09:56:04
中国“星链”走到商用前夜

中国“星链”走到商用前夜

经济观察报
2026-11-15 22:13:39
乌克兰媒体确认了:乌克兰总统泽连斯基明确表态,乌克兰不会放弃本国领土,乌克兰不会撤退、不会向俄罗斯出让土地

乌克兰媒体确认了:乌克兰总统泽连斯基明确表态,乌克兰不会放弃本国领土,乌克兰不会撤退、不会向俄罗斯出让土地

吉刻新闻
2026-11-15 08:10:56
莫泊桑《项链》:被语文课本教错了30年——这不是讽刺虚荣的寓言

莫泊桑《项链》:被语文课本教错了30年——这不是讽刺虚荣的寓言

王岗同学呀
2026-11-15 18:11:47
马来西亚男子拒替不认识2华女付餐费 华女发声:马来西亚是中国的

马来西亚男子拒替不认识2华女付餐费 华女发声:马来西亚是中国的

环球趣闻分享
2026-11-16 13:00:24
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
健身房悲剧!49岁高中校长跑步机上突然倒地猝死...

健身房悲剧!49岁高中校长跑步机上突然倒地猝死...

健身S叔
2026-11-16 13:29:13
勾引马斯克挺难的,正如他前妻所言:14个孩子的母亲都被他称为“生育机器”

勾引马斯克挺难的,正如他前妻所言:14个孩子的母亲都被他称为“生育机器”

照见古今
2026-11-12 14:48:00
画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

画面不堪入目,地下人奶交易乱象,成年人躺进怀里吃奶的灰色黑产

易玄
2026-09-12 10:24:46
1938年,戴笠突然亲临军统食堂,从一碗牛肉汤入手揪出了背后巨贪

1938年,戴笠突然亲临军统食堂,从一碗牛肉汤入手揪出了背后巨贪

野史日记
2026-11-15 16:25:08
2026-11-16 17:36:49
deephub incentive-icons
deephub
CV NLP和数据挖掘知识
2028文章数 1465关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

艺术
时尚
手机
游戏
本地

艺术要闻

漫天香氛,秋风醉人~杭州的秋天从不让人失望!13个地方,秒出大片!

“小棕裙”今年冬天爆火,这样穿时髦又松弛!

手机要闻

鞠婧祎代言 荣耀700系列四款高颜值配色公布:全系标配原生AI背屏

传《GTA6》主线约50个小时 全成就大约200个小时

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版