网易首页 > 网易号 > 正文 申请入驻

大模型要占你多少内存?这个神器一键测量,误差低至0.5MB|免费

0
分享至

明敏 发自 凹非寺
量子位 | 公众号 QbitAI

大模型训练推理要用多少内存?

打开这个网页一测便知,测量误差小至0.5MB。

比如模型bert-base-case Int8估计占用413.18 MB内存,实际占用为413.68MB相差0.5MB,误差仅有0.1%

操作也很简单,输入模型名称,选择数据类型即可。

这就是HuggingFace Space上的最新火起来工具——Model Memory Calculator,模型内存测量器,在网页端人人可体验。

要知道,跑大模型最头疼的问题莫过于:GPU内存够吗?

现在能先预估一波、误差很小,让不少人大呼“Great”!

实际推理内存建议多加20%

使用第一步,需要输入模型的名称。

目前支持搜索在HuggingFace Transformers库和TIMM库中的模型。

比如想要看GLM-6B的情况,可以输入“THUDM/chatglm-6b”。

不过有一些模型会存在限制,需要获取API token后才能开始计算,比如Llama-2-7b。

我们找了几个大模型实测,可以看到当模型规模达到百亿参数后,内存要求被直线拉高。

基础版的BERT还是对GPU相当友好滴。

而在实际推理过程,EleutherAI发现需要在预测数据基础上,预留20%的内存。具体举例如下:

作者小哥热衷开源项目

最后来介绍一下带来这个项目的小哥Zach Mueller

他本科毕业于西佛罗里达大学,主修软件设计与开发,热衷开源,在GitHub有1k粉丝。之前做过很多和Fast.ai框架有关的开源项目。

传送门:
https://huggingface.co/spaces/hf-accelerate/model-memory-usage

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
两个小段:购物车不是偷胖东来的,这是俺自个的车

两个小段:购物车不是偷胖东来的,这是俺自个的车

映射生活的身影
2025-02-15 14:53:38
安徽一阿姨的家火了,光一个大厅让无数人效仿,进门就被吸引住了

安徽一阿姨的家火了,光一个大厅让无数人效仿,进门就被吸引住了

时尚舒适家
2025-02-13 09:58:53
阿隆索:这可能是近年来对阵拜仁时药厂表现得最好的一场比赛

阿隆索:这可能是近年来对阵拜仁时药厂表现得最好的一场比赛

懂球帝
2025-02-16 05:26:02
家长群内开始抵制《哪吒2》三观不正误导小朋友,网友:莫名其妙

家长群内开始抵制《哪吒2》三观不正误导小朋友,网友:莫名其妙

二月侃史
2025-02-15 09:41:37
最新消息:黄国昌当选 蔡壁如惨败

最新消息:黄国昌当选 蔡壁如惨败

小鬼头体育
2025-02-15 21:11:58
韩媒:中国驻光州总领事馆已转达山东泰山方面致歉

韩媒:中国驻光州总领事馆已转达山东泰山方面致歉

懂球帝
2025-02-15 08:29:15
《哪吒2》北美票房启示录:美国影院不会歧视,市场只认上座率!

《哪吒2》北美票房启示录:美国影院不会歧视,市场只认上座率!

晓徙历史
2025-02-14 14:13:12
媒体人:斯卢茨基确实很想用刘诚宇,可国青备战期间一直都占着

媒体人:斯卢茨基确实很想用刘诚宇,可国青备战期间一直都占着

直播吧
2025-02-15 20:37:13
詹俊:瓜帅终于不再执着地面!焕然一新!皇马下周不会有意外吧?

詹俊:瓜帅终于不再执着地面!焕然一新!皇马下周不会有意外吧?

直播吧
2025-02-16 01:33:10
广东60多岁大爷,5年“染指”40多位女性,只因太了解女性心理

广东60多岁大爷,5年“染指”40多位女性,只因太了解女性心理

小月文史
2025-02-13 19:22:16
央视官方点赞上海双冠军!上海确定新小外援,身高1米98臂展2米13

央视官方点赞上海双冠军!上海确定新小外援,身高1米98臂展2米13

老吴说体育
2025-02-16 00:35:12
叙利亚U20主帅:我们本可以至少打平韩国,但这就是足球

叙利亚U20主帅:我们本可以至少打平韩国,但这就是足球

懂球帝
2025-02-15 17:59:28
足坛悲喜夜!新援戴帽,曼城4:0,皇马马竞齐齐爆冷,拜仁丑陋0:0

足坛悲喜夜!新援戴帽,曼城4:0,皇马马竞齐齐爆冷,拜仁丑陋0:0

阿超他的体育圈
2025-02-16 03:48:34
《哪吒2》网选真人版,沈腾入选了,真的太搞笑了!

《哪吒2》网选真人版,沈腾入选了,真的太搞笑了!

娱乐白名单
2025-02-14 23:59:01
小米SU7和华为智界R7高速追尾,网友:不是都有自动驾驶辅助?

小米SU7和华为智界R7高速追尾,网友:不是都有自动驾驶辅助?

火山诗话
2025-02-15 19:09:16
中英定下交往合作路线图

中英定下交往合作路线图

环球时报国际
2025-02-15 08:28:04
腐败行为贯穿职业生涯,被给予党纪处分后仍不知悔改!董国群被通报

腐败行为贯穿职业生涯,被给予党纪处分后仍不知悔改!董国群被通报

政知新媒体
2025-02-15 10:53:52
168票通过!尹锡悦支持者冲击中使馆,金建希戒严前一天曾发密信

168票通过!尹锡悦支持者冲击中使馆,金建希戒严前一天曾发密信

阿伧说事
2025-02-15 00:26:07
真实!巴特勒加盟7天后,格林彻底摊牌全联盟,并承认一个事实

真实!巴特勒加盟7天后,格林彻底摊牌全联盟,并承认一个事实

生活新鲜市
2025-02-16 03:03:01
4-0!2-0!曼城阿森纳拒绝冷门,阿尔特塔再变阵,瓜帅找到新答案

4-0!2-0!曼城阿森纳拒绝冷门,阿尔特塔再变阵,瓜帅找到新答案

夏侯看英超
2025-02-16 07:25:58
2025-02-16 07:35:00
量子位 incentive-icons
量子位
追踪人工智能动态
10041文章数 175957关注度
往期回顾 全部

科技要闻

速度又慢了?字节全员会反思DeepSeek影响

头条要闻

游客称因要求不强迫消费被导游骂"小人" 大巴停无人区

头条要闻

游客称因要求不强迫消费被导游骂"小人" 大巴停无人区

体育要闻

NBA这盘棋终于要下成了

娱乐要闻

台媒曝大S子女监护权归属 徐家接受事实

财经要闻

特朗普大裁员!又“炒”了近万人

汽车要闻

中高配搭激光雷达 宋L EV智驾版18.98万元起

态度原创

教育
艺术
旅游
数码
军事航空

教育要闻

奶奶心疼的说:别难过,我陪你一起想

艺术要闻

故宫珍藏的墨迹《十七帖》,比拓本更精良,这才是地道的魏晋写法

旅游要闻

当南方热衷造雪

数码要闻

小米家电又一项专利获奖 AI算法赋能空调智能运行

军事要闻

美国核武器机构暂停大规模裁员

无障碍浏览 进入关怀版