网易首页 > 网易号 > 正文 申请入驻

后摩智能申请大语言模型的后训练量化方法及系统专利,改善低比特量化下的级联误差传递稳定性与分布一致性

0
分享至

国家知识产权局信息显示,后摩智能科技股份有限公司申请一项名为“大语言模型的后训练量化方法及系统”的专利,公开号CN122819343A,申请日期为2026年7月。

专利摘要显示,本申请涉及人工智能模型压缩技术领域,公开了一种大语言模型的后训练量化方法及系统。该方法逐Transformer块执行量化,并在级联量化输入下缓存浮点隐状态输出;对中间块,基于量化与浮点隐状态输出的残差计算hidden空间对齐损失,并结合残差分布在均方误差损失与Huber损失之间自适应选择;对最后一个块,经最终归一化层与词表投影头映射为概率分布后,按浮点概率降序取头部频带、聚合尾桶并重归一化构造band分布,于band单纯形上计算分布对齐损失。由此使中间层对齐与末层分布对齐相互配合,改善低比特量化下的级联误差传递稳定性与分布一致性。

天眼查资料显示,后摩智能科技股份有限公司,成立于2020年,位于北京市,是一家以从事软件和信息技术服务业为主的企业。企业注册资本2362.6942万人民币。通过天眼查大数据分析,后摩智能科技股份有限公司共对外投资了6家企业,财产线索方面有商标信息63条,专利信息128条,此外企业还拥有行政许可13个。

声明:市场有风险,投资需谨慎。本文为AI基于第三方数据生成,仅供参考,不构成个人投资建议。

本文源自:市场资讯

作者:情报员

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
就在刚刚,日本民众遗憾举办亚运会:应由财力充足或有未来潜力的国家承办

就在刚刚,日本民众遗憾举办亚运会:应由财力充足或有未来潜力的国家承办

锐评利物浦
2026-09-30 18:58:37
养老金连涨21年,但残酷真相:涨幅彻底到头了

养老金连涨21年,但残酷真相:涨幅彻底到头了

流苏晚晴
2026-09-29 19:00:30
人大代表建议:把机关企事业单位工龄满30年的带薪休假延长到20天

人大代表建议:把机关企事业单位工龄满30年的带薪休假延长到20天

职场资深秘书
2026-09-30 12:25:34
联大现场交锋3打1,日本代表被怼到再次答辩:这本旧账,越撕越大了

联大现场交锋3打1,日本代表被怼到再次答辩:这本旧账,越撕越大了

浯江孤舟
2026-09-30 10:08:18
12亿造的世界最高佛,如今连水费都交不起!门票从199元跌到免费

12亿造的世界最高佛,如今连水费都交不起!门票从199元跌到免费

抽象派大师
2026-09-29 01:16:24
此刻!天津已堵成鸳鸯锅了

此刻!天津已堵成鸳鸯锅了

天津人
2026-09-30 15:04:10
几种降压药安全性排名!最安全的竟是它,危害最大的需警惕!

几种降压药安全性排名!最安全的竟是它,危害最大的需警惕!

健康之光
2026-09-30 13:01:37
陈妤颉决赛2次替换朱俊颖!央视解说确认:接力只跑预赛没有奖牌

陈妤颉决赛2次替换朱俊颖!央视解说确认:接力只跑预赛没有奖牌

球场没跑道
2026-09-29 23:19:06
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
财政部确认了:10月1日起,我国将对居民购房实施贷款贴息,聚焦首套刚需,单户所购住房建筑面积不超过120平方米、购房价格不超过150万元

财政部确认了:10月1日起,我国将对居民购房实施贷款贴息,聚焦首套刚需,单户所购住房建筑面积不超过120平方米、购房价格不超过150万元

吉刻新闻
2026-09-29 20:35:46
中央批准,王云鹏履新职

中央批准,王云鹏履新职

新京报
2026-09-30 11:00:07
9月30日,养老金调整通知没公布,但人社部却传来了一件大事

9月30日,养老金调整通知没公布,但人社部却传来了一件大事

社保小达人
2026-09-30 11:38:15
亚运夺冠脱衣出圈!蒋振邦8块腹肌,现场日本观众齐声欢呼

亚运夺冠脱衣出圈!蒋振邦8块腹肌,现场日本观众齐声欢呼

涵有话说
2026-09-30 09:21:53
已相继发现11具女性尸体,多数人曾遭严重性侵,南非总统发声,宣布4点措施:查明全国未决的谋杀、强奸和袭击妇女案,90天内制定调查计划

已相继发现11具女性尸体,多数人曾遭严重性侵,南非总统发声,宣布4点措施:查明全国未决的谋杀、强奸和袭击妇女案,90天内制定调查计划

南方都市报
2026-09-30 09:32:05
陪练大批逃离:阶级固化,上升无望,中国乒乓球的死局

陪练大批逃离:阶级固化,上升无望,中国乒乓球的死局

中场阴谋家
2026-09-30 14:21:23
11000mAh 仅 3999 元,最便宜国产旗舰来了!

11000mAh 仅 3999 元,最便宜国产旗舰来了!

果粉俱乐部
2026-09-29 13:55:06
大批美国游客涌入中国,回国后坦言:客观来说,中国比美国强多了

大批美国游客涌入中国,回国后坦言:客观来说,中国比美国强多了

兴趣知识
2026-09-30 05:03:17
海航惊现洋娃娃空姐,太漂亮了

海航惊现洋娃娃空姐,太漂亮了

微微热评
2026-09-30 08:13:45
万万没想到这些正史竟然比野史还要精彩!网友:一看一个不吱声

万万没想到这些正史竟然比野史还要精彩!网友:一看一个不吱声

另子维爱读史
2026-09-30 15:50:59
四平溃败东北濒临崩盘,无人敢战之际,却被闲置时的陈光一战翻盘

四平溃败东北濒临崩盘,无人敢战之际,却被闲置时的陈光一战翻盘

纪史行者
2026-09-27 06:35:06
2026-09-30 20:11:00
金融界 incentive-icons
金融界
投资者信赖的财经金融门户网站
10258025文章数 546995关注度
往期回顾 全部

科技要闻

OpenAI凌晨大上新!新助手dots迎战Muse

头条要闻

男子花190万拍下别墅 成交后发现门被拆走窗被铁皮封住

头条要闻

男子花190万拍下别墅 成交后发现门被拆走窗被铁皮封住

体育要闻

30天30队·火箭:乌度卡的控制欲

娱乐要闻

胡歌现身游本昌遗体告别仪式

财经要闻

“杭州六小龙”迎来价值重估

汽车要闻

燃油车的最佳平替 长城大狗HEV简单好开更经济

态度原创

时尚
本地
数码
房产
亲子

网红超长蛋挞,炸出一堆“人上人”

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

数码要闻

Marshall发布Bromley 150派对音箱:售价3999元

房产要闻

自贸启新境,安居在海口!2026 海口好房子金秋购房节盛大启幕

亲子要闻

宝蓝不肯刷牙,宝蓝爸爸变身成皮卡丘监督宝蓝刷牙洗脸~

无障碍浏览 进入关怀版