网易首页 > 网易号 > 正文 申请入驻

小米声音理解大模型 MiDashengLM-7B 发布并全量开源

0
分享至

IT之家 8 月 4 日消息,小米自研声音理解大模型 MiDashengLM-7B 今日正式发布,并全量开源。

据小米官方介绍,MiDashengLM-7B 速度精度上实现双突破:单样本首 Token 延迟仅为同类模型 1/4、同显存下并发超 20 倍,在 22 个公开评测集上刷新多模态大模型最好成绩(SOTA)。

MiDashengLM-7B 基于 Xiaomi Dasheng 作为音频编码器和 Qwen2.5-Omni-7B Thinker 作为自回归解码器,通过创新的通用音频描述训练策略,实现了对语音、环境声音和音乐的统一理解。

2024 年,小米发布的 Xiaomi Dasheng 声音基座模型在国际上首次突破 AudioSet 50+ mAP,在 HEAR Benchmark 环境声、语音、音乐三大领域建立领先优势并保持至今。

Xiaomi Dasheng 在小米的智能家居和汽车座舱等场景有超过 30 项落地应用。行业首发的车外唤醒防御、手机音箱全天候监控异常声音、“打个响指”环境音关联 IoT 控制能力,以及小米 YU7 上搭载的增强哨兵模式划车检测等,背后都有 Xiaomi Dasheng 作为核心算法的赋能。

MiDashengLM 的训练数据由 100% 的公开数据构成,模型以宽松的 Apache License 2.0 发布,同时支持学术和商业应用。

小米表示,不同于 Qwen2.5-Omni 等未公开训练数据细节的模型,MiDashengLM 完整公开了 77 个数据源的详细配比,技术报告中详细介绍了从音频编码器预训练到指令微调的全流程。

作为小米“人车家全生态”战略的关键技术,MiDashengLM 通过统一理解语音、环境声与音乐的跨领域能力,不仅能听懂用户周围发生了什么事情,还能分析发现这些事情的隐藏含义,提高用户场景理解的泛化性。

基于 MiDashengLM 的模型通过自然语言和用户交互,为用户提更人性化的沟通和反馈,比如在用户练习唱歌或练习外语时提供发音反馈并制定针对性提升方案,又比如在用户驾驶车辆时实时对用户关于环境声音的提问做出解答。

MiDashengLM 以 Xiaomi Dasheng 音频编码器为核心组件,是 Xiaomi Dasheng 系列模型的重要升级。在当前版本的基础上,小米已着手对该模型做计算效率的进一步升级,寻求终端设备上可离线部署,并完善基于用户自然语言提示的声音编辑等更全面的功能。

IT之家附 MiDashengLM 开源地址:

  • GitHub 主页:https://github.com/xiaomi-research/dasheng-lm
  • 技术报告:https://github.com/xiaomi-research/dasheng-lm/tree/main/technical_report
  • 模型参数(Hugging Face):https://huggingface.co/mispeech/midashenglm-7b
  • 模型参数(魔搭社区):https://modelscope.cn/models/midasheng/midashenglm-7b
  • 网页Demohttps://xiaomi-research.github.io/dasheng-lm
  • 交互Demohttps://huggingface.co/spaces/mispeech/MiDashengLM

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

横店迎来三十年最为惨烈的一次断臂求生!130多座摄影棚,合计50万平方米,全部免租金向剧组开放

扶苏聊历史
2026-10-28 15:47:11
长征立下大功的张闻天、王稼祥,为何后来淡出中央核心?

长征立下大功的张闻天、王稼祥,为何后来淡出中央核心?

优趣纪史记
2026-11-05 08:13:21
陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

陈羽凡现状:低调生活,50岁胖到认不出,17岁儿子1米8长得像妈

三公子娱乐丫
2025-05-17 17:59:45
黄乐是怎么被盯上的?从一箱没拆封的英伟达芯片说起

黄乐是怎么被盯上的?从一箱没拆封的英伟达芯片说起

迷世书童
2026-11-09 15:19:32
曹格支持儿子Joe早点结婚:“我很喜欢他女朋友,我觉得他女朋友很棒”

曹格支持儿子Joe早点结婚:“我很喜欢他女朋友,我觉得他女朋友很棒”

韩小娱
2026-11-15 09:55:31
李晓挺:还有90分钟比赛,我们全队不会放弃,一切皆有可能

李晓挺:还有90分钟比赛,我们全队不会放弃,一切皆有可能

懂球帝
2026-11-16 06:12:17
女子裸上身做SPA,推门进来的是男技师,店长还嘲讽“人家20岁小伙看不上你这个大妈”

女子裸上身做SPA,推门进来的是男技师,店长还嘲讽“人家20岁小伙看不上你这个大妈”

一丝不苟的法律人
2026-11-16 11:43:06
方博夺冠的背后,是WTT的不合理!冠军奖金还不够机票钱,难怪樊振东要退出

方博夺冠的背后,是WTT的不合理!冠军奖金还不够机票钱,难怪樊振东要退出

十点街球体育
2026-11-16 17:44:57
黄河不黄了?黄河水变清澈,专家曾称:这不是奇迹,而是警钟

黄河不黄了?黄河水变清澈,专家曾称:这不是奇迹,而是警钟

兴趣知识
2026-11-13 16:00:51
人老了真的没什么意思,我爸今年75岁,独居在家每天就做三件事

人老了真的没什么意思,我爸今年75岁,独居在家每天就做三件事

千秋文化
2026-06-13 19:41:34
泰山主帅再迎好消息!61岁外国教头亲自出马,中国球迷热烈欢迎

泰山主帅再迎好消息!61岁外国教头亲自出马,中国球迷热烈欢迎

流云随风去远方
2026-11-16 20:50:55
民主党拟将特朗普全体内阁及共和党2028年总统候选人列为调查目标

民主党拟将特朗普全体内阁及共和党2028年总统候选人列为调查目标

阿尔卑斯瞭望
2026-11-16 18:47:41
“糖化血红蛋白”超过这个值,血糖就太高了,糖尿病人要重视

“糖化血红蛋白”超过这个值,血糖就太高了,糖尿病人要重视

观星赏月
2026-11-14 15:35:49
人体最佳睡觉时间表(建议永久收藏)

人体最佳睡觉时间表(建议永久收藏)

神奇故事
2026-11-14 23:05:28
《谷雨》大结局:强礼彪站错队,方知周海洋对谭宝仪的处置多残忍

《谷雨》大结局:强礼彪站错队,方知周海洋对谭宝仪的处置多残忍

东方不败然多多
2026-11-16 20:09:22
麦克阿瑟到晚年总算说了句大实话:当年朝鲜那一仗中国要是没打,如今整个亚洲的大格局,恐怕早就不知变成啥样了

麦克阿瑟到晚年总算说了句大实话:当年朝鲜那一仗中国要是没打,如今整个亚洲的大格局,恐怕早就不知变成啥样了

唠叨说历史
2026-11-16 09:29:47
U17世界杯:U17国少1-2洪都拉斯,对手上届3连败,斐济连输亚洲队

U17世界杯:U17国少1-2洪都拉斯,对手上届3连败,斐济连输亚洲队

徐扙老表哥
2026-11-16 12:42:49
王宝强带女友参加婚礼,冯清苹果肌肿胀明显,被吐槽医美过度!

王宝强带女友参加婚礼,冯清苹果肌肿胀明显,被吐槽医美过度!

娱乐团长
2026-07-07 11:00:01
男子没新鲜感了,情妇不肯分手还索要钱财,车震完男子把她杀了

男子没新鲜感了,情妇不肯分手还索要钱财,车震完男子把她杀了

四海神君
2026-11-16 20:30:04
我国存款最安全的3家银行,永远不会倒闭,老百姓放心存!

我国存款最安全的3家银行,永远不会倒闭,老百姓放心存!

白浅娱乐聊
2026-11-14 05:27:13
2026-11-16 22:07:00
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379597文章数 607735关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

头条要闻

80岁老人结束60多年包办婚姻:像捉鸡仔一样捉在一起

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

官宣离婚不到1月,李小冉进医院

财经要闻

10万人逼宫英伟达 黄仁勋要复职了?

汽车要闻

标配激光雷达 极狐阿尔法S5上市 限时11.58万起

态度原创

家居
数码
亲子
房产
健康

家居要闻

2026建博会(广州) 公装联探展交流活动

数码要闻

9.2mm同档最薄小方表!OPPO Watch 5发布:899元起

亲子要闻

直通部委|我国中小学幼儿园将聘任健康副校长 10月一线城市房价环比总体上涨

房产要闻

6.6亿!海口卖地!

情绪真能让健康人"伤心至死"?

无障碍浏览 进入关怀版