网易首页 > 网易号 > 正文 申请入驻

36氪首发 | 清华团队做出全球首个实时理解生理与情绪的基座模型,进一步布局硬件

0
分享至

作者 | 乔钰杰

编辑 | 袁斯来

硬氪获悉,北京微面科技有限公司(以下简称“微面科技”)近日完成数百万美元融资,由顺为资本投资。

微面科技聚焦自研人类感知理解基座模型,打造新一代人机交互范式,创始团队主要来自清华大学,具备大模型、人机交互、软件工程与医学复合背景。

当前,AI交互存在一个隐形天花板:极度依赖用户显性输入,缺乏对隐性非语言信息的感知。研究表明,人类表达中非语言信息高达55%,但现有的机器视觉只看见动作,却无法穿透皮肤洞察情绪波动或生理疲劳。

无论是物理世界的具身机器人还是数字世界的语言大模型,由于缺乏高精度多模态人类状态数据的输入,都只能做机械的被动响应,缺乏主动共情的闭环能力,无法执行更加泛化的任务。

针对这些痛点,微面科技基于 rPPG(远程光电容积描记)核心技术,全栈自研面部基座模型 FacePhys,可实时输出超过120项指标,覆盖心率、心率变异性(HRV)、呼吸率、面部动作单元、眼动特征、情绪维度及语音特征等多个方向。配合HRV情绪生理晴雨表绑定心率与急剧情绪,模型可识别假笑和压抑情绪,获取无法伪装的客观生理真相,为大模型提供生理情绪数据入口。

此前,光照变化、头部运动等噪声,一直是 rPPG 生理感知技术落地中的关键难题。为解决这一问题,微面科技构建了万人级临床标注数据集,包含数千万测量采样点,覆盖不同肤色及复杂场景,并在安贞医院临床实验中完成验证,将复杂生理状态建模能力融入基座模型。

进一步,微面科技还将“状态空间模型”引入生理信号建模。

创始人唐健凯介绍称,这一逻辑与大语言模型“预测下一个 Token”类似:大模型预测的是下一个词,而状态空间模型预测的是人体下一时刻的生理行为状态,从而持续追踪心跳、呼吸等生命体征的动态变化,“本质上,是把心跳建模成一个连续物理过程,而不是离散视频帧的拼接。”

这一突破使系统能够更准确地捕捉心脏搏动的时间动态特征,无接触实现望闻问切。核心指标上,其心率检测精度≤2 BPM,达到医疗级标准;端侧推理延迟≤10ms,可实现实时响应;同时,端侧小模型参数规模仅为0.2M,可直接运行于普通手机和摄像头设备,无需依赖云端算力。

在生理理解基础上,微面科技还进一步构建了多模态“人类理解系统”。

通过融合动作、姿态、眼动等空间特征,配合HRV情绪生理晴雨表绑定心率与急剧情绪,模型不仅能够识别用户情绪,还能够进一步理解行为背后的需求与动机,甚至预测用户的交互意图和动作轨迹,实现察言观色和知行先觉,为大模型提供生理情绪数据入口。

基于这一生理感知基座模型,微面科技也在同步推进软硬件一体化布局。


图源企业

软件层面,公司通过 SDK/API 向机器人、智能座舱、健康设备厂商输出算法能力,目前已在三大场景实现规模化落地:家庭机器人领域,与海尔机器人等客户达成量产合作;康养机器人领域,为养老院和社区提供快速健康筛查;仿生机器人领域,实现毫秒级低延时的自然交互体验。在车载方向,公司正与某头部 Tier 1 供应商联合推进驾驶员疲劳监测方案的技术验证及量产准备。

硬件层面,公司则推出搭载 FacePhys 模型的嵌入式摄像头模组。其中,核心产品 Findings 科研数据采集系统,主要面向科研机构与医院提供高精度数据采集终端,已进入批量采购阶段。

以下为硬氪与唐健凯的交流节选(略经编辑):

硬氪:国内外还有其他公司在用rPPG路线做生理和情绪识别吗?

唐健凯:国外已经有一些公司在做相关方向。比如 FaceHeart,主要聚焦心脏健康监测,并已经获得 FDA 认证,目前更多服务于远程医疗场景。但我们的方向不只是心率监测,还会进一步覆盖情绪、压力、眼动行为等更丰富的维度。从能力边界来看,我们是在生理感知的基础上,继续向“人的状态理解”延伸。

国内也有团队在做 rPPG,但大多数方案还是“录制视频+云端分析”的模式。通常需要先录制30秒以上的视频,再上传到云端统一计算,整个分析过程可能还需要几十秒,很难做到实时响应。一旦用户中途出现运动、光照变化或者姿态波动,整体鲁棒性就会明显下降。

硬氪:为什么微面科技能够把基于 rPPG 的生理感知做得更精准?

唐健凯:模型层面,我们做了大量优化。核心思路是用“状态空间模型”去预测人体下一时刻的生理状态。人的生理状态并不会突然从心率60跳到100,它本身具有连续性和周期性。我们的状态空间模型会捕捉这种稳定变化规律,再结合医学上的周期波动特征,持续预测人体当前状态。

此外,数据质量也很关键。我们的训练数据并不是靠大模型“虚拟打标”,而是来自医院合作与医疗级设备采集。目前已经建立了万人级临床数据库,因此数据客观性和准确性会更高。

在情绪理解上,我们也有一套完整逻辑。比如,心理学研究已经证明,高 HRV 往往对应更积极、放松或者兴趣更高的状态;而剧烈运动时心率升高,则未必意味着情绪波动。因此,我们不仅会看生理指标本身,还会结合动作、姿态、眼动等空间特征,一起理解人的真实状态。

简单来说,我们是在把“时间维度上的生理连续性”和“空间维度上的视觉感知能力”融合到一个统一模型中,让 AI 同时理解人的生理、情绪和行为。

硬氪:为什么会进一步做硬件模组?

唐健凯:视频和语言不一样,它的信息量非常大。如果所有数据都上传到云端处理,不仅延迟高,也会影响实时交互体验。因此,我们更倾向于端侧处理,让感知和推理直接发生在设备本地,这样响应会更及时,交互也会更流畅。

另一个重要原因是隐私。我们处理的是生理和情绪相关数据,本身属于较为敏感的信息。尤其在医疗、健康管理等场景里,用户会更希望数据留在本地设备,而不是全部上传到云端API。

投资人观点

顺为资本:公司研发的实时生理与情绪理解基座模型,在技术路线和底层架构上具备全球唯一性。该技术可快速落地智能座舱、机器人和智能硬件等多元场景,应用空间广阔。顺为高度认可团队的技术与产品化能力,愿与微面科技在人、车、家全场景深度协同、长期陪伴,共同开拓下一代人机交互与具身智能赛道的商业前景。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
看了田曦薇的嫁金钗,我终于理解谭松韵了,难怪她演兰香如故的时候,老喜欢瞪眼睛,不是她们演技不好,而是大眼睛也是把双刃剑!

看了田曦薇的嫁金钗,我终于理解谭松韵了,难怪她演兰香如故的时候,老喜欢瞪眼睛,不是她们演技不好,而是大眼睛也是把双刃剑!

喵喵的追剧笔记
2026-10-20 11:03:35
马卡:穆帅第二次执教皇马已满百天,有三名球员位置不可动摇

马卡:穆帅第二次执教皇马已满百天,有三名球员位置不可动摇

懂球帝
2026-10-20 13:26:06
范冰冰消失第八年,在东南亚赚得比当年还多,劣迹艺人找到退路?

范冰冰消失第八年,在东南亚赚得比当年还多,劣迹艺人找到退路?

华文商讯
2026-08-24 16:23:17
好玩!球迷做图“成都蓉城争冠扫雷记”:已5次踩雷,仅剩2次机会

好玩!球迷做图“成都蓉城争冠扫雷记”:已5次踩雷,仅剩2次机会

足球大腕
2026-10-20 20:30:03
一个家庭最大的灾难,不是穷,而是父母六七十岁还存在这3种情况

一个家庭最大的灾难,不是穷,而是父母六七十岁还存在这3种情况

枫红染山径
2026-10-10 01:45:16
当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

当众拒唱国歌不认中国籍,把两个孩子全送出国,如今报应终于来了

鹤羽说个事
2026-09-02 16:51:59
2026年天猫双11首次卖整车:至高享4.5万元购车权益,领克10+推专属配置到手价22.59万元

2026年天猫双11首次卖整车:至高享4.5万元购车权益,领克10+推专属配置到手价22.59万元

IT之家
2026-10-20 15:43:19
航司前高管90岁母亲上网为儿喊冤

航司前高管90岁母亲上网为儿喊冤

宾语观世
2026-10-20 17:43:25
央媒怒批、坑害老百姓!臭名昭著的四大相声演员,个个难以原谅

央媒怒批、坑害老百姓!臭名昭著的四大相声演员,个个难以原谅

史之韵
2026-10-21 02:17:43
张雪机车怒告WSBK:BOP黑箱锁死中国速度?

张雪机车怒告WSBK:BOP黑箱锁死中国速度?

娱乐圈的笔娱君
2026-10-20 17:22:06
法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

法国籍女子在韩商场叫嚣:全世界都讨厌中国人!中国女子当场出手

安梦入天下
2026-09-21 12:40:03
C罗因擅自退出葡萄牙集训营被处以30天禁赛以及罚款255欧;此前C罗道歉,表示随时准备接受征召;葡足协主席:所有人都希望C罗能重返国家队

C罗因擅自退出葡萄牙集训营被处以30天禁赛以及罚款255欧;此前C罗道歉,表示随时准备接受征召;葡足协主席:所有人都希望C罗能重返国家队

扬子晚报
2026-10-20 07:18:42
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

牛锅巴小钒
2026-10-17 03:47:35
东城光明楼17号楼:29户公房住户凑钱把楼拆了重建

东城光明楼17号楼:29户公房住户凑钱把楼拆了重建

北京安置房大全
2026-10-19 19:29:25
蒋介石临终前拉着蒋经国长叹:早知当初撤离大陆时不应该只顾黄金

蒋介石临终前拉着蒋经国长叹:早知当初撤离大陆时不应该只顾黄金

王嚾晓
2026-09-28 11:00:27
1978年最早公开反对“两个凡是”的三位省委书记到底是谁?

1978年最早公开反对“两个凡是”的三位省委书记到底是谁?

史不语
2026-09-22 13:45:04
美媒发言:马克龙近十年的统治,已将法国变成欧洲“最薄弱环节”

美媒发言:马克龙近十年的统治,已将法国变成欧洲“最薄弱环节”

兵卒史
2026-10-11 11:56:59
她是高峰现任妻子,相貌不如那英,一家三口住北京郊区生活平淡

她是高峰现任妻子,相貌不如那英,一家三口住北京郊区生活平淡

娱妮啵啵啊
2026-10-20 15:00:50
最狡猾的球队,必须是四川男篮了!

最狡猾的球队,必须是四川男篮了!

桃叶渡春
2026-10-20 00:50:37
不可思议!网传某互联网大厂招聘3-5年产品经理,月薪仅2-3K,求职者直呼天塌了

不可思议!网传某互联网大厂招聘3-5年产品经理,月薪仅2-3K,求职者直呼天塌了

火山詩话
2026-10-19 06:55:13
2026-10-21 04:00:49
36氪 incentive-icons
36氪
让一部分人先看到未来
152765文章数 2849405关注度
往期回顾 全部

科技要闻

新版MiniMax,能和DeepSeek掰手腕吗?

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

头条要闻

距中国台湾110公里 日美出动6万人大举军演为历史之最

体育要闻

巴拉克:天生亚军与漫长极夜

娱乐要闻

刘恺威承认新恋情,打球认识

财经要闻

抄底万达之后 私募大佬又对恒大下手了

汽车要闻

黑科技一次看全 2026奇瑞全球创新大会干货汇总

态度原创

手机
旅游
教育
艺术
本地

手机要闻

iPhone Duo铰链上方屏幕按压会下陷起皱 苹果尚未说明是否影响耐用性

旅游要闻

千城百县看中国丨福建邵武:熙春寻桂 秋醉铁城

教育要闻

悲哀!16岁男孩沉迷游戏,父亲怒摔手机,儿子多日拒上学,父母花8999元重买手机,才换回孩子上学

艺术要闻

谁敢信?63岁大爷的油画竟被选进美院教材,质感强到像要溢出屏幕!

本地新闻

一场垂直登高赛跑出了"山城"的真正内核

无障碍浏览 进入关怀版