网易首页 > 网易号 > 正文 申请入驻

低头抄公式20秒,教授擦完黑板:这工具只回放你错过的片段

0
分享至

低头抄一个复杂公式,二十秒后抬头,黑板已经被擦干净,教授讲到了下一个概念。接下来十分钟,你在两小时的录像里来回盲拖,试图猜出推导到底从哪开始。


这是每个看视频课的人都熟悉的挫败感。视频讲座是现代教育的骨架,但人的在场天然会被打断:低头记笔记、起身倒水、在密集的概念讲解里短暂闭眼。手动拖拽几小时的视频,既浪费学习时间,也反复打断学习流。

Lecture Rewind 的做法是:让程序陪你一起看课。它基于 Presage SmartSpectra SDK 提供的生理与面部人体感知,标记出观看者物理离场或长时间闭眼的区间。课程结束后,这些片段被自动汇编成一个可交互、按章节吸附的回放队列。一键即可只重播你错过的那些区间,每段起点前移 10 秒以保证叙事连贯,不必重看整节课。

项目的核心设计公理只有一句:只判断在场,不判断理解。它严格观察机械性的物理在场(面部姿态与眼睑开合),不做任何医疗诊断或治疗声明,不做情绪或认知推断,并坚持知情同意、本地优先的监测方式。

它如何响应人体信号

整个应用围绕 @smartspectra/node-sdk 架构,几条信号流各司其职:

  • 光学校验与物理在场:SmartSpectra 持续用严格的光学标准校验摄像头帧,返回 kOk、kNoFaceFound、kFaceNotCentered、kFaceNotForward、kTooDark、kExcessiveMotion 等校验码。当 kNoFaceFound 或 kFaceNotForward 持续超过 4.0 秒,系统立即标记一段离场区间并自动暂停视频。
  • 心血管脉率流:SmartSpectra 通过面部细微颜色变化测量远程光电容积脉搏波(rPPG)。脉率流被聚合成 12 秒滚动均值,在课后复盘里渲染成一条生理上下文时间线。
  • 面部关键点与自适应眼睑开合:基于 3D 关键点坐标,引擎在双眼多边形上实时计算眼睑纵横比(EAR)。闭眼持续超过 6.0 秒,播放暂停。
  • 免手动的意图手势书签:高频眨眼流让系统能区分自然的不自主眨眼(小于 350 毫秒)与刻意的双眨(800 毫秒内两次快速眨眼)。学生有意双眨,书签即落,双手不必离开手写笔记或键盘。

双引擎架构

桌面端是主引擎,运行官方 @smartspectra/node-sdk,通过 koffi FFI 加载预编译的 C-ABI 运行时库。网页演示则提供 MediaPipe 浏览器回退方案,在 Vercel 上实现同一套人体感知接口,方便不编译原生依赖的评审直接在浏览器里体验。

会话结束时,QueueBuilder 跑一条五步编译流水线:

  1. 收集原始暂停与标记区间;
  2. 过滤低置信区间,剔除摄像头置信度低于 0.60 的片段;
  3. 前置扩展,每段起点前移 10 秒,避免从半句话中间接上;
  4. 合并,把相距 30 秒以内的相邻区间并成一段;
  5. 章节吸附,把区间边界对齐到课程章节主题。

隐私被当成功能来做

所有视频帧只在本地内存中处理,提取完几何坐标与生理信号后立即丢弃,不写盘、不上传服务器。摄像头流启用前必须经过明确的知情同意,用户能看到被追踪的每一项信号。桌面应用隔离视频播放与生物特征处理,SDK 诊断遥测默认关闭,需显式选择加入。本地存储的会话文档、时间戳与基线,可在隐私与防火墙面板里一键永久擦除。内置的 AI 会话复盘代理默认使用确定性的离线引擎;若启用可选云端 AI,只发送非生物特征的数值时间戳与课程标题。

系统的用词也受严格约束:只允许"长时间闭眼""物理离场""观看者不在场的区间"这类机械表述,"睡眠""困倦""疲劳""压力""专注""注意力"等主观与医疗词汇被明确排除。

代码以 MIT 许可证开源,仓库为 github.com/aiwithrajan/lecture-rewind,网页版部署在 presage-bice.vercel.app。本地跑通全流程不到两分钟:Node.js 18+ 环境下克隆仓库、npm install、npm test,76 个自动化测试约 1.5 秒全部通过,TypeScript 类型检查 0 错误,npm run dev 启动桌面应用。没有摄像头的评审也能在首页底部打开"模拟模式",用演示视频或本地 mp4 走完整个流程,模拟器会回放带真实眨眼、俯仰偏移与离场区间的校准信号轨迹。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄仁勋倒下后,对他下手最狠的,居然是之前然把他吹上天的那位

黄仁勋倒下后,对他下手最狠的,居然是之前然把他吹上天的那位

麓谷隐士
2026-11-21 07:16:43
APEC结束,高市再谈中日关系,21个成员国接待标准统一,日本挑不出毛病

APEC结束,高市再谈中日关系,21个成员国接待标准统一,日本挑不出毛病

麓谷隐士
2026-11-21 13:28:51
局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

林杰论事
2026-11-21 18:05:57
冲上热搜!全军暂停采购八马茶业

冲上热搜!全军暂停采购八马茶业

深蓝财经
2026-11-21 16:09:33
姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

开成运动会
2026-11-21 11:24:38
何沁教授逝世

何沁教授逝世

极目新闻
2026-11-21 16:50:35
彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

彻底不装了!看到中俄美平起平坐,没上桌的印度人,大胆提出“印日欧”联盟,引发舆论热议!

林杰论事
2026-11-21 18:01:18
峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

峰会现场火药味十足!泽连斯基追问美国:北约第5条到底管不管用

军情观察家
2026-11-21 13:10:14
7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

喜欢体育的猫
2026-11-21 10:36:48
传了半年被踢出剧组,汤姆·哈迪还是回来了

传了半年被踢出剧组,汤姆·哈迪还是回来了

浅遇时光
2026-11-21 00:14:26
问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

问界M9车主高速开辅助驾驶后,倒头就睡……车主称全程智驾开回武汉,该发布账号目前已搜索不到;交警部门正在核查

都市快报橙柿互动
2026-11-21 17:58:25
局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

秋风妃
2026-11-21 14:13:31
杯赛3连冠梦碎!上海爆冷惜败NBL江西 李添荣29分丢绝平三分

杯赛3连冠梦碎!上海爆冷惜败NBL江西 李添荣29分丢绝平三分

醉卧浮生
2026-11-21 21:56:12
别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

别买,全是假的!又一产品大翻车,成本只有10元,很多人长期上当

命运自认幽默
2026-11-21 07:52:54
希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

希拉里发文炮轰特朗普:指责美总统“助纣为虐”,呼吁国会调查

麓谷隐士
2026-11-21 07:11:45
CBA杯-广东爆冷惨负香港金牛出局 徐杰21+8+6全队仅1人上双

CBA杯-广东爆冷惨负香港金牛出局 徐杰21+8+6全队仅1人上双

醉卧浮生
2026-11-21 22:00:16
50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

观鱼听雨
2026-11-21 19:16:00
9:6!缅甸被判种族灭绝罪,70万难民逃亡邻国,中国法官投反对票

9:6!缅甸被判种族灭绝罪,70万难民逃亡邻国,中国法官投反对票

观锐器
2026-11-21 17:52:33
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
金饰克价年内大跌超650元

金饰克价年内大跌超650元

21世纪经济报道
2026-11-21 13:31:39
2026-11-22 02:39:00
爬虫饲养员
爬虫饲养员
业余养了只叫“龙虾”的AI爬虫,主业是给互联网打工。
187文章数 88关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

墨西哥女总统发布深圳行vlog

头条要闻

墨西哥女总统发布深圳行vlog

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
健康
家居
游戏
公开课

艺术要闻

世界十大著名宫殿盘点:中国独占两席

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

曝GTA6与大表哥2是同一宇宙!多处彩蛋佐证

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版