低头抄一个复杂公式,二十秒后抬头,黑板已经被擦干净,教授讲到了下一个概念。接下来十分钟,你在两小时的录像里来回盲拖,试图猜出推导到底从哪开始。
![]()
这是每个看视频课的人都熟悉的挫败感。视频讲座是现代教育的骨架,但人的在场天然会被打断:低头记笔记、起身倒水、在密集的概念讲解里短暂闭眼。手动拖拽几小时的视频,既浪费学习时间,也反复打断学习流。
Lecture Rewind 的做法是:让程序陪你一起看课。它基于 Presage SmartSpectra SDK 提供的生理与面部人体感知,标记出观看者物理离场或长时间闭眼的区间。课程结束后,这些片段被自动汇编成一个可交互、按章节吸附的回放队列。一键即可只重播你错过的那些区间,每段起点前移 10 秒以保证叙事连贯,不必重看整节课。
项目的核心设计公理只有一句:只判断在场,不判断理解。它严格观察机械性的物理在场(面部姿态与眼睑开合),不做任何医疗诊断或治疗声明,不做情绪或认知推断,并坚持知情同意、本地优先的监测方式。
它如何响应人体信号
整个应用围绕 @smartspectra/node-sdk 架构,几条信号流各司其职:
- 光学校验与物理在场:SmartSpectra 持续用严格的光学标准校验摄像头帧,返回 kOk、kNoFaceFound、kFaceNotCentered、kFaceNotForward、kTooDark、kExcessiveMotion 等校验码。当 kNoFaceFound 或 kFaceNotForward 持续超过 4.0 秒,系统立即标记一段离场区间并自动暂停视频。
- 心血管脉率流:SmartSpectra 通过面部细微颜色变化测量远程光电容积脉搏波(rPPG)。脉率流被聚合成 12 秒滚动均值,在课后复盘里渲染成一条生理上下文时间线。
- 面部关键点与自适应眼睑开合:基于 3D 关键点坐标,引擎在双眼多边形上实时计算眼睑纵横比(EAR)。闭眼持续超过 6.0 秒,播放暂停。
- 免手动的意图手势书签:高频眨眼流让系统能区分自然的不自主眨眼(小于 350 毫秒)与刻意的双眨(800 毫秒内两次快速眨眼)。学生有意双眨,书签即落,双手不必离开手写笔记或键盘。
双引擎架构
桌面端是主引擎,运行官方 @smartspectra/node-sdk,通过 koffi FFI 加载预编译的 C-ABI 运行时库。网页演示则提供 MediaPipe 浏览器回退方案,在 Vercel 上实现同一套人体感知接口,方便不编译原生依赖的评审直接在浏览器里体验。
会话结束时,QueueBuilder 跑一条五步编译流水线:
- 收集原始暂停与标记区间;
- 过滤低置信区间,剔除摄像头置信度低于 0.60 的片段;
- 前置扩展,每段起点前移 10 秒,避免从半句话中间接上;
- 合并,把相距 30 秒以内的相邻区间并成一段;
- 章节吸附,把区间边界对齐到课程章节主题。
隐私被当成功能来做
所有视频帧只在本地内存中处理,提取完几何坐标与生理信号后立即丢弃,不写盘、不上传服务器。摄像头流启用前必须经过明确的知情同意,用户能看到被追踪的每一项信号。桌面应用隔离视频播放与生物特征处理,SDK 诊断遥测默认关闭,需显式选择加入。本地存储的会话文档、时间戳与基线,可在隐私与防火墙面板里一键永久擦除。内置的 AI 会话复盘代理默认使用确定性的离线引擎;若启用可选云端 AI,只发送非生物特征的数值时间戳与课程标题。
系统的用词也受严格约束:只允许"长时间闭眼""物理离场""观看者不在场的区间"这类机械表述,"睡眠""困倦""疲劳""压力""专注""注意力"等主观与医疗词汇被明确排除。
代码以 MIT 许可证开源,仓库为 github.com/aiwithrajan/lecture-rewind,网页版部署在 presage-bice.vercel.app。本地跑通全流程不到两分钟:Node.js 18+ 环境下克隆仓库、npm install、npm test,76 个自动化测试约 1.5 秒全部通过,TypeScript 类型检查 0 错误,npm run dev 启动桌面应用。没有摄像头的评审也能在首页底部打开"模拟模式",用演示视频或本地 mp4 走完整个流程,模拟器会回放带真实眨眼、俯仰偏移与离场区间的校准信号轨迹。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.