网易首页 > 网易号 > 正文 申请入驻

手一挥飞机就动?从识别手势到真正飞起来还差三步

0
分享至

屏幕上画出一只手,21个关节点连成骨架,看起来这事就成了。真去飞一台无人机才发现,能看见手只是开始。中间那段路——从"我看得见你的手"到"飞机做了你想让它做的,没做你没让它做的"——才是真正要啃的部分。

手部姿态估计到底在估什么


人体姿态估计做的事,是在图像或视频里检测并追踪身体各部位的位置,比如肘、肩、膝这些关节,用计算机视觉找出关键点,再据此推断姿态。手部姿态估计是同一个思路,只是把目标换成了手。

有个容易让人想歪的地方值得说清楚:模型并不是在理解解剖结构。它是拿标注好的关键点训练出来的——这个像素是某个指节,那个是手腕——然后直接预测这些点的位置。屏幕上那只"骨架",不过是把预测出来的点连起来的线,底下并没有什么骨骼模型。

手是特别合适的控制界面。它是人体最灵活的部分,我们本来就用手做精细复杂的操作;它可以脱离身体其他部位被单独追踪,不需要把整个人框进画面。MediaPipe 的手部模型每只手追踪21 个关键点:指节、手指关节、指尖和手腕。这个分辨率足够区分握拳、张开手掌和伸出食指。这 21 个点组成的向量,就是后面所有环节的原材料。

第一步:把手的关键点检测出来

MediaPipe 是谷歌开源的框架,用来在音频和视频上搭建实时机器学习流水线。经典的手部追踪入口,一条 pip 命令就能装好:pip install mediapipe opencv-python

下面这段摄像头循环会检测并画出手部关键点。原始的浏览器和 asyncio 脚手架被剥掉了,因为这段代码跑在你自己的机器上,不是在 Pyodide 里:

  • mp.solutions.hands初始化手部检测,max_num_hands=1,只认一只手,避免控制时的歧义
  • 检测置信度设为0.7,追踪置信度设为0.5
  • 打开摄像头,逐帧读取,然后水平翻转画面,让左右方向符合直觉
  • 把 BGR 转成 RGB,送进hands.process()
  • 如果检测到手部关键点,就用draw_landmarks把骨架画在画面上
  • q退出循环,释放摄像头并关闭窗口

这里有个重要的提醒。mp.solutions.hands属于旧的 Solutions API。谷歌已经在2023 年 3 月 1 日停止对旧版 MediaPipe Solutions 的主动支持,把一切都迁移到了 MediaPipe Tasks API。

换句话说,上面这段能跑,但它站在一条已经不再被维护的路上。真要做产品,得往 Tasks API 那边走。这一步本身不难,难的是别在旧接口上把后面的逻辑全搭起来,回头再拆一遍。

看得见手,和飞得对,是两件事

检测只是第一段。整条链路要解决的问题是:手在动,飞机得动得对。手不动的时候,飞机不能自己飘;手做一个动作,飞机得理解成对应的指令,而不是别的什么。

这就是为什么"屏幕上画出骨架"给人的完成感是假的。骨架只是把 21 个点连起来,它不告诉你握拳意味着什么,也不告诉你手抖了一下该不该算指令。这些判断全在后面两段里。

如果只是想做检测,第一段单独拿出来就够了。但如果真想飞点什么,三段都得走完。中间那些看起来琐碎的环节——阈值、滤波、动作到指令的映射——才是决定这台东西能不能用的地方。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
韩媒惊叹日本男足新名单:太疯狂!堪称史上豪华旅欧阵容

韩媒惊叹日本男足新名单:太疯狂!堪称史上豪华旅欧阵容

峰云峰雨
2026-09-18 09:00:55
准备把苹果16Pro卖掉换一台18Pro,可线下店店长的建议说到心坎了

准备把苹果16Pro卖掉换一台18Pro,可线下店店长的建议说到心坎了

小兔子发现大事情
2026-09-17 11:31:57
我发现同事偷记我银行卡号,转天我就去销了户,一个月后他拿着催款单堵我工位,脸当场就绿了

我发现同事偷记我银行卡号,转天我就去销了户,一个月后他拿着催款单堵我工位,脸当场就绿了

墨染尘香
2026-09-18 08:23:36
敬一丹追悼会现场冷清?缺席的不是哀悼,是层级

敬一丹追悼会现场冷清?缺席的不是哀悼,是层级

做一个合格的吃瓜群众
2026-09-18 07:02:18
明明是吃得差,为什么报道成美国饥饿问题日益严重?

明明是吃得差,为什么报道成美国饥饿问题日益严重?

廖保平
2026-08-26 09:23:04
CCTV5直播中国男篮VS日本,开球时间压力大,郭士强锋线上该用谁

CCTV5直播中国男篮VS日本,开球时间压力大,郭士强锋线上该用谁

体育大学僧
2026-09-17 08:46:48
穆里尼奥束手无策!皇马巨星断崖崩盘!离谱表现坑惨全队

穆里尼奥束手无策!皇马巨星断崖崩盘!离谱表现坑惨全队

澜归序
2026-09-18 08:08:08
“罗永浩说野人先生难吃”冲上热搜,店员回应:不知道罗永浩是谁,价格偏贵应该是品牌的定义

“罗永浩说野人先生难吃”冲上热搜,店员回应:不知道罗永浩是谁,价格偏贵应该是品牌的定义

极目新闻
2026-09-15 12:16:02
“小心!右边女儿是鸳鸯眼!”家长晒两个女儿的不同面相,引热议

“小心!右边女儿是鸳鸯眼!”家长晒两个女儿的不同面相,引热议

番外行
2026-06-02 14:30:48
不查不知道!原来他也出席敬一丹葬礼,文艺圈大佬,老婆赫赫有名

不查不知道!原来他也出席敬一丹葬礼,文艺圈大佬,老婆赫赫有名

林雁飞
2026-09-17 17:30:03
被西方嫌弃龌龊之后,100 吨俄罗斯金条,全涌入了高尚的中国金库

被西方嫌弃龌龊之后,100 吨俄罗斯金条,全涌入了高尚的中国金库

孤烟暮蝉
2026-09-17 17:16:49
别再瞎养了!这5种树被称为“阴树”,再喜欢也别搬进家,看完赶紧搬出去

别再瞎养了!这5种树被称为“阴树”,再喜欢也别搬进家,看完赶紧搬出去

养花的鹏鹏
2026-09-09 10:57:16
iPhone的生态位,被豆包手机抢了吗?

iPhone的生态位,被豆包手机抢了吗?

字母榜
2026-09-17 20:47:54
董路公开喊话:一年之内谁能培养出下一个吕孟洋,我个人奖励46万

董路公开喊话:一年之内谁能培养出下一个吕孟洋,我个人奖励46万

念洲
2026-09-18 08:03:00
白举纲敦煌婚礼刷屏!娱乐圈最稀缺的爱情:低调守护,岁岁安稳

白举纲敦煌婚礼刷屏!娱乐圈最稀缺的爱情:低调守护,岁岁安稳

传递满满正能量
2026-09-18 06:24:43
致敬一丹女儿王尔晴:趁年华尚在生个孩子,或许是最好的怀念

致敬一丹女儿王尔晴:趁年华尚在生个孩子,或许是最好的怀念

虎侃世界
2026-09-15 10:16:06
月饼“顶流”来了!门店大排长队,一天卖出4万个→

月饼“顶流”来了!门店大排长队,一天卖出4万个→

环球网资讯
2026-09-14 08:33:06
五百名医生已证实:维生素B12与甲钴胺的真相,最好花点时间看看

五百名医生已证实:维生素B12与甲钴胺的真相,最好花点时间看看

路医生健康科普
2026-08-03 15:25:14
希特勒为什么选择自杀?当时还剩多少兵力,难道真的打不赢了吗?

希特勒为什么选择自杀?当时还剩多少兵力,难道真的打不赢了吗?

小豫讲故事
2026-09-05 06:00:15
柳承敏代表韩国向名古屋发起抗议 李舜臣不行丰臣秀吉却可以出现?

柳承敏代表韩国向名古屋发起抗议 李舜臣不行丰臣秀吉却可以出现?

劲爆体坛
2026-09-17 20:11:11
2026-09-18 11:39:00
硅屿手记
硅屿手记
有态度网友ytd
279文章数 75关注度
往期回顾 全部

科技要闻

苹果店外黄牛蹲守:18 Pro Max加价500

头条要闻

造谣"南医大坠亡学生遭导师压榨" 两账号被处置

头条要闻

造谣"南医大坠亡学生遭导师压榨" 两账号被处置

体育要闻

一个角色球员,靠什么在NBA征战17年

娱乐要闻

敬一丹逝世 央视送别,女儿成“心病”

财经要闻

中国汽车:尾大不掉,必须出清

汽车要闻

小鹏G9L限时售23.18万 旗舰级的配置/诱人的价格

态度原创

家居
本地
房产
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

不止胖东来!许昌藏着半部三国史

房产要闻

突发!三亚安居房出台新政!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

中方反对在安理会强推恢复对伊朗制裁

无障碍浏览 进入关怀版