利用机器学习，进行人体33个2D姿态检测与评估

前几期的文章，我们分享了人脸468点检测与人手28点检测的代码实现过程，本期我们进行人体姿态的检测与评估

通过视频进行人体姿势估计在各种应用中起着至关重要的作用，例如量化体育锻炼，手语识别和全身手势控制，还可以在增强现实中将数字内容和信息覆盖在物理世界之上。

MediaPipe Pose是用于高保真人体姿势跟踪的ML解决方案，利用BlazePose研究成果，还从ML Kit Pose Detection API中获得了RGB视频帧的整个33个2D标志（或25个上身标志）。当前最先进的方法主要依靠强大的桌面环境进行推理，而MediaPipe Pose的方法可在大多数现代手机，，甚至是Web上实现实时性能。

人体姿态检测

ML管道

该解决方案利用两步检测器-跟踪器ML管线，管道首先使用检测器在帧内定位人/姿势感兴趣区域（ROI）。跟踪器随后使用ROI裁剪帧作为输入来预测ROI中的姿势界标。请注意，对于视频用例，仅在需要时（即，对于第一帧）以及当跟踪器无法再识别前一帧中的人体姿势时，才调用检测器。对于其他帧，管道仅从前一帧的姿势界标中得出ROI。

人/姿势检测模型（BlazePose检测器）

该检测器的灵感来自于轻型模型，该模型用于，作为器的代理。它明确预测了另外两个虚拟关键点，这些关键点将人体的中心，旋转和缩放牢牢地描述为一个圆圈。，我们预测了人的臀部的中点，外接整个人的圆的半径以及连接肩部和臀部中点的直线的倾斜角度。

姿势地标模型（BlazePose跟踪器）

管道的姿态估计组件预测所有33个人关键点的位置，每个关键点具有三个自由度（x，y位置和可见性）以及上述两个虚拟对齐关键点。与当前采用计算密集型预测的方法不同，我们的模型使用回归方法，该方法由所有关键点的组合热图/偏移量预测进行监督，如下所示。

MediaPipe Pose中的地标模型有两个版本：可以预测33个姿势地标位置的全身模型（请参见下图），以及仅预测前25个姿势的上身模型。后者可能比前25个更为准确。前者主要用于下半身不可见的场景。

python代码实现人体姿态检测import cv2
import mediapipe as mp
mp_drawing = mp.solutions.drawing_utils
mp_pose = mp.solutions.pose
drawing_spec = mp_drawing.DrawingSpec(thickness=2, circle_radius=1)
drawing_spec1 = mp_drawing.DrawingSpec(thickness=2, circle_radius=1,color=(255,255,255))

代码截图

这里我们跟人脸468点检测与人手28点检测类似，首先我们需要建立一个人体姿态评估器mp_pose = mp.solutions.pose

然后建立一个mp_drawing.DrawingSpec画图器，这个是设置画图的颜色，大小以及线的粗细参数，可以参考往期的人脸468点检测与人手28点检测中的关于此函数的介绍

pose = mp_pose.Pose(
static_image_mode=True, min_detection_confidence=0.5)
file = 'images/4.jpg'
image = cv2.imread(file)
image_hight, image_width, _ = image.shape
results = pose.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))

代码截图

然后我们使用mp_pose.Pose函数设置检测的参数，其主要参数如下：

查看了原始代码，此函数没有设置多人的参数，不知道为何（官方有待改进），这个需要官方进行改进一下

代码截图

STATIC_IMAGE_MODE 如果设置为false，则解决方案会将输入图像视为视频流。它将尝试在最开始的图像中检测出最杰出的人物，并在成功检测后进一步定位姿势地标。然后，在随后的图像中，它就减少了计算量和等待时间，而无需调用另一次检测就一直跟踪那些界标，直到失去跟踪为止。如果设置为true，人员检测将运行每个输入图像，非常适合处理一批静态的，可能不相关的图像。默认为false。 UPPER_BODY_ONLY 如果设置为true，则解决方案仅输出25个上身姿势界标。否则，它将输出33个姿势地标的完整集合。请注意，对于大多数下半身看不见的用例，仅上半身的预测可能更准确。默认为false。 SMOOTH_LANDMARKS 如果设置为true，则解决方案过滤器会在不同的输入图像上摆出界标以减少抖动，但是如果将static_image_mode也设置为true，则将其忽略。默认为true。 MIN_DETECTION_CONFIDENCE [0.0, 1.0]来自人员检测模型的最小置信度值（）被认为是成功的检测。默认为0.5。 MIN_TRACKING_CONFIDENCE [0.0, 1.0]来自地标跟踪模型的姿势地标的最小置信度值（）将被视为已成功跟踪，否则将在下一个输入图像上自动调用人的检测。将其设置为更高的值可以提高解决方案的健壮性，但代价是更高的延迟。如果是true，则忽略位置，其中人检测仅在每个图像上运行。默认为0.5。 POSE_LANDMARKS 姿势地标列表。每个标记包括以下内容： · x和y：[0.0, 1.0]分别由图像宽度和高度归一化为的地标坐标。 · z：应该丢弃，因为当前尚未对模型进行充分的训练来预测深度，但这是路线图上的事情。 · visibility：一个值，用于[0.0, 1.0]指示界标在图像中可见（存在且未被遮挡）的可能性。

设置完成后，我们读取一张需要检测的照片，这里设置static_image_mode=True来检测图片，然后转换图片到RGB 颜色空间，使用pose.process函数检测图片的人体姿态，其结果保存在results中

print(
f'Nose coordinates: ('
f'{results.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE].x * image_width}, '
f'{results.pose_landmarks.landmark[mp_pose.PoseLandmark.NOSE].y * image_hight})'
)
# Draw pose landmarks on the image.
annotated_image = image.copy()
mp_drawing.draw_landmarks(
annotated_image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS,landmark_drawing_spec=drawing_spec,
connection_drawing_spec=drawing_spec1)

cv2.imshow('annotated_image',annotated_image)
cv2.waitKey(0)
cv2.imwrite('images/pose11.png', annotated_image)
pose.close()

代码截图

这里由于pose检测器默认只检测一个人，所以这里不再需要for循环来遍历检测的结果（关于多人的检测我们后期使用OpenCV来实现）

我们直接打印results中的坐标结果，并使用mp_drawing.draw_landmarks函数把检测到的坐标进行连线，最后进行检测结果的保存以便后期分析查看。

人体姿态检测

Python代码实现实时视频人体姿态检测import cv2
import mediapipe as mp
import time
mp_drawing = mp.solutions.drawing_utils
mp_pose = mp.solutions.pose
drawing_spec = mp_drawing.DrawingSpec(thickness=2, circle_radius=1)
drawing_spec1 = mp_drawing.DrawingSpec(thickness=2, circle_radius=1,color=(255,255,255))
pose = mp_pose.Pose(
min_detection_confidence=0.5, min_tracking_confidence=0.5)

代码截图

这里跟图片检测一致，我们使用mp.solutions.pose函数建立一个pose检测器，并进行pose参数的设置，这里由于是需要检测视频，static_image_mode参数默认为false，然后使用mp_drawing.DrawingSpec建立画图设置。

cap = cv2.VideoCapture(0)
time.sleep(2)
while cap.isOpened():
success, image = cap.read()
if not success:
print("Ignoring empty camera frame.")
continue
image = cv2.cvtColor(cv2.flip(image, 1), cv2.COLOR_BGR2RGB)
image.flags.writeable = False
results = pose.process(image)
image.flags.writeable = True
image = cv2.cvtColor(image, cv2.COLOR_RGB2BGR)
mp_drawing.draw_landmarks(
image, results.pose_landmarks, mp_pose.POSE_CONNECTIONS)
cv2.imshow('MediaPipe Pose', image)
if cv2.waitKey(5) & 0xFF == ord('q'):
break
pose.close()
cap.release()

代码截图

我们打开系统的默认摄像头，待摄像头打开后，我们使用一个死循环进行视频帧图片的截取，当截取到视频帧中的图片后，我们利用图片检测的方法进行检测，只是这里我们转换图片到RGB颜色空间后，我们使用cv.flip函数来进行图片的翻转操作，以便增强图片数据，然后使用 image.flags.writeable = False

标签标注图片不允许被修改，然后进行图片的人体姿态检测，检测完成后，由于我们需要对图片进行画图，这里重新设置image.flags.writeable = True标签，允许修改图片，最后利用mp_drawing.draw_landmarks函数对图片进行检测点的画图操作，最后实时显示到屏幕上，这样我们就可以看到完整的视频检测的结果了。

当然是用姿态评估，我们可以开发属于自己的应用，比如电视上添加摄像头，实时检测看电视人的姿态，评估是否姿态健康，以及学生上课的姿态，写字姿态等，还可以利用姿态评估对全身运动类的体育进行判断等等

姿态评估

对于人手以及姿态检测，我们后期使用OpenCV的方式进行代码的开发，毕竟我们需要进行多人的姿态评估