MoveNet-谷歌轻量级人体姿态估计算法

MoveNet是基于heatmap的bottom-up人体姿态估计模型，含Backbone、Header和PostProcess三部分。Backbone采用Mobilenetv2+FPN；Header有四个，输出Center、KeypointHeatmap等特征图。损失函数用加权MSE和L1 Loss，权重1:1:1:1。提供训练、测试流程，可导出模型，Google有在线演示。

MoveNet

Google提供的在线演示：https://storage.googleapis.com/tfjs-models/demos/pose-detection/index.html?model=movenet

MoveNet 是一个 Bottom-up estimation model， 使用heatmap。

网络架构

主要分为三个部分：Backbone、Header、PostProcess

class MoveNet(nn.Layer):    def __init__(self, num_classes=17, width_mult=1.,mode='train'):        super(MoveNet, self).__init__()        self.backbone = Backbone()        self.header = Header(num_classes, mode)                self._initialize_weights()    def forward(self, x):        x = self.backbone(x) # n,24,48,48        # print(x.shape)        x = self.header(x)        # print([x0.shape for x0 in x])        return x

损失函数

KeypointHeadmap 和 Center 采用加权MSE，平衡了正负样本。 KeypointRegression 和LocalOffsets 采用了 L1 Loss。 最终各个Loss权重设置为1:1:1:1

loss = paddle.pow((pre-target),2) weight_mask = target*k+1paddle.pow(torch.abs(target-pre), 2) loss = loss*weight_mask

参考文献

快速开始

全流程引导进行项目生成，实现数据生成、训练、测试一体化

解压数据集

# 无需运行# !mkdir /home/aistudio/data/coco# !unzip /home/aistudio/data/data97273/annotations_trainval2017.zip -d /home/aistudio/data/coco# !unzip /home/aistudio/data/data97273/train2017.zip -d /home/aistudio/data/coco# !unzip /home/aistudio/data/data97273/val2017.zip -d /home/aistudio/data/coco# 新数据时用# Make data to adapt the data format.# %cd /home/aistudio/work/# !python scripts/make_coco_data_17keypooints.py

配置项目环境

pip install yacs

训练

cd /home/aistudio/work/python train.py

测试

进入config.py 修改配置文件，修改测试图片路径。

cd /home/aistudio/work.python predict.py

测试结果

Heatmap

导出模型

pip install paddle2onnxpython pd2onnx.py

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：MoveNet-谷歌轻量级人体姿态估计算法要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题