【PaddleHub模型贡献】一行代码实现驾驶员状态识别

本文介绍将基于PaddleX的驾驶员状态识别项目转换为PaddleHub模型的过程。先简介PaddleX和PaddleHub工具，再说明使用kaggle的驾驶员状态数据集，经数据加载、模型训练、导出等步骤，最后将模型转换为PaddleHub模块，实现一行代码调用进行预测。

【PaddleHub模型贡献】一行代码实现驾驶员状态识别

一般来讲，人在疲劳的时候会有比较典型的面部表情或动作特征，如较长的眨眼持续时间、较慢的眼睑运动、点头、打哈欠等。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

基于摄像头的驾驶员监测方案正是利用这一点：首先挖掘出人在疲劳状态下的表情特征，然后将这些定性的表情特征进行量化，提取出面部特征点及特征指标作为判断依据，再结合实验数据总结出基于这些参数的识别方法，最后输入获取到的状态数据进行识别和判断。

       

前不久，飞桨最新在AI Studio上挑选了45个优质项目，优质项目链接：https://shimo.im/sheets/CqQvXq3JhGqCxdXv/MODOC

开发者 BIT可达鸭 开发的基于PaddleX的驾驶员状态识别和Paddle-Lite部署是上面的优质项目之一，将其转换成PaddleHub模型可供更多开发者快速使用。

参考资料：

基于PaddleX的驾驶员状态识别和Paddle-Lite部署手把手带你将Paddlex模型部署为PaddleHub【PaddleHub模型贡献】一行代码实现水表的数字表盘分割【PaddleHub模型贡献】一行代码实现从彩色图提取素描线稿【PaddleHub模型贡献】一行代码实现蛇种识别

一、工具简介

PaddleX

PaddleX是飞桨全流程开发工具，集飞桨核心框架、模型库、工具及组件等深度学习开发所需全部能力于一身，打通深度学习开发全流程，并提供简明易懂的Python API，方便用户根据实际生产需求进行直接调用或二次开发，为开发者提供飞桨全流程开发的最佳实践。目前，该工具代码已开源于GitHub，同时可访问PaddleX在线使用文档，快速查阅读使用教程和API文档说明。

PaddleX代码GitHub链接：https://github.com/PaddlePaddle/PaddleX

PaddleX文档链接：https://paddlex.readthedocs.io/zh_CN/develop/

PaddleX正式链接：https://www.paddlepaddle.org.cn/paddle/paddlex

PaddleHub

PaddleHub最新Github地址（欢迎star~）： https://github.com/PaddlePaddle/PaddleHub

PaddleHub旨在为开发人员提供丰富，高质量，可直接使用的预训练模型。开发者无需深度学习背景，便可以快速使用PaddleHub内置的AI模型。其模型涵盖图像，文本，音频和视频的4个主要类别，并支持一键式预测，轻松的服务部署和迁移学习，另外，所有模型都是开源的，可以在离线情况下免费下载和使用。

   

二、数据集介绍

数据集地址：https://www.kaggle.com/c/state-farm-distracted-driver-detection

       

该数据集由kaggle提供，共包括十个类别：

    'c0': 'normal driving',    'c1': 'texting-right',        'c2': 'talking on the phone-right',        'c3': 'texting-left',        'c4': 'talking on the phone-left',        'c5': 'operating the radio',        'c6': 'drinking',        'c7': 'reaching behind',        'c8': 'hair and makeup',        'c9': 'talking to passenger'

登录后复制    In [ ]

# 解压数据集（注意要根据环境修改路径——!unzip /home/aistudio/data/data35503//imgs.zip -d /home/aistudio/work/imgs!cp /home/aistudio/data/data35503/lbls.csv /home/aistudio/work/

登录后复制    

三、模型开发

1.安装PaddleX

In [4]

!pip install paddlex -i https://mirror.baidu.com/pypi/simple

登录后复制    In [2]

import os# 设置使用0号GPU卡（如无GPU，执行此代码后仍然会使用CPU训练模型）os.environ['CUDA_VISIBLE_DEVICES'] = '0'

登录后复制    In [3]

# jupyter中使用paddlex需要设置matplotlibimport matplotlibimport osos.chdir('/home/aistudio/work/')matplotlib.use('Agg') import paddlex as pdx

登录后复制    

2.定义数据加载器

这里主要是通过 pdx.datasets.ImageNet 类定义用于识别任务的数据加载器；

In [4]

import paddlehub as hubimport paddle.fluid as fluidimport numpy as npbase = './imgs/'datas = []for i in range(10):    c_base = base+'train/c{}/'.format(i)    for im in os.listdir(c_base):        pt = os.path.join('train/c{}/'.format(i), im)        line = '{} {}'.format(pt, i)        # print(line)        datas.append(line)np.random.seed(10)np.random.shuffle(datas)total_num = len(datas)train_num = int(0.8*total_num)test_num = int(0.1*total_num)valid_num = total_num - train_num - test_numprint('train:', train_num)print('valid:', valid_num)print('test:', test_num)with open(base+'train_list.txt', 'w') as f:    for v in datas[:train_num]:        f.write(v+'\n')with open(base+'test_list.txt', 'w') as f:    for v in datas[-test_num:]:        f.write(v+'\n')with open(base+'val_list.txt', 'w') as f:    for v in datas[train_num:-test_num]:        f.write(v+'\n')with open(base+'labels.txt', 'w') as f:    for i in range(10):        f.write('ch{}\n'.format(i))

登录后复制        

train: 17939valid: 2243test: 2242

登录后复制        In [5]

from paddlex.cls import transformstrain_transforms = transforms.Compose([    transforms.ResizeByShort(short_size=256),    transforms.RandomCrop(crop_size=224),    transforms.RandomDistort(),    transforms.Normalize()])eval_transforms = transforms.Compose([    transforms.ResizeByShort(short_size=256),    transforms.CenterCrop(crop_size=224),    transforms.Normalize()])

登录后复制    In [6]

train_dataset = pdx.datasets.ImageNet(    data_dir='imgs',    file_list='imgs/train_list.txt',    label_list='imgs/labels.txt',    transforms=train_transforms,    shuffle=True)eval_dataset = pdx.datasets.ImageNet(    data_dir='imgs',    file_list='imgs/val_list.txt',    label_list='imgs/labels.txt',    transforms=eval_transforms)

登录后复制        

2024-03-12 17:20:08 [INFO]Starting to read file list from dataset...2024-03-12 17:20:08 [INFO]17939 samples in file imgs/train_list.txt2024-03-12 17:20:08 [INFO]Starting to read file list from dataset...2024-03-12 17:20:08 [INFO]2243 samples in file imgs/val_list.txt

登录后复制        In [7]

num_classes = len(train_dataset.labels)print(num_classes)

登录后复制        

10

登录后复制        

3.模型训练

In [8]

# 定义并训练模型model = pdx.cls.MobileNetV3_small_ssld(num_classes=num_classes)model.train(num_epochs=20,            train_dataset=train_dataset,            train_batch_size=32,            log_interval_steps=20,            eval_dataset=eval_dataset,            lr_decay_epochs=[1],            save_interval_epochs=1,            learning_rate=0.01,            save_dir='output/mobilenetv3')

登录后复制    

2024-03-12 22:53:09 [INFO][TRAIN] Epoch=20/20, Step=500/560, loss=0.117403, acc1=0.96875, acc5=1.0, lr=0.001, time_each_step=1.7s, eta=0:2:402024-03-12 22:53:43 [INFO][TRAIN] Epoch=20/20, Step=520/560, loss=0.057465, acc1=1.0, acc5=1.0, lr=0.001, time_each_step=1.68s, eta=0:2:52024-03-12 22:54:12 [INFO][TRAIN] Epoch=20/20, Step=540/560, loss=0.521278, acc1=0.84375, acc5=0.96875, lr=0.001, time_each_step=1.44s, eta=0:1:272024-03-12 22:54:37 [INFO][TRAIN] Epoch=20/20, Step=560/560, loss=0.20346, acc1=0.9375, acc5=1.0, lr=0.001, time_each_step=1.29s, eta=0:0:582024-03-12 22:54:37 [INFO][TRAIN] Epoch 20 finished, loss=0.297043, acc1=0.89721, acc5=0.986719, lr=0.001 .2024-03-12 22:54:37 [INFO]Start to evaluating(total_samples=2243, total_steps=71)...100%|██████████| 71/71 [00:57<00:00,  1.23it/s]2024-03-12 22:55:35 [INFO][EVAL] Finished, Epoch=20, acc1=0.988854, acc5=1.0 .2024-03-12 22:55:35 [INFO]Model saved in output/mobilenetv3/best_model.2024-03-12 22:55:36 [INFO]Model saved in output/mobilenetv3/epoch_20.2024-03-12 22:55:36 [INFO]Current evaluated best model in eval_dataset is epoch_20, acc1=0.9888542131074454

登录后复制    

4.导出预测模型

In [12]

!paddlex --export_inference --model_dir=output/mobilenetv3/best_model --save_dir=inference_model

登录后复制    

5.评估模型性能

In [ ]

save_dir = 'output/mobilenetv3/best_model'model = pdx.load_model(save_dir)model.evaluate(eval_dataset, batch_size=1, epoch_id=None, return_details=False)

登录后复制        

2020-05-18 09:25:35 [INFO]Model[MobileNetV3_small_ssld] loaded.2020-05-18 09:25:35 [INFO]Start to evaluating(total_samples=2243, total_steps=2243)...

登录后复制        

100%|██████████| 2243/2243 [00:58<00:00, 38.38it/s]

登录后复制        

OrderedDict([('acc1', 0.9790459206419974), ('acc5', 1.0)])

登录后复制                

四、模型转换

这里我们需要将PaddleX训练得到的模型转换成PaddleHub的Module

PaddleX模型可以快速转换成PaddleHub模型，只需要用下面这一句命令即可：

In [1]

!hub convert --model_dir work/inference_model \              --module_name DriverStatusRecognition \              --module_version 1.0.0 \              --output_dir outputs

登录后复制    

转换成功后的模型保存在outputs文件夹下，我们解压一下：

In [2]

!gzip -dfq outputs/DriverStatusRecognition.tar.gz!tar -xf outputs/DriverStatusRecognition.tar

登录后复制    

五、模型预测

安装我们刚刚转换的模型：

In [5]

!hub install DriverStatusRecognition

登录后复制    

[2024-03-13 12:09:07,593] [    INFO] - Successfully uninstalled DriverStatusRecognition[2024-03-13 12:09:07,785] [    INFO] - Successfully installed DriverStatusRecognition-1.0.0

登录后复制    

实时检测驾驶员状态，从视频流中抽帧：

   In [9]

import cv2import paddlehub as hubmodule = hub.Module(directory='DriverStatusRecognition') # 一行代码实现模型调用images = [cv2.imread('work/imgs/test/img_1622.webp'), cv2.imread('work/imgs/test/img_14165.webp'), cv2.imread('work/imgs/test/img_47183.webp')]results = module.predict(images=images)for result in results:    print(result)

登录后复制        

[2024-03-13 12:24:04,960] [ WARNING] - The _initialize method in HubModule will soon be deprecated, you can use the __init__() to handle the initialization of the object

登录后复制        

[{'category_id': 5, 'category': 'ch5', 'score': 0.47390476}][{'category_id': 2, 'category': 'ch2', 'score': 0.99997914}][{'category_id': 1, 'category': 'ch2', 'score': 0.99996376}]

登录后复制