斯坦福120类狗分类

斯坦福犬数据集含120种犬的20580张图像，用于细粒度分类。文中介绍了解压数据集、安装PaddleX与PaddleClas等环境准备步骤，还涉及用PaddleX划分数据集、配置PaddleClas进行训练，以及模型评估、预测和推理等流程，总结了相关工具在图像分类任务中的表现及注意事项。

你是什么样的狗？

       

什么？你不认识？那么来让AI告诉你吧！

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

       

1.数据集介绍

1.1语境

斯坦福犬数据集包含来自世界各地的120种犬的图像。此数据集是使用ImageNet的图像和注释构建的，用于完成细粒度的图像分类任务。它最初是为进行细粒度图像分类而收集的，这是一个具有挑战性的问题，因为某些犬种具有几乎相同的特征或颜色和年龄不同。

1.2内容

类别数：120图片数量：20,580其他：标签，标注框

1.3 致谢

原始数据源可在 http://vision.stanford.edu/aditya86/ImageNetDogs/ 上找到，其中包含有关训练/测试拆分和基线结果的其他信息。

如果您在出版物中使用此数据集，请在以下论文中引用该数据集：

first

Aditya Khosla，Nityananda Jayadevaprakash，Bangpeng Yao和Li Fei-Fei。用于细粒度图像分类的新型数据集。第一次细粒度视觉分类（FGVC）研讨会，IEEE计算机视觉和模式识别会议（CVPR），2011年。[pdf] [海报] [BibTex]

Secondary

J. Deng，W. Dong，R. Socher，L.-J。Li，K. Li和L. Fei-Fei，ImageNet：大型分层图像数据库。IEEE计算机视觉和模式识别（CVPR），2009年。[pdf] [BibTex]

https://unsplash.com/photos/U6nlG0Y5sfs

1.3 其他任务

您能否正确识别具有类似特征的犬种，例如贝塞猎狗和猎犬？这吉娃娃是年纪大还是年纪大？

2.数据解压

In [ ]

# 解压缩，一次即可# !unzip -aoq data/data87695/Stanford_Dogs_Dataset.zip -d dataset

登录后复制    In [ ]

!ls dataset/images/Images/

登录后复制    

由上可见共计有120分类

3.环境准备

3.1 paddlex安装

In [ ]

# PaddleX安装! pip install paddlex# 切记切记paddle2onnx!pip install paddle2onnx

登录后复制    

3.2 paddleclas安装

In [ ]

!git clone https://gitee.com/paddlepaddle/PaddleClas.git --depth=1

登录后复制    In [ ]

!cd PaddleClas && pip3 install --upgrade -r requirements.txt

登录后复制    

4.数据集处理

4.1利用paddlex划分数据集

分别生成 labels.txt test_list.txt train_list.txt val_list.txt

In [ ]

# 数据集划分!paddlex --split_dataset --format ImageNet --dataset_dir ~/dataset/images/Images --val_value 0.2 --test_value 0.1

登录后复制    

4.2标签查看

In [ ]

# 各种标签查看!cat  ~/dataset/images/Images/labels.txt

登录后复制    

5.PaddleClas配置

5.1 基础配置

进入PaddleClas目录设置显卡In [ ]

# 进入PaddleClas%cd ~/PaddleClas

登录后复制    In [ ]

!export CUDA_VISIBLE_DEVICES=0

登录后复制    

5.2 PaddleClas训练配置

使用PaddleClas/configs/MobileNetV3/MobileNetV3smallx075.yaml

mode: 'train'ARCHITECTURE:    name: "MobileNetV3_small_x0_75"pretrained_model: ""model_save_dir: "./output/"# 120类classes_num: 120# 总图片数量total_images: 20580save_interval: 1ls_epsilon: 0.1validate: Truevalid_interval: 1# 训练轮次epochs: 360topk: 5image_shape: [3, 224, 224]LEARNING_RATE:    function: 'Cosine'    params:        lr: 2.6        warmup_epoch: 5OPTIMIZER:    function: 'Momentum'    params:        momentum: 0.9    regularizer:        function: 'L2'        factor: 0.00002TRAIN:    batch_size: 4096    num_workers: 4    file_list: "/home/aistudio/dataset/images/Images/train_list.txt"    data_dir: "/home/aistudio/dataset/images/Images"    shuffle_seed: 0    transforms:        - DecodeImage:            to_rgb: True            channel_first: False        - RandCropImage:            size: 224        - RandFlipImage:            flip_code: 1        - NormalizeImage:            scale: 1./255.            mean: [0.485, 0.456, 0.406]            std: [0.229, 0.224, 0.225]            order: ''        - ToCHWImage:VALID:    batch_size: 64    num_workers: 4    file_list: "/home/aistudio/dataset/images/Images/val_list.txt"    data_dir: "/home/aistudio/dataset/images/Images"    shuffle_seed: 0    transforms:        - DecodeImage:            to_rgb: True            channel_first: False        - ResizeImage:            resize_short: 256        - CropImage:            size: 224        - NormalizeImage:            scale: 1.0/255.0            mean: [0.485, 0.456, 0.406]            std: [0.229, 0.224, 0.225]            order: ''        - ToCHWImage:

登录后复制    In [ ]

!pwd

登录后复制    

5.3训练bug

2024-05-10 01:36:33,765 - ERROR - DataLoader reader thread raised an exception!2024-05-10 01:36:33,766 - ERROR - (Fatal) Blocking queue is killed because the data reader raises an exception.  [Hint: Expected killed_ != true, but received killed_:1 == true:1.] (at /paddle/paddle/fluid/operators/reader/blocking_queue.h:158)

登录后复制    

5.4 finetune

'./configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml'

mode: 'train'ARCHITECTURE:    name: 'MobileNetV3_large_x1_0'pretrained_model: "./pretrained/MobileNetV3_large_x1_0_pretrained"model_save_dir: "./output/"use_gpu: True# 120类classes_num: 120# 总图片数量20580total_images: 14499save_interval: 1validate: Truevalid_interval: 1epochs: 20topk: 1image_shape: [3, 224, 224]LEARNING_RATE:    function: 'Cosine'              params:                           lr: 0.00375OPTIMIZER:    function: 'Momentum'    params:        momentum: 0.9    regularizer:        function: 'L2'        factor: 0.000001TRAIN:    batch_size: 160    num_workers: 0    file_list: "/home/aistudio/dataset/images/Images/train_list.txt"    data_dir: "/home/aistudio/dataset/images/Images/"    shuffle_seed: 0    transforms:        - DecodeImage:            to_rgb: True            channel_first: False        - RandCropImage:            size: 224        - RandFlipImage:            flip_code: 1        - NormalizeImage:            scale: 1./255.            mean: [0.485, 0.456, 0.406]            std: [0.229, 0.224, 0.225]            order: ''        - ToCHWImage:VALID:    batch_size: 160    num_workers: 0    file_list: "/home/aistudio/dataset/images/Images/val_list.txt"    data_dir: "/home/aistudio/dataset/images/Images/"    shuffle_seed: 0    transforms:        - DecodeImage:            to_rgb: True            channel_first: False        - ResizeImage:            resize_short: 256        - CropImage:            size: 224        - NormalizeImage:            scale: 1.0/255.0            mean: [0.485, 0.456, 0.406]            std: [0.229, 0.224, 0.225]            order: ''        - ToCHWImage:

登录后复制    

5.5下载预训练模型

In [ ]

 !python tools/download.py -a MobileNetV3_large_x1_0 -p ./pretrained -d True

登录后复制    

6.开始训练

In [21]

!python tools/train.py -c './configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml'

登录后复制    

visualDL可视化metrics图标

       

7. 模型评估

可以通过以下命令进行模型评估。

In [23]

!python tools/eval.py \    -c ./configs/quick_start/MobileNetV3_large_x1_0_finetune.yaml \    -o pretrained_model="./output/MobileNetV3_large_x1_0/best_model/ppcls"\    -o load_static_weights=False

登录后复制    

8. 使用预训练模型进行模型预测

模型训练完成之后，可以加载训练得到的预训练模型，进行模型预测。在模型库的 tools/infer/infer.py 中提供了完整的示例，只需执行下述命令即可完成模型预测：

In [25]

!python tools/infer/infer.py \    -i ../111.webp \    --model MobileNetV3_large_x1_0 \    --pretrained_model "./output/MobileNetV3_large_x1_0/best_model/ppcls" \    --use_gpu True \    --load_static_weights False

登录后复制    

9.使用inference模型进行模型推理

通过导出inference模型，PaddlePaddle支持使用预测引擎进行预测推理。接下来介绍如何用预测引擎进行推理： 首先，对训练好的模型进行转换：

In [27]

!python tools/export_model.py \    --model MobileNetV3_large_x1_0 \    --pretrained_model ./output/MobileNetV3_large_x1_0/best_model/ppcls \    --output_path ./inference

登录后复制    In [29]

!python tools/infer/predict.py \    --image_file ../dataset/images/Images/n02085936-Maltese_dog/n02085936_10148.webp \    --model_file "./inference/inference.pdmodel" \    --params_file "./inference/inference.pdiparams" \    --use_gpu=True \    --use_tensorrt=False

登录后复制    

10.总结

总的来说，paddleclas以及paddlex面对多类型、大数据量图像分类任务有很优秀得表现，有以下几点需要注意：

在提高acc并兼顾效率时，最好使用轻量级模型，并适当选择图像增强策略；使用visualDL可视化Metrics，可以实时观察训练走势，即使调整策略。