MMClassification安装使用
1. 安装及测试
https://mmclassification.readthedocs.io/zh_CN/1.x/get_started.html#id2
版本为1.x版本
从源码安装
git clone -b 1.x https://github.com/open-mmlab/mmclassification.git
cd mmclassification
pip install -U openmim && mim install -e .
验证安装
第 1 步 我们需要下载配置文件和模型权重文件
mim download mmcls --config resnet50_8xb32_in1k --dest .
第 2 步 验证示例的推理流程
python demo/image_demo.py demo/demo.JPEG resnet50_8xb32_in1k.py resnet50_8xb32_in1k_20210831-ea4938fc.pth --device cpu
出现问题多为MMCV的问题,根据提示需要的版本号进行卸载及安装
2. 自定义数据集
1.x版本可以使用文件夹形式更方便的构建自定义数据集,无需准备标注文件
https://mmclassification.readthedocs.io/en/dev-1.x/user_guides/dataset_prepare.html
https://colab.research.google.com/github/open-mmlab/mmclassification/blob/master/docs/en/tutorials/MMClassification_tools.ipynb#scrollTo=e4t2P2aTQokX
data/
├── train
│ ├── class1
│ ├── xxx.png
│ ├── xxy.png
│ ├── class2
│ ├── xxx.png
│ ├── xxy.png
│
├── val
│ ├── class1
│ ├── xxx.png
│ ├── xxy.png
│ ├── class2
│ ├── xxx.png
│ ├── xxy.png
3.自定义配置文件
以现有的配置文件为基础,自己定义一个新的配置文件
https://mmclassification.readthedocs.io/zh_CN/dev-1.x/user_guides/config.html
![](https://img.haomeiwen.com/i11659928/8dc141147f370220.png)
一个特定网络的配置文件是继承现有的配置文件,如https://github.com/open-mmlab/mmclassification/blob/1.x/configs/resnet/resnet50_8xb32_in1k.py的配置文件
_base_ = [
'../_base_/models/resnet50.py', '../_base_/datasets/imagenet_bs32.py',
'../_base_/schedules/imagenet_bs256.py', '../_base_/default_runtime.py'
]
通过继承并修改配置文件的方式实现快速的自定义配置文件
例如,如果在 ResNet 的基础上做了一些修改,用户首先可以通过指定 base = './resnet50_8xb32_in1k.py'(相对于你的配置文件的路径),来继承基础的 ResNet 结构、数据集以及其他训练配置信息,然后修改配置文件中的必要参数以完成继承。如想在基础 resnet50 的基础上使用 CutMix 训练增强,将训练轮数由 100 改为 300 和修改学习率衰减轮数,同时修改数据集路径,可以建立新的配置文件 configs/resnet/resnet50_8xb32-300e_in1k.py, 文件中写入以下内容:
# 在 'configs/resnet/' 创建此文件
_base_ = './resnet50_8xb32_in1k.py'
# 模型在之前的基础上使用 CutMix 训练增强
model = dict(
train_cfg=dict(
augments=dict(type='CutMix', alpha=1.0)
)
)
# 优化策略在之前基础上训练更多个 epoch
train_cfg = dict(max_epochs=300, val_interval=10) # 训练300个 epoch,每10个 epoch 评估一次
param_scheduler = dict(step=[150, 200, 250]) # 学习率调整也有所变动
# 使用自己的数据集目录
train_dataloader = dict(
dataset=dict(data_root='mydata/imagenet/train'),
)
val_dataloader = dict(
batch_size=64, # 验证时没有反向传播,可以使用更大的 batchsize
dataset=dict(data_root='mydata/imagenet/val'),
)
test_dataloader = dict(
batch_size=64, # 测试时没有反向传播,可以使用更大的 batchsize
dataset=dict(data_root='mydata/imagenet/val'),
)
基于自定义数据集的配置文件参考如下设置:
# -*- coding: utf-8 -*-
# +
# 鍦?'configs/resnet/' 鍒涘缓姝ゆ枃浠?#_base_ = './resnet50_8xb32_in1k.py'
#数据集配置文件不继承,自己参考写一下,其他可继承做简单修改
_base_ = [
'../_base_/models/resnet50.py',
'../_base_/schedules/imagenet_bs256.py', '../_base_/default_runtime.py'
]
# +
# model settings
model = dict(
type='ImageClassifier',
backbone=dict(
type='ResNet',
depth=50,
num_stages=4,
out_indices=(3, ),
style='pytorch'),
neck=dict(type='GlobalAveragePooling'),
head=dict(
type='LinearClsHead',
num_classes=2,#注意修改为自己数据集的类别
in_channels=2048,
loss=dict(type='CrossEntropyLoss', loss_weight=1.0),
topk=(1, ),
))
# -
# 浼樺寲绛栫暐鍦ㄤ箣鍓嶅熀纭€涓婅缁冩洿澶氫釜 epoch
train_cfg = dict(max_epochs=100, val_interval=1) # 璁粌300涓?epoch锛屾瘡10涓?epoch 璇勪及涓€娆?#param_scheduler = dict(step=[30, 60, 90]) # 瀛︿範鐜囪皟鏁翠篃鏈夋墍鍙樺姩
# 数据集配置,自定义数据集类型为CustomDataset,修改类别数量
dataset_type = 'CustomDataset'
data_preprocessor = dict(
num_classes=2,
# RGB format normalization parameters
mean=[123.675, 116.28, 103.53],
std=[58.395, 57.12, 57.375],
# convert image from BGR to RGB
to_rgb=True,
)
train_pipeline = [
dict(type='LoadImageFromFile'),
dict(type='RandomResizedCrop', scale=224),
dict(type='RandomFlip', prob=0.5, direction='horizontal'),
dict(type='PackClsInputs'),
]
test_pipeline = [
dict(type='LoadImageFromFile'),
dict(type='ResizeEdge', scale=256, edge='short'),
dict(type='CenterCrop', crop_size=224),
dict(type='PackClsInputs'),
]
train_dataloader = dict(
batch_size=64,
num_workers=5,
dataset=dict(
type='CustomDataset',
data_prefix='xxx/train',#修改为训练集的路径
pipeline=[
dict(type='LoadImageFromFile'),
dict(type='RandomResizedCrop', scale=168, backend='pillow'),
dict(type='RandomFlip', prob=0.5, direction='horizontal'),
dict(type='PackClsInputs')
]),
sampler=dict(type='DefaultSampler', shuffle=True))
val_dataloader = dict(
batch_size=64,
num_workers=5,
dataset=dict(
type='CustomDataset',
data_prefix='xxx/val',#修改为验证集的
pipeline=[
dict(type='LoadImageFromFile'),
dict(type='ResizeEdge', scale=224, edge='short', backend='pillow'),
dict(type='CenterCrop', crop_size=168),
dict(type='PackClsInputs')
]),
sampler=dict(type='DefaultSampler', shuffle=False))
val_evaluator = dict(type='Accuracy', topk=(1, ))
test_dataloader = val_dataloader
test_evaluator = val_evaluator
4.单节点训练
python tool/tools/train.py configs/resnet/resnet50_8xb32_medical.py
后面脚本为3中的配置文件
训练过程中权重文件保存在work_dirs/下