PyTorch 知识

2019-10-09  本文已影响0人  SnorlaxSE

PyTorch使用总览

原文链接：https://blog.csdn.net/u014380165/article/details/79222243

参考：PyTorch学习之路（level1）——训练一个图像分类模型、PyTorch学习之路（level2）——自定义数据读取、PyTorch源码解读之torchvision.transforms、PyTorch源码解读之torch.utils.data.DataLoader、PyTorch源码解读之torchvision.models

一、数据读取

官方代码库中有一个接口例子：torchvision.ImageFolder -- 针对的数据存放方式是每个文件夹包含一个类的图像，但往往实际应用中可能你的数据不是这样维护的，此时需要自定义一个数据读取接口（使用PyTorch中数据读取基类：torch.utils.data.Dataset）

数据读取接口
class customData(data.Dataset):

    def __init__(self, root, transform=None, target_transform=None,
                 loader=default_loader):
        """
        提供数据地址(data path)、每一文件所属的类别(label)，and other Info wanted(transform\loader\...) --> self.(attributes)
        
        :param root(string): Root directory path.
        :param transform (callable, optional): A function/transform that  takes in an PIL image and returns a transformed version. E.g, ``transforms.RandomCrop``
        :param target_transform(callable, optional): A function/transform that takes in the target and transforms it. 
        :param loader (callable, optional): A function to load an image given its path. 
        
        the data loader where the images are arranged in this way: ::
                root/class_1_xxx.png    
                root/class_2_xxx.png
        ...
                root/class_n_xxx.png    # 此例中，文件名包含label信息，__init__中可不需要额外提供
            
        """
        self.dataset = [os.path.join(root, npy_data) for npy_data in os.listdir(root)]  # 整个数据集（图像）文件的路径
                
                self.transform = transform  # (optional)
        self.target_transform = target_transform    # (optional)
        self.loader = loader    # (optional)
        
    def __getitem__(self, index):
        """
        :return 相应index的data && label

                """
        data = np.load(self.dataset[index])
        
        if self.transform is not None:  # (optional)
            img = self.transform(img)
        if self.target_transform is not None:  # (optional)
            target = self.target_transform(target)
        
        label_txt = self.dataset[index].split('/')[-1][:2]  # (class_n)_xxxx.npy → (class_n)

        if label_txt == 'class_1':
            label = 0
        elif label_txt == 'class_2':
            label = 1
        else:
            raise RuntimeError('Now only support class_1 vs class_2.')

        return data, label

    def __len__(self):
        """
                :return 数据集数量
                
        """
        return len(self.dataset)

上述提到的transforms数据预处理，可以通过torchvision.transforms接口来实现。具体请看博客：PyTorch源码解读之torchvision.transforms

接口调用
root_dir = r'xxxxxxxx'  
image_datasets = {x: customData(root=root_dir+x) for x in ['train', 'val', 'test']}

返回的image_datasets（自定义数据读取接口）就和用torchvision.datasets.ImageFolder类（官方提供的数据读取接口）返回的数据类型一样

数据迭代器封装
dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=4)
                   for x in ['train', 'valid', 'test']}

torch.utils.data.DataLoader接口将每个batch的图像数据和标签都分别封装成Tensor，方便以batch进行模型批训练，具体可以参考博客： PyTorch源码解读之torch.utils.data.DataLoader

至此，从图像和标签文件就生成了Tensor类型的数据迭代器，后续仅需将Tensor对象用torch.autograd.Variable接口封装成Variable类型（比如train_data=torch.autograd.Variable(train_data)，如果要在gpu上运行则是：train_data=torch.autograd.Variable(train_data.cuda())）就可以作为模型的输入

二、网络构建

PyTorch框架中提供了一些方便使用的网络结构及预训练模型接口：torchvision.models，具体可以看博客：PyTorch源码解读之torchvision.models。该接口可以直接导入指定的网络结构，并且可以选择是否用预训练模型初始化导入的网络结构。示例如下：

import torchvision
model = torchvision.models.resnet50(pretrained=True)  # 导入resnet50的预训练模型

那么如何自定义网络结构呢？在PyTorch中，构建网络结构的类都是基于torch.nn.Module这个基类进行的，也就是说所有网络结构的构建都可以通过继承该类来实现，包括torchvision.models接口中的模型实现类也是继承这个基类进行重写的。自定义网络结构可以参考：1、https://github.com/miraclewkf/MobileNetV2-PyTorch。该项目中的MobileNetV2.py脚本自定义了网络结构。2、https://github.com/miraclewkf/SENet-PyTorch。该项目中的se_resnet.py和se_resnext.py脚本分别自定义了不同的网络结构。

如果要用某预训练模型为自定义的网络结构进行参数初始化，可以用torch.load接口导入预训练模型，然后调用自定义的网络结构对象的load_state_dict方式进行参数初始化，具体可以看https://github.com/miraclewkf/MobileNetV2-PyTorch项目中的train.py脚本中if args.resume条件语句（如下所示）。

if args.resume:
  if os.path.isfile(args.resume):
    print(("=> loading checkpoint '{}'".format(args.resume)))
    checkpoint = torch.load(args.resume)
    base_dict = {'.'.join(k.split('.')[1:]): v for k, v in list(checkpoint.state_dict().items())}
    model.load_state_dict(base_dict)
    else:
      print(("=> no checkpoint found at '{}'".format(args.resume)))

三、其他设置

优化函数通过torch.optim包实现，比如torch.optim.SGD()接口表示随机梯度下降。更多优化函数可以看官方文档：http://pytorch.org/docs/0.3.0/optim.html。

学习率策略通过torch.optim.lr_scheduler接口实现，比如torch.optim.lr_scheduler.StepLR()接口表示按指定epoch数减少学习率。更多学习率变化策略可以看官方文档：http://pytorch.org/docs/0.3.0/optim.html。

损失函数通过torch.nn包实现，比如torch.nn.CrossEntropyLoss()接口表示交叉熵等。

多GPU训练通过torch.nn.DataParallel接口实现，比如：model = torch.nn.DataParallel(model, device_ids=[0,1])表示在gpu0和1上训练模型。

模块解读

torch.utils.data.DataLoader

将数据读取接口的输入按照batch size封装成Tensor，后续只需要再包装成Variable即可作为模型的输入，因此该接口有承上启下的作用

源码地址：https://github.com/pytorch/pytorch/blob/master/torch/utils/data/dataloader.py

示例：

dataloaders = {x: torch.utils.data.DataLoader(image_datasets[x], batch_size=batch_size, shuffle=True, num_workers=4)
                   for x in ['train', 'valid', 'test']}

从torch.utils.data.DataLoader类生成的对象中取数据：

train_data=torch.utils.data.DataLoader(...)
for i, (input, target) in enumerate(train_data):
    # ...
    pass

此时，调用DataLoader类的__iter__方法 ⤵️：

    def __iter__(self):
        if self.num_workers == 0:
            return _SingleProcessDataLoaderIter(self)
        else:
            return _MultiProcessingDataLoaderIter(self)

使用队列queue对象，完成多线程调度；通过迭代器iter，完成batch更替（详情读源码）

torchvision.transforms

基本上PyTorch中的data augmentation操作都可以通过该接口实现，包含resize、crop等常见的data augmentation操作

示例：

import torchvision
import torch
train_augmentation = torchvision.transforms.Compose([torchvision.transforms.Resize(256),
                                                     torchvision.transforms.RandomCrop(224),                                                                            
                                                     torchvision.transofrms.RandomHorizontalFlip(),
                                                     torchvision.transforms.ToTensor(),
                                                     torch vision.Normalize([0.485, 0.456, -.406],[0.229, 0.224, 0.225])
                                                     ])

class custom_dataread(torch.utils.data.Dataset):  # 数据读取接口
    def __init__():
        ...
    def __getitem__():
        # use self.transform for input image
    def __len__():
        ...

train_loader = torch.utils.data.DataLoader(  # 数据迭代器
    custom_dataread(transform=train_augmentation),
    batch_size = batch_size, shuffle = True,
    num_workers = workers, pin_memory = True)

这里定义了resize、crop、normalize等数据预处理操作，并最终作为数据读取类custom_dataread的一个参数传入，可以在内部方法__getitem__中实现数据增强操作。

源码地址：transformas.py --- 定义各种data augmentation的类、functional.py --- 提供transformas.py中所需功能函数的实现

上一篇下一篇

猜你喜欢

热点阅读