全连接卷积神经网络 FCN

(一)全连接卷积神经网络(FCN)

(1) 全连接卷积神经网络简介

FCN是深度神经网络用于语义分割的奠基性工作，到现在用的不是特别多。它利用转置卷积层来替换CNN最后的全连接层，从而可以实现每个像素点的预测。

详细来说，就是使用转置卷积层替换掉了原来CNN神经网络的的全局平均池化层和全连接层。

首先连接一个（1，1）的卷积层用于降低feature map的通道数。接下来就是一个转置卷积层，作用是把图片放大，这一层的通道数代表的是有多少个类。

（二）代码实现

%matplotlib inline
import torch 
import torchvision 
from torch import nn 
from torch.nn import functional as F 
from d2l import torch as d2l 

# 我们重用Imagenet数据集上的ResNet18来提取图像特征
# pretrained_net = torchvision.models.resnet18(pretrained = True) # 旧版本的写法
pretrained_net = torchvision.models.resnet18(weights=torchvision.models.ResNet18_Weights.IMAGENET1K_V1) # 新版本的写法
list(pretrained_net.children())[-3:] # 最后的两层是需要去掉的

# 创建一个全卷积网络实例net 
net = nn.Sequential(*list(pretrained_net.children())[:-2])
x = torch.rand((1,3,320,480))
net(x).shape

# 首先使用（1，1）的卷积层将输出通道数转换为Pascal VOC2012数据集的类数。
# 然后将feature map的宽高增加32倍.torch.Size([1, 21, 320, 480])
num_classes = 21
net.add_module('final_conv',nn.Conv2d(512,num_classes,kernel_size=1))
net.add_module('trans_conv',nn.ConvTranspose2d(in_channels=num_classes,out_channels=num_classes,kernel_size=64,padding=16,stride=32))

在图像处理中，我们有时需要将图像放大，即上采样（upsampling）。
双线性插值（bilinear interpolation）
是常用的上采样方法之一，它也经常用于初始化转置卷积层。

为了解释双线性插值，假设给定输入图像，我们想要计算上采样输出图像上的每个像素。
首先，将输出图像的坐标映射到输入图像的坐标上。
例如，根据输入与输出的尺寸之比来映射。
请注意，映射后的和是实数。
然后，在输入图像上找到离坐标最近的4个像素。
最后，输出图像在坐标上的像素依据输入图像上这4个像素及其与的相对距离来计算。

举个例子：原来的图象x的形状是（3，3）我们要把它放大到形状为为（4，4）的图像y. x/y = 3/4. 那么在y[2，1]在x上的映射是什么？x[23/4, 13/4] = x[1.5, 0.75]，这个值在x上是不存在的。它位于四个像素的中间。双线性插值就是四个点乘以一定的权重累加的结果。

教程：https://www.bilibili.com/video/BV1Xy4y1i7hy?spm_id_from=333.337.search-card.all.click&vd_source=9e5b81656aa2144357f0dca1094e9cbe

其实做随机初始化也不是不可以，说不定效果还会好一些。

# 双线性插值初始化kernel 
def bilinear_kernel(in_channels, out_channels, kernel_size):
    factor = (kernel_size + 1) // 2
    if kernel_size % 2 == 1:
        center = factor - 1
    else:
        center = factor - 0.5
    og = (torch.arange(kernel_size).reshape(-1, 1),
          torch.arange(kernel_size).reshape(1, -1))
    filt = (1 - torch.abs(og[0] - center) / factor) * \
           (1 - torch.abs(og[1] - center) / factor)
    weight = torch.zeros((in_channels, out_channels,
                          kernel_size, kernel_size))
    weight[range(in_channels), range(out_channels), :, :] = filt
    return weight

conv_trans = nn.ConvTranspose2d(3, 3, kernel_size=4, padding=1, stride=2,
                                bias=False)
conv_trans.weight.data.copy_(bilinear_kernel(3, 3, 4))

img = torchvision.transforms.ToTensor()(d2l.Image.open('../img/catdog.jpg'))
X = img.unsqueeze(0)
Y = conv_trans(X)
out_img = Y[0].permute(1, 2, 0).detach()

d2l.set_figsize()
print('input image shape:', img.permute(1, 2, 0).shape)
d2l.plt.imshow(img.permute(1, 2, 0))
print('output image shape:', out_img.shape)
d2l.plt.imshow(out_img)

def load_data_voc(batch_size, crop_size):
    """加载VOC语义分割数据集"""
    voc_dir = "../data/VOCdevkit/VOC2012"
    num_workers = d2l.get_dataloader_workers()
    train_iter = torch.utils.data.DataLoader(
        d2l.VOCSegDataset(True, crop_size, voc_dir), batch_size,
        shuffle=True, drop_last=True, num_workers=num_workers)
    test_iter = torch.utils.data.DataLoader(
        d2l.VOCSegDataset(False, crop_size, voc_dir), batch_size,
        drop_last=True, num_workers=num_workers)
    return train_iter, test_iter

# 用双线性插值的上采样初始化转置卷积层，
# 对于（1，1）的卷积使用Xavier初始化
W = bilinear_kernel(num_classes, num_classes, 64)
net.trans_conv.weight.data.copy_(W)

batch_size, crop_size = 32, (320, 480)
train_iter, test_iter = load_data_voc(batch_size, crop_size)

def loss(inputs, targets):
    # print(targets.shape) # torch.Size([32, 320, 480])
    # 如果输入是：(1,3,12,12)
    # print(loss.shape) # torch.Size([1, 12, 12])
    # print(loss.mean(1).shape) # torch.Size([1, 12])
    # print(loss.mean(1).mean(1).shape) # torch.Size([1])
    return F.cross_entropy(inputs, targets, reduction='none').mean(1).mean(1)

num_epochs, lr, wd, devices = 1, 0.001, 1e-3, d2l.try_all_gpus()
trainer = torch.optim.SGD(net.parameters(), lr=lr, weight_decay=wd)
d2l.train_ch13(net, train_iter, test_iter, loss, trainer, num_epochs, devices)

def predict(img):
    X = test_iter.dataset.normalize_image(img).unsqueeze(0)
    pred = net(X.to(devices[0])).argmax(dim=1)
    return pred.reshape(pred.shape[1], pred.shape[2])

def label2image(pred):
    colormap = torch.tensor(d2l.VOC_COLORMAP, device=devices[0])
    X = pred.long()
    return colormap[X, :]

# voc_dir = d2l.download_extract('voc2012', 'VOCdevkit/VOC2012')
voc_dir = "../data/VOCdevkit/VOC2012"
test_images, test_labels = d2l.read_voc_images(voc_dir, False)
n, imgs = 4, []
for i in range(n):
    crop_rect = (0, 0, 320, 480)
    X = torchvision.transforms.functional.crop(test_images[i], *crop_rect)
    pred = label2image(predict(X))
    imgs += [X.permute(1,2,0), pred.cpu(),
             torchvision.transforms.functional.crop(
                 test_labels[i], *crop_rect).permute(1,2,0)]
d2l.show_images(imgs[::3] + imgs[1::3] + imgs[2::3], 3, n, scale=2)