转:图像比赛的通用套路
2018-09-13 本文已影响0人
带鱼去兜风
转:
采用预训练模型:可利用ImageNet上的参数
pytouch Model Zoo提供的模型
AlexNet VGG Inception ResNet DenseNet
下载了Github 下载从Tensorflow inception
Hyperdboard(Githubshang ) 训练记录曲线
0.0001是较好的学习率
80%/20% training/validing
数据增强:把原来的样本用数据的手段变得更多,防止过拟合的方法
提升模型:1、换取参数量更大的模型
2、不在卷积层改动,而是在全连接层进行改进
3、改动顶层
4、小模型拼接
5、batchnorm dropout L2
调参:阶段性降低学习率
记录数据结果
模型选择:
resnet/densenet
VGG/inception v3
TTA:在测试时对一个样本的不同增强进行预测,获得不同结果
将不同结果平均或投票获得最终结果
k折交叉验证
把数据 划分为5折,4折做训练集,1折做预测集
可以得到五个模型,一起展现性能,共享同一个划分,控制变量
模型集成阶段:把五个模型集成到一起,获得五个概率,
用ensemle selection的 average bagging 概率矩阵模型
attention stacking
stacking 每一个模型的每一个类上都有一个权重,不同模型对不同类的表现不一样
每一个类单独做一个单分类器,去预测17个结果,
对每一个类做多模型的softmax,使得参数加权为1,则其输出为其权重