深度学习中的一些基础概念—持续更新
2020-03-12 本文已影响0人
不分享的知识毫无意义
这篇文章当一个学习笔记吧,记录一些学习过程中遇到的一些概念,重要性部分前后顺序。
1.batch和epoch
这两个概念的产生背景为,你把全部的样本都代入神经网络训练,计算量太大,因此一次可以只选取一部分数据参与训练。
batch:每次参与训练的一批数据,大小就是batchsize
epoch:所有样本参与一次训练就是一个epoch
iteration:使用一个batch参与一次训练就是一个iteration
例:500个样本,每次选50个数据参与训练,50就是batchsize,所有样本训练完一次iteration是10,epoch是1。
2.训练集、验证集和测试集
关于训练集和测试集没啥好说的,训练集就是训练权重的,测试集就是检验模型的效果的。
验证集,验证集是为了调整模型的超参数的,超参数是啥,想象一下,学习率,模型的结构这些都是超参数。
3.SAME和valid
same和valid是卷积神经网络中的填充方案,但是填充的逻辑不一样。
valid是直接丢弃,即不够卷积计算的部分,不要了。
same是填充,左奇右偶的方式。
显然一般用same这种方式就可以了。