深度学习中常用概念和术语
2017-07-24 本文已影响0人
素娜93
下面将按照三个主题来介绍常用的概念和术语：
1、神经网络(Neural Network)
2、卷积神经网络(Convolutional Neural Network)
3、循环神经网络(Recurrent Neural Networks)
神经网络
神经网络的定义：神经网络由许多相互关联的概念化的人造神经元组成，它们之间传递相互数据，并且具有根据网络”经验“调整的相关权重。神经元具有激活阈值，如果通过其相关权重的组合和传递给他们的数据满足这个阈值的话，其将被激活;发射神经元的组合导致“学习”。
神经元（Neuron）
权重（Weights）
偏差（Bias）
激活函数（Activation Function）：常用的激活函数有Sigmoid、ReLUctant、Softmax
输入/输出、隐藏层（Input / Output / Hidden Layer）
多层感知机（MLP：Multi-Layer Perception）
正向传播（Forward Propagation）
反向传播（BackPropagation）
成本函数/损失函数（Cost Function）
梯度下降（Gradient Descent)
学习率（Learning Rate）
批次（Batches）
丢弃（Dropout）
批量归一化（Batch Normalization）
卷积神经网络
滤波器（Filters）
池化（Pooling）
填充（Padding）
数据增强（Data Augmentation）
循环神经网络
消失梯度问题（Exploding Gradient Problem）
激增梯度问题（Exploding Gradient Problem）
