激活函数

tf.nn.relu：Computes rectified linear: `max(features, 0)`。计算修正线性单元(非常常用)：max(features, 0).并且返回和feature一样的形状的tensor。

使用 ReLU 得到的SGD的收敛速度会比 sigmoid/tanh 快很多(右图)。相比于 sigmoid/tanh，ReLU 只需要一个阈值就可以得到激活值，而不用去算一大堆复杂的运算。

ReLU 的缺点：训练的时候很容易就”die”了。