计算图和计算图的导数计算

• 前向传播
  计算出神经网络的输出
• 反向传播
  计算梯度或导数

logistic回归中的梯度下降 (单个样本实例)

思路：求dw,用链式法则求导，具体实例如下：

屏幕快照 2018-02-17 下午10.11.17.png

m个样本的梯度下降

思路：算先求和再求导可以用先求导再求和
用python实现两个循环，一个循环遍历所有样本，一个循环遍历所有特征。但缺点：for显式遍历，慢。 如下：

屏幕快照 2018-02-17 下午10.11.45.png

向量化

避免显式使用for，而是numpy，废话不多说，直接上代码

屏幕快照 2018-02-17 下午10.12.30.png