.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.

.前言：

文章以Andrew Ng 的 deeplearning.ai 视频课程为主线，记录Programming Assignments 的实现过程。相对于斯坦福的CS231n课程，Andrew的视频课程更加简单易懂，适合深度学习的入门者系统学习！

本次作业主要针对网络权重的初始化，对于不同的初始化方式可能最后对网络的训练结果产生不同的影响！

1.1 Dataset

首先我们看一下样本的集合

train_X, train_Y, test_X, test_Y = load_dataset()

1.2 Neural Network model

我们定义了一个3层的神经网络，对于weight的初始化方式有3种：Zeros initialization，Random initialization，He initialization，对于bias的初始化一般都置为0,，代码如下：

def model(X, Y, learning_rate = 0.01, num_iterations = 15000, print_cost = True, initialization = "he"):

grads = {}

costs = [] 

m = X.shape[1] 

layers_dims = [X.shape[0], 10, 5, 1]

if initialization == "zeros":

parameters = initialize_parameters_zeros(layers_dims)

elif initialization == "random":

parameters = initialize_parameters_random(layers_dims)

elif initialization == "he":

parameters = initialize_parameters_he(layers_dims)

for i in range(0, num_iterations):

a3, cache = forward_propagation(X, parameters)

cost = compute_loss(a3, Y)

grads = backward_propagation(X, Y, cache)

parameters = update_parameters(parameters, grads, learning_rate)

if print_cost and i % 1000 == 0:

print("Cost after iteration {}: {}".format(i, cost))

costs.append(cost)

plt.plot(costs)

plt.ylabel('cost')

plt.xlabel('iterations (per hundreds)')

plt.title("Learning rate =" + str(learning_rate))

plt.show()

return parameters

1.3 Zero Initialization

对于全0的weight初始化方式为：

def initialize_parameters_zeros(layers_dims):

L=len(layers_dims)

parameters={}

for i in range(1,L):

parameters["W"+str(i)]=np.zeros((layers_dims[i],layers_dims[i-1]))

parameters["b"+str(i)]=np.zeros((layers_dims[i],1))

return parameters

在全0初始化的情况下训练结果如下：

parameters = model(train_X, train_Y, initialization = "zeros")

print ("On the train set:")

predictions_train = predict(train_X, train_Y, parameters)

print ("On the test set:")

predictions_test = predict(test_X, test_Y, parameters)

从训练结果可以看出在全零初始化的情况下，权重不能进行有效的学习，因为梯度都是0，学不到东西，在这种情况下可见准确率也是最差的。

我们看一下这种情况下的decision boundary

plt.title("Model with Zeros initialization")

axes = plt.gca()

axes.set_xlim([-1.5,1.5])

axes.set_ylim([-1.5,1.5])

plot_decision_boundary(lambda x: predict_dec(parameters, x.T), train_X, train_Y)

可以看出对数据集并没有好的拟合。

1.4 Random Initialization

我们再看一下随机初始化的方式，在这种方式下将会产生均值为0的标准正态分布数据

def initialize_parameters_random(layers_dims):

np.random.seed(3)              

parameters = {}

L = len(layers_dims)           

for i in range(1, L):

parameters["W"+str(i)]=np.random.randn(layers_dims[i],layers_dims[i-1])*10

parameters["b"+str(i)]=np.zeros((layers_dims[i],1))

return parameters

训练过程如下：

parameters = model(train_X, train_Y, initialization = "random")

print ("On the train set:")

predictions_train = predict(train_X, train_Y, parameters)

print ("On the test set:")

predictions_test = predict(test_X, test_Y, parameters)

在这种情况下准确率能达到86%，较好的拟合了数据，我们看一下形成的decision boundary

plt.title("Model with large random initialization")

axes = plt.gca()

axes.set_xlim([-1.5,1.5])

axes.set_ylim([-1.5,1.5])

plot_decision_boundary(lambda x: predict_dec(parameters, x.T), train_X, train_Y)

从decision boundary中我们也可以看出，随机初始化较好的拟合了数据

1.5 He Initialization

He Initialization 是一种较新的初始化方式，类似于随机初始化，但是差别在于在随机初始化的基础上乘以 sqrt(2/dimension of the previous layer)，实现代码如下：

def initialize_parameters_he(layers_dims):

np.random.seed(3)

parameters = {}

L = len(layers_dims) # integer representing the number of layers

for i in range(1, L):

parameters["W" + str(i)] = np.random.randn(layers_dims[i], layers_dims[i - 1]) * np.sqrt(2 / layers_dims[i - 1])

parameters["b" + str(i)] = np.zeros((layers_dims[i], 1))

return parameters

训练结果如下：

parameters = model(train_X, train_Y, initialization = "he")

print ("On the train set:")

predictions_train = predict(train_X, train_Y, parameters)

print ("On the test set:")

predictions_test = predict(test_X, test_Y, parameters)

我们再看一下decision boundary的情况：

plt.title("Model with He initialization")

axes = plt.gca()

axes.set_xlim([-1.5,1.5])

axes.set_ylim([-1.5,1.5])

plot_decision_boundary(lambda x: predict_dec(parameters, x.T), train_X, train_Y)

在这种情况下能达到最高的准确率，数据拟合程度最好。

当然针对于不同的target，权重初始化的方式可能不同，不一定在所有的任务中He Initialization的方式都是完美的方式。

最后附上我作业的得分，表示我程序没有问题，如果觉得我的文章对您有用，请随意打赏，我将持续更新Deeplearning.ai的作业！