#充实自我63# 读《深度学习的数学》之向量应用

今天微信读书，偶尔看到一本推荐的书籍《深度学习的数学》，主要讲的是深度学习中的数学应用与数学原理、觉得很有趣。记下一个比较有意思的点。

梯度下降法的向量原理

研究生时期，学习高等运筹学，学得稀里糊涂，只是知道了怎么用一些算法，对其中的逻辑并不清楚。今天看这本书，对其中的梯度下降法有了新的认识。

梯度下降法是以内积为基础。内积是两个向量的乘积。当然向量是有方向的。基于此，用内积来表示两个向量多大程度上指向相同的方向。如果将方向相似判断为“相似”，则两向量相似时，内积变大。这时卷积神经网络中的基本观点。

按照这个观点，当向量a和向量b之间的夹角为零时，二者最相似；

当向量a和向量b之间的夹角为180度时，最不相似；

根据这个观点，就可以把人工神经网络中的输入表示为内积的形式；

然后根据夹角关系就可以判断相应的相似性大小、而人工神经网络也是根据神经元的输入来判断输出，输入就表示为一系列的带方向的变量和相应权重的乘积，也就可以表示为向量的内积。

这提起了我理解人工神经网络的兴趣，也引起了我把这本书读完的积极性。