为什么要用梯度下降而非直接求导

今天跑步的时候突然想到这个问题，为啥不直接算出导数为0时的参数值，而非要一步一步寻找呢？

• 解释：
  • 并不是所有的函数都可以根据导数求出取得0值的点的, 现实的情况可能是:
  • 1. 可以求出导数在每个点的值, 但是直接解方程解不出来。或者数据量大的时候需要求矩阵的逆，是非常非常消耗资源的，因此直接求导不可行
  • 2. 此外，当您只将一部分数据保留在内存中时，会出现梯度下降的版本，从而降低了对计算机内存的要求。总的来说，对于特大问题，它比线性代数解决方案更有效。当您有数千个变量（如机器学习）时，随着维度的增加，这变得更加重要。