生活的困境与局部最小值

2019年6月14日，惊闻老家的堂弟自杀，悲痛之余，有一些感想。

我一直觉得，人一辈子，总会有走不出来的困境，想要自杀的冲动，也许大部分人没有突破动物的求生本能，随着时间就慢慢平复了，而另一些人，即便是时间也无法让他的悲痛消除，在困境中愈演愈烈，走向绝境。

机器学习中有一个经典问题，如何解决梯度下降算法的局部最小值。

梯度下降算法，带入到生活中，我想可以这么理解：人会对日常中接触到的事情尝试找到最优解，过程是不断迭代的：尝试一下，根据反馈做调整，再尝试一下，直到找到最优解。

陷阱就在这里。

梯度下降算法往往会陷入局部最小值（Local Minima），在局部最小值，迭代的信息会告诉你，周围没有比这更低的点了，这就是最优解，而实际上，这远不是全局最优解（Global Minima）。

而处在局部最小值点的人，就陷入了生活的困境。他们挣扎、困顿，不断的与周围的事物迭代试图找到最优解，而他接触到的信息则不断告诉他，你已经走投无路了。就好像笼中困兽以头戗壁，做的越多，越绝望。

好消息是，研究表明，局部最小值往往仅存在于低维空间中，对于高维空间，局部最小值要求在每一个维度上都是最小值，这种概率非常低。举个例子：你生活中接触到的事情就男（女）朋友、工作，结果有一天分手同时被裁了，于是你陷入了生活的困境。但是如果你生活中除了这些还有很多其他的事情，那同时都丧的概率就低多了。

所以，关键在于，当你陷入了生活的困境，其实是你接触到的信息让你误以为自己陷入了无法自拔的困境，这时候，你也许需要换个环境，接触点不同的信息。