强化学习随想1

强化学习算法从不同方面有多种分类方式，根据是否构建问题模型可以分为无模型算法和基于模型的算法；根据执行策略和评估策略是否一致，可以分为同步策略算法和异步策略算法；根据算法更新策略，分为回合更新的蒙特卡罗算法和单步更新的时间差分算法。另外，根据智能体动作选取方式，可将强化学习算法分为基于值、基于策略以及结合值和策略三种算法，这也是当前最主流的分类方式。
基于值的强化学习算法通过获取最优价值函数，选取最大价值函数对应的动作，隐式地构建最优策略。代表性算法包括Q-learning、SARSA，以及与深度学习结合后的Deep Q-Network（DQN）算法。此类方法大多通过动态规划或值函数估计方法获取最优价值函数，且为了保证效率采用时间差分方法进行单步或者多步更新，而不是蒙特卡洛回合更新方式。基于值的强化学习算法具备样本利用率较高、价值函数估值方差小、不易陷入局部最优的优点，但是此类算法只能解决离散动作空间问题，容易出现过拟合，且可以处理的问题复杂度非常受限。同时，由于动作选取对价值函数的变化十分敏感，基于值的强化学习方法收敛性质较差。
基于策略的强化学习算法是跨越值函数计算，直接进行最佳策略搜索。基于策略的强化学习算法通过最大化累积奖励来更新策略参数，相比于基于值的强化学习算法，基于策略的强化学习算法具备离散和连续空间问题的处理能力，并且具有更好的收敛性，但是与此同时，基于策略的方法收敛轨迹方差大、样本利用率低、容易陷入局部最优也是当前面临的重要问题。
执行者-评论者（actor-critic）算法将基于值的强化学习算法（对应评论者，critic）与基于策略的强化学习算法（对应执行者，actor）方法进行结合，同时学习策略和价值函数。Actor根据critic反馈的价值函数训练策略，而critic训练值函数，使用时间差分法进行单步更新。通常情况下，执行者-评论者方法被认为是一类基于策略的方法，特殊之处在于使用价值作为策略梯度的基准，是基于策略的方法对估计方差的改进。执行者-评论者兼备基于策略的方法和基于值方法两方面的优势，值函数估计方差小、样本利用率高，算法整体的训练速度快。与此同时，执行者-评论者方法也继承了相应缺点，例如actor对样本的探索不足，critic 容易陷入过拟合的困境。并且，本身不易收敛的critic在与actor结合后，收敛性质更差。
综上所述，由于强化学习“交互-试错”的基础学习机制，使其常常面临状态-动作空间的维度灾难、探索与利用的矛盾、时间信度分配等问题。状态和动作维度过高，使得Agent在巨大的状态-动作空间下，很难或根本无法遍历所有情况，导致算法无法学习到合理的策略。在训练过程中，Agent需要利用已有经验选择能够获得奖励最大的动作，另一方面需要扩大搜索范围，选择从未选择过的动作，探索未知，以期获取更优决策。环境的反馈信号具有延迟性和稀疏性，即Agent在执行多步动作之后才会获得奖励，中间动作无反馈信号。解决上述问题的一个直观方法就是对人类的先验知识加以充分利用，指导模型学习过程。