神经常微分方程(Chen et al. 1806.07366)
2018-12-30 本文已影响1人
Kernholz
本文是NIPS2018最佳论文。
传统的神经网络会使用一系列的离散隐藏层,而这篇文章利用一个神经网络将隐藏状态的微分进行了参数化。这一神经网络的输出由一个黑箱的微分方程求解器进行计算求解。像这样的连续深度神经网络具有常量的内存消耗,可以根据每一个输入自适应地调整求值策略,并可以显式地进行数值精度和求解速度之间的交换。
本文具体介绍了以下四个实例:
- 连续深度残差网络
- 连续深度潜变量网络
- 连续正则流——一个可以利用极大似然进行训练的生成模型,该模型不需要对数据维进行分片或排序
- 利用任意ODE求解器进行可伸缩的反向传播——这一方法不需要知道该求解器的内部结构。