文章点评CV10-Embed to Control: A Loc

1.文章基本信息

• 文章网址http://papers.nips.cc/paper/5964-embed-to-control-a-locally-linear-latent-dynamics-model-for-control-from-raw-images.pdf
• NIPS, 2016, cited by 310+
• 机器人重要的是Perception和Control，本文利用hidden space同时进行Perception的表达和control的表达，将这两个问题集成起来处理。也就是表示学习，使得学习的特征适合做control。这是本文最大的贡献吧。
• 问题：这个文章一看就不是搞robot的人做的，都是机器学习的这一套。问题1，观测x是隐状态z的全面描述，这个假设太强。问题2，实验太toy了，并且没有和传统的perception+control套路进行对比，一比较的话应该没有优势。

2. 方法

论文方法图

• 假设：For simplicity, we will in the following assume that is a fully observed depiction of ( system state). 我认为，这是一个过于强的假设，在实际应用中存在很大的挑战。
• 在t和t+1时刻，分别用VAE抽取stochastic的特征；
• 将t时刻的特征, 前向预测一波。利用局部线性的约束，预测的均值和方差都可近似表达，是文章的一个创新点。
• 约束预测和观测量之间的距离，尽量 接近。
• 没有像传统Kalman一样，结合预测和观测，得到更加精确的推断。

3. 实验

隐空间流形

• 左边是真正的隐空间，右边是学习方法得到的隐空间，可以发现作者提出的E2C在这个案例中，比VAE要好很多。

• 其他四个实验都很简单，主要是前提很简单，图像只有80*80大小，纯仿真。表明E2C在倒立摆实验，cart-pole实验，都能取得成功。

4. 遗留的问题

控制算法MPC(model predictive control)作者提到了两个具体的算法,由于以前没接触控制，不是很懂：

• iLQR， Iterative Linear Quadratic Regulator Design for Nonlinear Biological Movement
  Systems. 已经解决，http://rail.eecs.berkeley.edu/deeprlcourse-fa18/static/slides/lec-10.pdf这是 Sergey Levine很好的教程。

• AICO ，Robot Trajectory Optimization using Approximate Inference

看完喜欢，记得点赞！有问题，也欢迎提出讨论。