SRL 状态表示学习(continuing)

SRL methods in the following text:

• Autoencoder (reconstruction loss)
• Denoising Autoencoder (DAE)
• Forward Dynamics model
• Inverse Dynamics model
• Reward prediction loss
• Variational Autoencoder (VAE) and beta-VAE
• Model with prior

---

Autoencoder

重构observation, 优化目标是最小化重构前后的observation error（准确说，是average reconstruction error）。即尽量使学得模型的输入和重构后输出相等。

autoencoder

observation(input)	reconstruction of observation

auto_encoder loss:

squared error	reconstruction cross_entropy

Denoising Autoencoder (DAE)

为防止过拟合，对输入数据加入噪音：以一定概率把输入层阶段值置为0，从而得到含噪音的输入。
优化目标是：最小化初始数据和根据加噪声后重构的数据误差，额看公式吧直接。

Denoising autoencoder

observation(input)	noised observation	reconstruction of noised observation

Denoising auto_encoder loss:
error representation: 略, 参照auto encoder

---

Forward Dynamics model

根据当前obs计算当前状态，并转换得到对下一时刻的状态估计。
优化目标：最小化对下一时刻的状态估计和下一时刻真实状态之间的误差。
学习两部分mapping转换：转换至，预测得

Forward model

current action	next observation	current state	next state	next state prediction

Forward model loss:

---

Inverse Dynamics model

根据当前状态和下一时刻状态预测动作.
优化目标：最小化所预测的动作和实际动作的误差.
学习两部分mapping转换：转换至，预测得

Inverse model

current action	current state	next state	prediction action

Inverse model loss:

---

Reward prediction loss

没查到，根据 srl_zoo 的实现推断如下：
根据当前状态和下一时刻状态预测奖励值（当前时刻的？）.
优化目标：最小化所预测的奖励和真实奖励之间的误差.

Reward prediction loss

current state	next state	actual reward	prediction reward

Reward model loss:

---

Model with prior

使用先验知识来约束状态空间，通过约束或先验来反应agent与对象或环境的连续性或因果关系。
优化目标：最小化先验（作为损失函数）—— 当前状态和下一时刻状态间的误差。

Prior model

Prior model loss:

---

Variational Autoencoder (VAE) and beta-VAE

这个还挺难呢, 下次完成。