1. OpenAI Gym安装

安装

本人环境是Ubuntu16.04 + anaconda + Python3.6.2

git clone https://github.com/openai/gym
cd gym
sudo pip install -e .[all]

这里pip install -e .[all]是安装所有的environment，如果不想这么做可以pip install -e .安装基本项，之后手动安装所需要的environment。注意要使用管理员权限来安装，否则会报错！

helloworld

安装完成后，我们运行一个小的demo验证是否顺利安装，这里用CartPole-v0 下的1000帧验证：

import gym
env = gym.make('CartPole-v0')
env.reset()  #重置环境
for _ in range(1000):  #1000帧
    env.render()  #每一帧重新渲染环境
    env.step(env.action_space.sample()) # take a random action

运行结果应当是这样的：

正常来说我们应当在立杆滑出屏幕之前把环境停止掉，之后的会介绍。

如果想看看别的环境是什么样子的，可以将CartPole-v0替换成MountainCar-v0, MsPacman-v0等，这些环境都来自Env基类。

可以查看OpenAI Gym所有环境的列表：

from gym import envs
print(envs.registry.all())

2. OpenAI Gym使用

Observation（观察）

上面helloworld的例子中，action是随机的，如果想要在每个步骤中做出比采取随机行动更好的action，那么实际了解action对环境的影响可能会很好。

环境的step 函数返回需要的信息，step 函数返回四个值observation、reward、done、info，下面是具体信息：

• observation (object):一个与环境相关的对象描述你观察到的环境，如相机的像素信息，机器人的角速度和角加速度，棋盘游戏中的棋盘状态。
• reward (float):先前行为获得的所有回报之和，不同环境的计算方式不 一，但目标总是增加自己的总回报。
• done (boolean): 判断是否到了重新设定(reset)环境，大多数任务分为明确定义的episodes，并且完成为True表示episode已终止。
• info (dict):用于调试的诊断信息，有时也用于学习，但正式的评价不允许使用该信息进行学习。 这是一个典型的agent-environment loop 的实现。

每一个时间步长，Agent 都选择一个action，Environment返回一个observation和reward。

这段代码中，每次done返回True（立杆将要倒下去的时候）重置环境，然后每一帧都返回Observation来监视当前模型。

Spaces（空间）

之前的示例都用了随机action，那么这些action是如何表示的呢？每个环境都带有描述有效动作和观察结果的一级Space对象：

import gym
env = gym.make('CartPole-v0')
print(env.action_space)
#> Discrete(2)
print(env.observation_space)
#> Box(4,)

Discrete space 允许固定范围的非负数。这个例子里，立杆的运动只有向左和向右，因此在这种情况下，有效的动作是0或1. Box空间表示一个n维框，这个示例中立杆在一个二维空间中，所以有效的观察将是4个数字的数组。 也可以检查Box的范围：

print(env.observation_space.high)
#> array([ 2.4       ,         inf,  0.20943951,         inf])
print(env.observation_space.low)
#> array([-2.4       ,        -inf, -0.20943951,        -inf])

Box和Discrete是最常用的spaces，可以从space进行抽样或检查属于它的内容：

from gym import spaces
space = spaces.Discrete(8) # Set with 8 elements {0, 1, 2, ..., 7}
x = space.sample()
assert space.contains(x)
assert space.n == 8

很多环境中这些spaces数据并不是像这个简单的示例这么直观，不过只要你的模型足够优秀，自己没必要试着解释这些数据。