当 RL4J（DL4J） 遇到 LIBGDX ----1
前言：
*该文章需要一定的深度学习基础和游戏基础（因为是随手写的可能有比较多的BUG，注释也没写多少，请见谅）
首先我想说，两个东西都是开源的，bug多也是很正常，其次这两个的资源也很少，DL4J基本上是用于分布式框架的，而LIBGDX 是一个开源且很多源码是C++写的所以很高效，这两个框架搭配起来在游戏AI方面也算是不错的了。
前置知识：
莫烦大佬的强化学习的相关知识：https://www.bilibili.com/video/av16921335，看原理部分大同小异
libgdx相关知识：Box2D，以及libgdx生命周期和其他基础（时代久远，我也忘了哪里有教程
重要的事情说三遍：不懂的看源码！不懂的看源码！不懂的看源码！（框架的代码）网上没多少干货
思路：
源码在最后面
下面两张图是小车，你可以把它想象成一辆车在大雾天气只看得见很近的地方，开车时要小心翼翼的不要被撞到！
这时候你要写一个AI，让小车跑起来，当然这小车目前还不会倒车 #(滑稽)
这时候RL4J就上台了。
探针代表视野，粉红色代表看得见，蓝色代表看不见，后面的轨道绿色和黄色的是距离，一段100单位长度。
image.png
image.png
那么怎么将DL4J和游戏结合在一起呢？
根据官方的GYM的接口，我们只要改一下接口就可以直接套到游戏里面了。
然后就是环境的编写，可以套到实际游戏环境上。
实现效果还有下面两种：
弯道：
image.png
动态物体：
image.png
当我训练完动态物体后惊奇的发现前面两种都可以完美运行！泛化能力贼强大！
简要介绍：
之后会详细介绍每个部分的设计
根据DL4J的官方官方教程的是RL4J+gym的结合，于是我把官方的源码拆开了，自己结合lingdx拼起来了。
dl4j部分：
image.png
libgdx 主要部分：
image.png
原理：以Clinet为通信管进行通信，模仿gym，但是又有个很特别的地方，可以将实体和clinet绑定实现多角色，而不是单纯电脑“玩游戏”，可以在敌人上做AI，这样的AI会比较有灵性。
RL4J部分：
小网络尽量使用CPU，GPU太慢！
下面是网络参数部分
public static QLearning.QLConfiguration CARTPOLE_QL =
new QLearning.QLConfiguration(
10086, //Random seed 随机数
150, //Max step By epoch 每一次try几步
3000, //Max step 3000个步伐（其实很少了
3000, //Max size of experience replay 大脑记忆容量
500, //size of batches （train的batchsize
10, //target update (hard) （10步更新一次
1, //num step noop warmup （第几次起步开始算
0.1, //reward scaling （我也没搞懂，试了好像也没差，不懂看上面链接
0.99, //gamma （MP的决策的伽马值，不懂看上面链接
1.0f, //td-error clipping（我也没搞懂，不懂看上面链接
0.1f, //min epsilon（贪心，默认0.1，不懂看上面链接
1000, //num step for eps greedy anneal （退火，试了好像也没差，不懂看上面链接
true //double DQN double精度不解释
);
///学习 3层的每层32个节点全连接网络，具体实现看源码
public static DQNFactoryStdDense.Configuration CARTPOLE_NET =
DQNFactoryStdDense.Configuration.builder()
.l2(0.001).updater(new Adam(0.0005)).numHiddenNodes(32).numLayer(3).build();
接下来就是启动游戏：
注意一下，游戏只能启动一次！但是游戏里面可以多个实体！
只能通过关闭游戏窗口，因为里面的东西很多都是单例
public static void main(String[] args) throws IOException {
CarMDP<Box, Integer, DiscreteSpace> mdp = new CarMDP<Box, Integer, DiscreteSpace>();
cartPole(mdp);//train
loadCartpole(mdp);//加载游戏
mdp.close();
}
训练部分和官方教程和基本一致，这里不填写了。
MDP：
什么是MDP：马尔可夫决策过程(Markov Decision Process, MDP)
https://www.cnblogs.com/jinxulin/p/3517377.html
简要说一下，就是决策过程，相当于获取感知输出动作一个过程。
其实就是一格输入输出信号的工具而已。
由于代码较多，而且也不是重点，使用这里不讲了。
Client:
作为模拟通信的桥梁，这里使用SynchronousQueue。
不做详细介绍。
LIBGDX部分
以下部分设计到box2d，看不懂需要学习高中几何知识了
三种环境：
一次只能用一种，其他其他自己注释掉
在 Core.java 里面
//A
createCircle(new Vector2(550,0),550);
createCircle(new Vector2(550,0),500);
Body end=createLine(new Vector2(50,-50),new Vector2(0,-50));
end.setUserData("end");
//B
int wide=75;
int height=300;
createLine(new Vector2(0,0),new Vector2(0,height));
for(int i=0;i<3;i++) {
createLine(new Vector2(2*wide*i+wide, 0), new Vector2(2*wide*i+wide, height - wide));
createLine(new Vector2(2*wide*(i+1), i==2?0:wide), new Vector2(2*wide*(i+1), height));
}
createLine(new Vector2(0,height),new Vector2(wide*2*3,height));
Body end=createLine(new Vector2(wide*2*3,0),new Vector2(wide,0));
//C
float force=30;
float size=300;
float boxSize=30;
createCircle(new Vector2(0,0),size*3);
for(int i=0;i<100;i++){
Body b=createBox(new Vector2(MathUtils.random(size)-size/2,MathUtils.random(size)-size/2),boxSize,boxSize);
b.applyForceToCenter(MathUtils.random(force)-force/2,MathUtils.random(force)-force/2,false);
}
视野：
调用该方法
gameCore.world.rayCast(new RayCastCallback(){});
执行动作
小于左转大于右转，其他不转
if (value < -1 / 3)
car.setAngularVelocity(MathUtils.degreesToRadians * speed);
else if (value > 1 / 3)
car.setAngularVelocity(-MathUtils.degreesToRadians * speed);
else car.setAngularVelocity(0);
设置传感器个数
可以自己瞎改改第一个参数。
public class Setting {
public static final int SensorNumber=13;
public static final int SkipFrame =5;
public static final int ActionNumber=3;
}
最后是源码：
本人只是一名大学生，如果求个学习的机会（实习岗位），热爱代码，喜欢技术，参加过ACM，做过Java Web，搞过游戏框架，还会深度学习。 ----------6g3y
