H2O操作记录 mnist深度学习
今天详细研究一下h2o flow的操作流程，分析其中的关键步骤及界面要素，为后续改造做准备。
首先
h2o flow有点类似于jupyter，是一个文本和代码混合的编辑器，这个思想目前在我们系统中应该不会去考虑！
2018-05-07-15-29-30.jpg
导入文件(Import Files)
h2o貌似支持导入多种文件格式，比如.gz、.zip、.csv、.txt等等，也可以直接导入一个文件目录。
我测试的时候，是直接使用.gz文件，里面其实是一个mnist的csv文件。
系统在导入一个文件之后，会为这个文件生成另外一个后缀为.hex的文件，后续解析文件以及建模都依赖于此。
解析文件(Parse File)
前面的导入文件只是第一步，而这一步解析文件很关键，一般情况下，h2o很智能，它知道怎么去解析文件，但是它也提供了解析文件的各种参数，方便用户选择。
2018-05-07-15-46-46.jpg
下面描述一下这些参数：
-
ID：就是之前说的，系统会为导入的文件起一个后缀为
.hex的名字，这个名字在这里可以修改。 -
Parser：这个解析器，我的理解就是对应h2o支持的几种文件格式
- AUTO：由h2o来自动解析
- ARFF
- XLS
- XLSX
- CSV
- SVMLight
- ORC
- AVRO
- PARQUET
-
Separator：应该指的就是文件内列分隔的标识，一般像
csv文件都是以,分隔的。下面截几个图示意一下，h2o里支持的分隔符非常多。
2018-05-07-16-04-31.jpg
2018-05-07-16-05-34.jpg
-
Column Headers：列头的解析规则，有的文件会在第一行标明列名信息，以有则不会，所以需要设置一下。h2o提供了参数选择，根据实际情况选择即可。
-
Options：其它一些参数配置，
Enable single quotes as a field quotation character表示启用单引号表示引用字符。Delete on done应该是指解析完之后就删除导入数据，h2o建议是选中这个的。 -
EDIT COLUMN NAMES AND TYPES：这个是非常重要的设置，需要告诉解析器文件中每一列的
列名以及列的数据类型。同样一般情况下，如果没有列名的话，h2o会自增设置，数据类型h2o也会自动判断，但是自动判断不见得都是正确的，最后用户还是需要检查一下，并将一些重要的列设置正确。比如对于分类问题，样本的标签值一般都是数字，但是用户需要在这里将其设置为枚举，即Enum。
h2o在解析文件时，会出来如下一个界面，显示解析的进度：
2018-05-07-16-22-00.jpg
在
h2o中，基本每一个操作都会被当成一个Job。
点击View之后：
2018-05-07-16-22-57.jpg
可以看到数据集的详情，并且用户可以将标签列设置为枚举，当标签列设置为枚举之后，h2o会出现针对分类标签的统计图表：
2018-05-07-16-25-14.jpg
上图中的inspect中文含义是“检查”，可以理解为数据可视化，用户可以配置不同的参数，以查看到该标签列的数据分页图表。
2018-05-07-16-35-55.jpg
2018-05-07-16-36-24.jpg
2018-05-07-16-36-49.jpg
impute有点像是纠错的意思，用户可以修改某一列具体取值的计算规则：
2018-05-07-16-45-28.jpg
Column-C785+Method-Mean+Group By C1 C2，我个人理解，意思就是"把C785这一列的值，修改为依据C1和C2，取它们的平均值(Mean)"。
Method有三种取值：Mean（平均值），Median（中值），Mode（取模）
构建模型(Build Model)
第一步：选择模型算法
2018-05-07-16-59-21.jpg
2018-05-07-16-59-36.jpg
由于我现在做的是mnist示例，所以我选择Deep Learning，当选择了深度学习算法之后，会发现界面增加了大量的参数配置：
2018-05-07-17-02-48.jpg
2018-05-07-17-04-18.jpg
2018-05-07-17-04-45.jpg
2018-05-07-17-05-02.jpg
2018-05-07-17-05-36.jpg
下面按照官方说明，给出一些重要的参数说明：
2018-05-07-17-23-23.jpg
上图主要是设置训练数据集以及测试数据集，还有最终的分类列，即上图中的response_column。
2018-05-07-17-24-37.jpg
-
activation：设置激活函数
-
hidden：设置隐藏层的维度及神经元个数，这里的
128,64，就表示设置了两个隐藏层，第一层有128个神经元，第二层有64个神经元 -
epochs：这个应该都能理解，就是训练的
轮数 -
variable_importance：变量重要性，这个我不懂，不乱说
2018-05-07-17-28-37.jpg
-
adaptive_rate：自适应学习率，如果要手动设置的话，需要取消选中状态
-
input_dropout_ratio：这是一个防止过拟合的参数，这是设置输入层的比率，因为输入层只有一个，所以这里设置一个就行了
-
hidden_dropout_ratios：同上，这是设置隐藏层的比率，因为我们刚才设置了隐藏层是两个，所以这里以逗号分隔
-
l1与l2：这也是防止过拟合的参数，具体我不懂
2018-05-07-17-33-39.jpg
2018-05-07-17-34-02.jpg
这四个参数是设置early stop的参数，具体含义我不了解
2018-05-07-17-35-19.jpg
这些参数是设置随机因子、学习率、衰变率、动量因子等，具体看解释吧。
正式构建模型
点击Build Model：
2018-05-07-17-37-36.jpg
2018-05-07-19-12-25.jpg
点击上图中的超链接：
2018-05-07-17-42-27.jpg
可以看到h2o为模型提供了大量的可视化数据展示，以及功能按钮。上图展示了对一个模型可以进行的操作：
-
Refresh：刷新
-
Predict：预测
-
Download POJO：这个应该是下载模型对象，具体下载下来，会发现是一个
Java文件，文件有3M多，大概10万多行。 -
Download Model Deployment Package(MOJO)：一个压缩包，我也不知道是什么东东。
-
Export：将模型导出到指定路径下。
-
Inspect：具体不知道。
2018-05-07-18-32-06.jpg
-
Delete：删除模型
-
Download Gen Model：一个可执行的jar包。
下面仔细看看具体的模型结果展示信息：
第一个是模型参数信息，即前面在构建模型前，所设置的自定义参数：
2018-05-07-18-09-47.jpg
下面这个不知道是什么意思，好像是把损失取了一下对数进行图表展示，但不知道具体有什么含义。
2018-05-07-19-28-46.jpg
下面这个是变量重要性，意思应该就是针对所有的特征列，它能计算出哪些对结果的影响更重要，会对这些特征做一个重要性排序。
2018-05-07-19-29-14.jpg
这应该就是一个训练的混淆矩阵，行是真实分类，列是预测分类，就是结果的展示，每个分类的错误率有多少。
2018-05-07-19-29-42.jpg
这也是一个验证的混淆矩阵，行是真实分类，列是预测分类，就是结果的展示，每个分类的错误率有多少。
2018-05-07-19-30-03.jpg
还有很多的模型结果展示，这里就不列举了。
今天有一个问题一直没有搞明白，无论我怎么修改参数，最终训练的轮数跟我设置的
epoch都不一样，而且小非常多，不知道为什么。
