详解 TensorBoard－如何调参

2017-05-12 本文已影响4321人不会停的蜗牛

TensorBoard 是 TensorFlow 上一个非常酷的功能，我们都知道神经网络很多时候就像是个黑盒子，里面到底是什么样，是什么样的结构，是怎么训练的，可能很难搞清楚，而 TensorBoard 的作用就是可以把复杂的神经网络训练过程给可视化，可以更好地理解，调试并优化程序。

我们在建立神经网络模型解决问题时，例如想要用一个简单的 CNN 进行数字识别时，最想知道的就是什么样的模型，即 weights 和 bias 是多少的时候，可以使得 accuracy 达到较优，而这些变量都可以在 Tensorboard 中以一个可视化的方式看到，

在 scalars 下可以看到 accuracy，cross entropy，dropout，layer1 和 layer2 的 bias 和 weights 等的趋势。
在 images 和 audio 下可以看到输入的数据。
在 graphs 中可以看到模型的结构。
在 histogram 可以看到 activations，gradients 或者 weights 等变量的每一步的分布，越靠前面就是越新的步数的结果。
distribution 和 histogram 是两种不同的形式，可以看到整体的状况。
在 embedding 中可以看到用 PCA 主成分分析方法将高维数据投影到 3D 空间后的数据的关系。

在官网有两篇关于 TensorBoard 的教程，学习之后总感觉还是不太会用，只是讲了如何做出图来，可是到底该怎么发挥 TensorBoard 的功能呢，不能只是看看热闹，画出来图了，该怎么解读呢？

今天就来个更充实的，仍然以 MNIST 为例，来看如何一点点完善一个 model。

下面是一个普通的 convolutional 网络结构，我们全文会在这个结构上进行调优：

这是初级的代码：

先来看一下它的训练结果：

接下来将分为以下几步：

那让我们来打开 board ，看发生了什么，为什么这么低

想要可视化 graph，就先只传一个 graph 进去

在左边我们看到了一个 convolution，
在右边还有一些东西不知道哪里来的：

所以需要清理 graph

graph 是基于 naming system，它有 ops，ops 有 names
我们可以给某些具体的 node 特有的 name：

首先给一些重要 ops 赋予 name
如 weights 和 bias，
然后用 name scope ，这样所有的命名后的 ops 都会保持一个整洁的结构

接着给 placeholder names

然后接着给 training 或者 loss names

把这个 clean 后的存到另外一个文件夹

这一次的 graph 就会比较清晰：

接下来我们需要用到 summaries：

summary 就是一个 tf op，它会从你的 graph 里面提取一个 regular tensor，然后后产生一个 protocol buffers

接下来让我们 add 一些 summary 吧：

例如来看 cross entropy 和 accuracy 是怎么随时间变化的，
还可以看我们的 input 是不是 MNIST 数据
还可以加一些 add 一些 histogram，来看 weights，biases，activations，
我们运行 summary op，然后得到 protocol buffers，
然后写入 disk
然后用一个 merge 把所有的 summary 合成一个 target，就不用一个一个地去运行写入展示了