TensorFlow计算模型——计算图

计算图是TensorFlow中最基本的一个概念，TensorFlow中的所有计算都会被转化为计算图上的节点。
在学习计算图之前，我们先来了解一下TensorFlow中两个最重要的基本概念：Tensor和Flow。

• Tensor：即张量，在TensorFlow的范畴里，苦李建议大家将其简单的理解为多维数组
• Flow：中文翻译过来是“流”，它形象的表达了张量之间通过计算相互转化的过程

Tensor表明了TensorFlow中的数据结构，而Flow则体现了它的计算模型。

什么是计算图

TensorFlow是一个通过计算图的形式来表述计算的编程系统。
基于TensorFlow这个编程系统中的每一个计算都是计算图上的一个节点，而节点与节点之间的连线则代表计算之间的依赖关系。
以一个最简化的计算图来说明：

TensorFlow计算图-图1
上图中a、b、add三个节点都代表一个计算，而两条带有箭头的连线则代表三个计算之间的依赖关系。
如果一个计算的输入依赖于另一个计算的输出，即代表两个计算之间存在依赖关系。上图中a、b两个计算不依赖其他任何计算的输出，add的计算依赖a、b两个计算的输出，所以我们可以看到分别从a、b到add的两条连线。因为没有任何计算依赖add的结果，所以从add的节点没有任何连线指向其他节点。
在TensorFlow的程序中，我们都可以通过类似上图的形式进行表达，这就是TensorFlow的基本计算模型。

计算图的使用

在使用TensorFlow的过程中，通常需要定义两个阶段：

• 阶段1：定义计算图中所有的计算
• 阶段2：执行计算

本篇文章中我们不对执行计算的阶段展开，下面给一个定义计算阶段的Demo：

import tensorflow as tf
a = tf.constant([1.0,2.0], name='a')
b = tf.constant([3.0,4.0], name='b')
result = a + b

在上述代码中，TensorFlow会自动将定义的计算a和b转化为计算图中的节点。在TensorFlow中，系统会自动维护一个默认的计算图，通过tf.get_default_graph函数可以获取当前默认的计算图。
除了使用默认的计算图，TensorFlow支持通过tf.Graph函数来生成新的计算图。
不同计算图上的张量和运算都不会共享，这里我们可以简单的将其理解为作用域的概念。
下面给出一个在不同计算图定义和使用便利的Demo：

g1 = tf.Graph()
g2 = tf.Graph()

with g1.as_default():
    # 在计算图g1中定义变量v，并将其初始化值设为0
    v = tf.get_variable("v", initializer=tf.zeros_initializer(shape = [1]))

with g2.as_default():
    # 在计算图g2中定义变量v，并将其初始化值设为1
    v = tf.get_variable("v", initializer=tf.ones_initializer(shape = [1]))


# 在计算图g1中读取变量v的值
with tf.Session( graph = g1) as sess:
    tf.initialize_all_variables().run()
    with tf.variable_scope("", reuse= True):
        # 这里会输出[0.]
        print( sess.run(tf.get_variable("v") ))

# 在计算图g2中读取变量v的值
with tf.Session( graph = g2) as sess:
    tf.initialize_all_variables().run()
    with tf.variable_scope("", reuse= True):
        # 这里会输出[1.]
        print( sess.run(tf.get_variable("v") ))

上述代码设置了两个计算图，每个计算图均定义一个变量“v”。由于变量v的值在初始化时设置的值是不同的，所以当运行不同的计算图时，变量v的值也是不一样的。
TensorFlow中的计算图不仅仅可以用于隔离张量和计算，它还提供了用于管理张量和计算的机制。
快速有效的整理TensorFlow程序中的资源是计算图的一个重要功能。在计算图中，可以通过集合collection来管理不同类别的资源。
比如通过tf.add_to_collection函数可以将资源加入一个或多个集合中，然后通过tf.get_collection获取一个集合里面的所有资源。这里的资源可以是张量、变量或者运行TensorFlow程序所需要的队列资源等等。
为了方便使用，TensorFlow也自动管理了一些最常用的集合，下面苦李总结了最常用的几个自动维护的集合：

集合名词	集合内容	使用场景
tf.GraphKeys.VARIABLES	所有变量	持久化TensorFlow模型
tf.GraphKeys.TRAINABLE_VARIABLES	可学习的变量（一般指神经网络中的参数）	模型训练、生成模型可视化内容
tf.GraphKeys.SUMMARIES	日志生成相关的张量	TensorFlow计算可视化
tf.GraphKeys.QUEUE_RUNNERS	处理输入的QueueRunner	输入处理
tf.GraphKeys.MOVING_AVERAGE_VARIABLES	所有计算了滑动平均值的变量	计算变量的滑动平均值