计算图与动态图机制

1. 计算图

• 计算图是用来描述运算的有向无环图
• 计算图有两个主要元素：结点（Node）和边（Edge）
• 结点表示数据，如向量，矩阵，张量。边表示运算，如加减乘除卷积等
• 用计算图表示：
  • 将原来的计算拆分成
    在这里插入图片描述
    采用运算法的优势是令梯度的计算更加方便，下面来看一下y对w求导的过程。
    在这里插入图片描述
    y对w求导一共包含两项内容，分别是y对a求导和y对b求导。
    在这里插入图片描述
• 叶子节点：用户创建的节点称为叶子节点，如x与w。

  • is_leaf：指示张量是否为叶子结点

    
    在这里插入图片描述
    

    之所以引入叶子结点的概念，主要作用是节省内存，因为在梯度反向传播之后，非叶子结点的梯度会被释放。

    w = torch.tensor([1.], requires_grad=True)
    x = torch.tensor([2.], requires_grad=True)

    a = torch.add(w, x) # 可以通过retain_grad()来保存相应结点的梯度
    a.retain_grad()
    b = torch.add(w, 1)
    y = torch.mul(a, b)

    y.backward()
    print(w.grad)

    # 查看叶子结点：
    print('is_leaf:\n', w.is_leaf, x.is_leaf, a.is_leaf, b.is_leaf, y.is_leaf)

    # 查看梯度：
    print('gradient:\n', w.grad, x.grad, a.grad, b.grad, y.grad) # a的梯度通过retain_grad()保存下来

执行结果如下，这里可以通过在反向传播之前，执行retain_grad()操作保存下来相应结点的梯度

tensor([5.])
is_leaf:
 True True False False False
gradient:
 tensor([5.]) tensor([2.]) tensor([2.]) None None

• Tensor的另一个重要属性，grad_fn：记录创建该张量时所用的方法（函数）
  • y.grad_fn = <MulBackward0>
  • a.grad_fn = <AddBackward0>
  • b.grad_fn = <AddBackward0>

2. Pytorch的动态图

根据计算图搭建方式的不同，可将计算图分为动态图和静态图

• 动态图

  • 运算与搭建同时进行，典型代表是pytorch

  • 特点：灵活、易调节

    
    在这里插入图片描述
    

    先创建原始数据，之后执行第一个乘法操作，然后再执行另一个乘法操作，之后执行加法操作，接着执行一个激活函数，最后计算一个loss，有了loss之后，执行梯度反向传播。

    
    在这里插入图片描述

• 静态图

  • 先搭建图，后运算，典型代表TensorFlow

  • 特点：高效、不灵活
    tensor存进去之后，无法改变tensor的流动方向

    
    在这里插入图片描述