pytorch 计算图与动态图机制
2020-02-14 本文已影响0人
米线织毛衣
一、计算图
（y对w的导数，其实就是y到w的所有路径上的导数之和）
叶子节点是用户创建的节点，设置叶子节点可以节省内存，因为更新时，非叶子节点的梯度是会被释放的。
二、动态图
pytorch用的是动态图，tensorflow用的是静态图。
静态图（先搭建好完整图，然后数据再流动）：
动态图（根据每一步搭建图）：
（y对w的导数，其实就是y到w的所有路径上的导数之和）
叶子节点是用户创建的节点，设置叶子节点可以节省内存，因为更新时，非叶子节点的梯度是会被释放的。
pytorch用的是动态图，tensorflow用的是静态图。
静态图（先搭建好完整图，然后数据再流动）：
动态图（根据每一步搭建图）：
