Profiling based Out-of-core Hybrid Method for Large Neural Networks方案总结

文章核心思路

文章同样对交换和转移做决策，图中蓝绿色为正常计算时间，黄橘色为转移时间。

image.png

其中黄色5 6 7为无法overlap的操作，橘色7 6 4同样为反向传播中无法掩盖的操作（我认为这里的5画错了，不过就暂时按照文章的意思来）

决策过程

这里的决策主要是针对无法进行overlap部分，这里定义L0为{5 6 7}，黄色，L1为{4 6 7}，橘黄色。

• 1 对于非L0与L1的部分，比如0 1 2 3。这些数据可以与计算并行，于是可以不做处理考虑。

• 2 对于Lo与L1，文章进行搜索，但是搜索空间比较大。

• 3 为了降低搜索空间，文章对L0部分的从后向前（7 6 5）进行判断，如果GPU内存能装下就装，如下图。而这个过程是搜索出来的。

image.png image.png

• 4 对重计算进行分类。引入下面的公式进行开销比较。其中对剩下的做swap的tensor进行决策，比较各自的开销，选出重计算部分

image.png