[HPC/net]Application-aware Conge

[2021-07-02]

地址：arxiv

大意：结合SC2020，和IPDPS20的两篇研究HPC应用和网络拥塞的文章，提出了一个框架，建模HPC应用的拥塞情况，然后根据探测的数据，对网络进行调整，从而加速训练

文章背景：又是Saurabh Jha小哥，他最近围绕超算网络特征做了一系列的工作

首先发现的三个规律

1. 不同的HPC应用在不同的网络拥塞情况下，运行时间的变成差别很大
   （个人觉得可能是同步通讯和异步通讯导致的差异）

2.网络探测的数据可以用来评估HPC应用对延迟的敏感性

3. HPC工作负载能够有效地估计延迟灵敏度
   顾虑有两个，1.HPC应用那么多，如何验证每个应用；2.一个延迟敏感的应用在整个生命周期内如何变化
   答：1. HPC环境中过少量应用占据过半时常，所以研究对象不必很多
   2.我们研究了两个同类型应用，发现他们在生命周期内流量变化是很稳定的

系统设计

系统设计

系统分为两大块，应用行为诊断模块和拥塞缓解模块
逻辑关系：
从网络中采取数据，获取的数据用ML模型来预测应用是否为延迟敏感，然后将结果反馈给控制网络的模块，拥塞缓解模块再来影响网络的状态。形成一个闭环。

问题，1.用的什么来监控网络数据，选的哪些参数来做为特征
2.应用行为诊断模块用的什么ML模型，开销是多少，
3.这个模块位于什么位置，server的话，是集中式还是全局分布式

答案：
1.用的什么来监控网络数据，选的哪些参数来做为特征？
没说，用的是自己家专门的监控的那一套东西，LDMS Performance API

网络拓扑：Cray Aries network+low-diameter Dragonfly topology

2.应用行为诊断模块用的什么ML模型，开销是多少，
答：三个内在联系的概率回归模型（？？？）
2.1 网络延迟模型
network performance counters (indicative of queuing delays),network topology, and compute-node endpoints

2.2 spatial &temporal aggregation 时空聚合？？
没看到在干嘛，是要做在网聚合吗？

2.3 延迟敏感预测模型 -- 针对特定系统，不同的系统需要单独训练
消息传递时间和应用运行时长对应

3.拥塞缓解模块
AIMD，那基于IB的网络怎么办呢？
基于DCTCP，DCQCN

四、模块的具体分析

五、实验
一般效果比不过DCQCN，但是声称自己对应用比较好

六、相关工作

1. 建模拥塞对HPC应用的影响
   有两篇很新的工作

2. 控制速率对拥塞的缓解
   传统研究问题

3.在网机制
几篇包调度的工作来缓解拥塞对应用的作用