Apache Spark将支持GPU调度！
2019-02-27 本文已影响0人
smilegator
砖厂，Nvidia，阿里巴巴，谷歌的committers和攻城狮们在Apache Spark社区联合提交了SPIP: Accelerator-aware Scheduling 【GPU Scheduling】。该方案填补了Spark在GPU资源的任务调度方面的空白，有机地融合了大数据处理和AI应用，扩展了Spark在深度学习，信号处理和各大数据应用的应用场景。
技术层面的将会有两个主要改变，
- 升级 cluster managers 来支持GPU调度。给用户提供API来让用户控制GPU资源的使用和分配。
- 使 scheduler 可以按照task的GPU需求和executor上的GPU供给来完成分配。
具体细节见文档：
- SPIP: Accelerator-aware scheduling
- Accelerator-aware scheduling in Apache Spark 3.0
