Hadoop2.0 | Tez配置优化

2019-07-06  本文已影响0人  icebreakeros

配置优化

Tez优化机制

YARN当前存在的问题
每个作业启用一个Application-Master,应用程序延迟较大,即每个应用程序要申请资源启动AppMaster后,才可以启动任务
资源无法重用。MRAppMaster总是为未运行的任务申请新的资源。

Tez引入的优化技术
ApplicationMaster缓冲池
作业提交到AMPoolServer上,预启动若干个ApplicationMaster,形成缓冲池

预先启动Container
ApplicatoinMaster启动时可预先启动若干个Container

Container重用
一个任务运行完成后,ApplicationMaster不会马上注销它使用的Container,而是将它分配给其他任务

配置Tez

用户手册

上一篇下一篇

猜你喜欢

热点阅读