Byzer on Yarn
2022-05-17 本文已影响0人
你的样子999
Byzer-lang 天然支持 Yarn 运行。
- 下载 Hadoop 3 个 *-site.xml 文件到 1 个目录
- 设置环境变量 $HADOOP_CONF_DIR 为 第 1 步目录
- 修改 Byzer conf/byzer.properties.override 文件
# Yarn 模式运行
spark.master=yarn
spark.executor.instances=2
spark.executor.cores=1
spark.executor.memory=8g
spark.driver.memory=16g
spark.driver.cores=4
- 执行
byzer.sh start启动
