hive 运行
2017-12-13 本文已影响0人
xncode
运行
hive使用的是hadoop的配置文件(环境变量),当发现Hadoop是集群模式时,也转换为集群模式,例如hive.metastore.warehouse.dir中指定的路径就是hdfs中的路径
默认使用的是mapred执行引擎 使用的mapred集群可以通过mapred.job.tracker指定的主机来执行
本地模式,在处理小数量级别时会更快,通过:
set mapreduce.framework.name=local;
此时还要注意mapred.local.dir是工作目录,默认为/tmp/username另可以启动:
set hive.exec.mode.local.auto=True;
根据
hive.exec.mode.local.auto.inputbytes.max(128MB)
hive.exec.model.local.auto.tasks.max(4) reduce_tasks(0 or 1)
满足条件的会自动在本地模式下运行。
可以通过hive.mapred.local.mem来控制子进程使用的内存容量,默认是0,是由YARN来决定内存限制。