spark提交任务笔记

./spark-submit
 --class com.hundsun.rdc.bdata.compute.jdbc.TaskCommandRunner
 --master local[2] 
 --deploy-mode client
 --executor-memory 20G 
 --num-executors 30
 --conf "spark.yarn.appMasterEnv.JAVA_HOME=/usr/java/jdk1.8.0_241/"
 --conf "spark.executorEnv.JAVA_HOME=/usr/java/jdk1.8.0_241/"
 --executor-memory 10G --num-executors 8 --executor-cores 4 
 --driver-memory 6g 
 --conf spark.driver.maxResultSize=8G
 --conf spark.yarn.executor.memoryOverhead=2048 
 --conf spark.default.parallelism=1000
 --conf spark.memory.fraction=0.75 
 --conf spark.memory.storageFraction=0.5 
 --files Jdbc2.json ./bdata-compute-spark-jdbc-1.0.jar
 Jdbc2.json

当我们在提交参数的--file是指定我们上传的配置文件，然后 在jar包后面的jdbc.json是指定我们要加载的配置文件，如果是上传了文件，那么就会加载我们这个文件地址作为输入的接口 同时程序入口也会接收这个参数
--master 在远程提交的时候不能指定我们提交的地址，只能写成yarn的方式