spark-submit 提交任务到yarn执行

spark-submit --name SparkSubmit_Demo --class com.luogankun.spark.WordCount --master yarn-client --executor-memory 1G --total-executor-cores 1 /home/spark/data/spark.jar hdfs://hadoop000:8020/hello.txt

注：提交yarn上执行需要配置HADOOP_CONF_DIR

spark在提交时，所做的资源申请是一次性完成的，也就是说对某一个具体的Application，它所需要的Executor个数是一开始就是计算好，整个Cluster如果此时能够满足需求则提交，否则进行等待。而且如果有新的结点加入整个cluster，已经运行着的程序并不能使用这些新的资源。缺少rebalance的机制（摘自许鹏博客内容）。

详细信息参见官方文档：http://spark.apache.org/docs/latest/submitting-applications.html

spark-submit 提交任务到yarn执行,布布扣,bubuko.com

原文：http://www.cnblogs.com/luogankun/p/3836211.html