平台环境：
- 本地win7系统
- 本地spark和集群spark都是2.0.0
- IDEA
运行模式：
- local
- Spark Standalone
- YARN
local模式
local模式只需要将程序中的setMaster(“local”)就可以了，一般不会出现什么问题。
Spark Standalone模式
在没有加sc.addJar(“F:\大数据\jar包\wordcount.jar”);这条语句之前报如下错误：
java.lang.RuntimeException: Stream '/jars/wordcount.jar' was not found.
显然是因为jar包未能传给工作节点，将生成的jar包放在上面路径中，运行成功。
YARN模式
修改的代码如下：
SparkConf conf = new SparkConf().setAppName("JavaWordCount").setMaster("yarn-client"); conf.set("spark.yarn.dist.files", "src\\yarn-site.xml");
将core-site.xml、hdfs-site.xml、yarn-site.xml三个文件放在项目src文件夹下，这三个文件从hadoop集群配置文件夹中复制下来，直接run java application就可以了。
有些教程还会有如下代码：
sparkConf.set("spark.yarn.jar", "hdfs://192.168.0.1:9000/user/bigdatagfts/spark-assembly-1.5.2-hadoop2.6.0.jar");
设置spark jar包地址，我并没有设置，但是日志显示，也会有jar包的上传过程。具体原理还不是很清楚，为什么需要上传这样的jar包。上面设置的yarn-client，如果你的电脑是在集群里面的，应该是设置为yarn-cluster的。
posted on 2018-03-13 17:09
Ke 阅读(1398)
评论(0) 编辑 收藏