仔细的用户肯定会发现里面列出来的模块(Module)居然没有yarn!就是这个原因导致yarn模块相关的代码老是报错!我们只需要将yarn模块加入到这里即可。步骤依次选择 Add->Import Module->选择pom.xml,然后一步一步点击确定,这时候会在对话框里面多了spark-yarn_2.10模块,如下:
然后点击Maven Projects里面的Reimport All Maven Projects
,等yarn模块里面的所有依赖全部下载完的时候,我们就可以看到这个模块里面的代码终于不再报错了!!
甚至你都可以在这里面编译和调试Spark代码了,终于不用担心出错了。。现在赶紧去学习Spark的代码吧。。
本博客文章除特别声明,全部都是原创!
请教一下,使用sbt编译spark源码时,使用的仓库是? 我的怎么都下载失败呢?
默认的仓库在Spark项目的pom.xml文件里面有,你可以直接修改。
使用sbt/sbt gen-idea下载时,Hadoop的一些jar老是下载失败,日志如下:
[error] Server access Error: Connection timed out url=http://maven.twttr.com/ org/apache/hadoop/hadoop-yarn-server/2.2.0/hadoop-yarn-server-2.2.0.jar
这个可以使用啥远程仓库可以下载到的?
可以使用https://repo1.maven.org/maven2。