在windows环境下使用Intellij idea远程执行spark程序时，遇到了以下问题：
Intellij控制台输出警告：WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
此时程序会一直loading，running，loading，running…的循环，并持续出现上面的警告。
出现这个错误可能有几种原因：
- host配置不正确
- worker内存不足
- 相关端口号被占用
针对第二种原因，通过修改配置文件中worker和master使用内存资源的参数即可解决。
针对第三种原因，可以查看占用端口的程序并将其关闭，或者重启spark集群。
解决方法：
1. 修改本机hosts文件，在修改第一行，添加自己的hostName，如：
127.0.0.1 bob-PC
2.在spark集群的所有节点的hosts中添加本地提交任务的windows节点的ip和hostname，如：
192.168.189.19 bob-PC
posted on 2018-03-12 18:09
Ke 阅读(2267)
评论(0) 编辑 收藏 所属分类:
spark