For investors
股价:
5.36 美元 %For investors
股价:
5.36 美元 %认真做教育 专心促就业
大数据技术目前的应用已经非常广泛,对于很多新手来说依然有很多问题值得我们关注,本文合肥IT培训机构小编就和大家分享几个常见错误及解决方法。
1、linux批量多机互信
解决方法:pub秘钥配成一个
2、org.apache.spark.SparkException: Failed to get broadcast_790_piece0 of broadcast_790
解决方法:去除spark-defaults.conf中spark.cleaner.ttl配置
3、Yarn HA环境下,通过web访问history日志被跳转到8088而无法显示
解决方法:恢复Yarn Http默认端口8088
4、but got no response. Marking as slave lost
解决方法:使用yarn client提交作业遇到这种情况,暂时无解
5、Using config: /work/poa/zookeeper-3.4.6/bin/../conf/zoo.cfg Error contacting service. It is probably not running.
解决方法:配置文件不正确,例如hostname不匹配等
6、经验:部署Spark任务,不用拷贝整个架包,只需拷贝被修改的文件,然后在目标服务器上编译打包。
7、Spark setAppName doesn't appear in Hadoop running applications UI
解决方法:set it in the command line for spark-submit "--name BetterName"
8、如何监控Sprak Streaming作业是否挂掉
解决方法:通过监控Driver端口或者根据yarn指令写Linux定时脚本监控
9、kafka内外网问题
解决方法:kafka机器双网卡,配置文件server.properties中advertised.host.name不要写IP,用域名形式,外网的生产者和内网的消费者各自解析成自己所需的IP。
合肥达内IT培训免费试听课程火热报名中,带你轻松入行,26大课程全国45个城市,129家中心均可就近学习,学完后,达内老师会帮助进行面试辅导,在面试前,就带你跨过可能存在的坑,让你入职更加顺利。
【免责声明】本文系本网编辑部分转载,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题,请在30日内与管理员联系,我们会予以更改或删除相关文章,以保证您的权益!更多内容请添加3216764521学习了解。欢迎关注“达内在线”参与分销,赚更多好礼。