Spark Streaming Receiver的Job没有启动

2016-09-26  本文已影响0人  fatj

在一开始的时候,情况是这样的:

QQ图片20160926210136.png

可以看得出来,本来Receiver应该有一个专门的job启动起来,但是并没有

但是可以看到 DummyJob已经启动了,并且有日志显示 receivers是有1个的,对应的代码在这里:

  runDummySparkJob()

    logInfo("Starting " + receivers.length + " receivers")
    endpoint.send(StartAllReceivers(receivers))

在过一段时间,Spark App 就会报错,报的错是:

spark.rpc.asktimeout

在经过一段的时间的研究之后,没有找出原因,就请求了大神(王鹏哥)的帮忙,经过一段的时间探讨之后,终于找出了原因,就是因为虚拟机的processor 的个数只有1个,Driver根本处理不过来,

QQ图片20160926211014.png

在改完以后,问题就解决了,
希望大家不要和我犯同样的错误~~

上一篇 下一篇

猜你喜欢

热点阅读