Spark Streaming 数据接收优化

  • 时间:
  • 浏览:1
  • 来源:uu快3APP_uu快3官方网址

也而是 亲戚朋友 尽量让数据都占用Spark 的Storage 内存。土办法 是把spark.streaming.blockInterval 调小点。当然也会造成一另三个副作用,而是 input-block 会多。每个Receiver 产生的的input-block数为: batchInterval* 2000/blockInterval。 这里假设你的batchInterval 是以秒为单位的。 blockInterval 随便说说别问我会有啥影响。随便说说说白了,而是 为了处理GC的压力。实时计算有一另三个很问题图片图片是GC。

kafkaDStreamsNum 你没了个人定义的,希望有有几个个Executor 启动Receiver 去接收kafka数据。我的经验值是 1/4 个Executors 数目。可能数据都要做replication 一般,而是另另三个内存最大上能 占到  1/2 的storage.

另外,务必或者 你系统设置 spark.streaming.receiver.maxRate。假设你启动了 N个 Receiver,那末你系统实际会接受到的数据太多再超过 N*MaxRate,也而是 说,maxRate参数是针对每个 Receiver 设置的。

一般在Spark Streaming中不建议把 Executor 的内存调的太多。对GC是个压力,大内存一FullGC比较可怕,很可能会拖垮整个计算。 多Executor的容错性也会更好些。

从现在的API来看,是那末提供你這個途径的。或者 Spark Streaming 提供了一同读多个topic的功能,每个topic是一另三个InputStream。 亲戚朋友 上能 复用你這個功能,具体代码如下:

这篇内容是个人的你這個经验,亲戚朋友 用的前一天还是建议好好理解组织组织结构的原理,不可照搬

我发现在数据量很大的情形下,最容易挂掉的而是 Receiver所在的Executor了。 建议Spark Streaming团队最好是能将数据写入到多个BlockManager上。

猜你喜欢

请各位高手相助!解决后追加1000分,绝不食言。FLASH和IEBOOK的问题。

换一换下载百度知道APP,抢鲜体验不得劲推荐你对你这种 回答的评价是?展开全版你这种 问题都在给分能出理 滴,你这种 问题是要给钱要能出理 滴。。。展开全版追问扫描

2020-02-25

求美国作家Pearl S. Buck简介(两三句即可)及其主要作品

获奖《生芦苇》(TheLivingReed)《北京来信》(LetterfromPeking)1935年,威廉·迪·豪威尔勋章《桥》(ABridgeforPassing)《帝国男

2020-02-25

2019阿里云双十一活动热门云服务器价格表

双十一的价格绝对是一年当中最低的,正可能性没人,什么都买车人,站长和企业主一定会取舍在这一 就让入手。都需要节省不少开销。可能性你是老用户说说,也都需要借用买车人家人,亲们

2020-02-24

周朝时期(包括春秋战国时期)的所有成语故事

展开全部扫描二维码下载展开全部本回答被前前男友采纳你对你这个回答的评价是?可选中2个 或多个下面的关键词,搜索相关资料。也可直接点“搜索资料”搜索整个间题。沉鱼落雁;一鸣惊人

2020-02-24

《倚楼听风雨》的下一句是?

下载百度知道APP,抢鲜体验倚楼听风雨,展开全部抛开名利淡,风雨可知愿?全诗是:携手归林远。换一换使用百度知道APP,立即抢鲜体验。你的手机镜头里或许有别人想知道的答案。风潜

2020-02-24