春节了,寒假作业:实现自己的State Store Provid
2019-02-03 本文已影响0人
smilegator
2019-02-01 夜深了,,,各回各家,留个寒假作业。。。Spark structured streaming 有一个内嵌的HDFSBackedStateStoreProvider,这个是基于memory实现的。这个方法比较耗内存,state多了就可能会OOM。。。实际上,Spark给大家提供了接口,随时可以自己实现各式各样的,,,完全不难!俄罗斯的小伙伴,就动手自己实现了一个。。。http://code.chermenin.ru/spark-states/ 春节了,酒足饭饱之后,大家完全可以搞一个,简历上也可以多一条!
顺便,鼓励大家一起来维护「腾讯·广点通」团队的荣誉出品 中文版的structured streaming源码解析 !!!好好写,估计可以出书了!