大数据发展最快的项目

2019-02-21  本文已影响0人  clive0x

最近几年大数据好多项目都hold住了,如TEZ,Sqoop,甚至Hive,都往深度学习走,但有个项目例外,Kafka,加了安全,加了流式计算Kafka Streaming,加了流处理Kafka Kstream,甚至其研发公司做了Confluent,类似Gobbin,ETL计算框架。总之还是活跃研发。

但是Kafka也有其缺点,消费者与Partition挂钩,当Partition数少时,即使更多的机器,也是不能加大读取并发量。另外存储和计算在一块,很难做好扩展。多租户也是个老大难问题。

才是乎出现了Pulsar,存储使用Bookeeper,和计算分离,支持多租户,大有取代Kafka之意。

上一篇下一篇

猜你喜欢

热点阅读