脉冲星 7 月脉动 | Pulsar 2.5.0 版本预览，Pu

2019-07-30  本文已影响0人  StreamNative

<meta charset="utf-8"> **# 脉冲星 7 月脉动

本月看点速览

产品动态

整个 7 月，2.5.0 版本的开发在紧张有序地进行，以下是本月添加的主要功能预览。

在分层存储中支持 HDFS

Pulsar 以分片为中心的架构使其可以高效存储无限的数据。为了避免数据在 bookie 中堆积导致成本过高，Pulsar 支持将分片转移到更为廉价的存储中：例如之前的 AWS S3、Google Cloud Storage，以及最新加入的 HDFS。

通过在配置文件中指定 HDFS 相关的 defaultFS、路径、压缩方式等相关参数，你可以自动或者手动将 topic 中的数据以分片粒度卸载到 HDFS 中。

更多信息，参阅 PR-4403。

在 Pulsar IO 的 JDBC Sink 中支持 Update 和 Delete 事件

Pulsar IO 是将外部系统的数据输入到 Pulsar（Source）、或是将 Pulsar 数据写出到外部系统（Sink）的连接器。在 JDBC Sink 中支持了 Update 和 Delete 事件后，Pulsar topic 中的 Update 和 Delete 被翻译成相应的 DML，反应到 Pulsar Sink 的目标数据库中。

更多信息，参阅 PR-4358。

PIP-31：事务支持

Pulsar 保证消息分发的最高机制是 exactly-once，通过 Idempotent Producer 保证了一个分区内的消息只会被持久化一次，而不会丢失，但对多分区的生产者生产的消息没有原子性保证。在 Pulsar Functions 中只保证了一个事件的 exactly-once，但并不保证在处理多个事件或生产多个结果时事件的准确。事务消息语义简化了 Pulsar 或 Pulsar Functions 的使用，同时扩大了 Pulsar 的领域。目前已经有一些 commits 合并到主分支，将会在 2.5.0 版本支持事务。

更多信息，参阅 PIP-31。

Schema 相关 BUG 修复

Pulsar 提供了对 Schema 的内置支持，允许用户直接读取、写入有类型的消息，Pulsar 负责消息的兼容性验证以及序列化、反序列化工作。7 月修复的问题有：已删除的 Schema 对兼容性检查的影响、已删除的 Schema 对新建 Schema 的影响和无法在分区级别获取 topic schema。

更多信息，参阅 PR-4469，PR-4751 和PR-4731。

支持创建单分区的分区主题

Pulsar 支持两种类型的主题：非分区主题和分区主题。之前创建分区主题的最小分区数是2，现在你可以先创建一个单分区的分区主题，随后根据需要调整主题的分区数。

更多信息，参阅 PR-4764。

文档改进

Pulsar 官网文档是理解 Pulsar 基本概念，了解 Pulsar 配置方式的最好去处。7月，官网文档集中在 Pulsar Functions、Pulsar Schema 和 Pulsar 升级方案三个方面进行了改进。

更多信息，参阅

社区动态

Apache Pulsar Meetup | 北京站（报名中）

2019 年 7 月，StreamNative 联合 Apache Pulsar、Apache Flink 两大社区，联合 Yahoo！Japan、腾讯、智联招聘和 EMQ 在北京积极筹备一场大型 Pulsar 专场活动。

活动详情，查看 Apache Pulsar Meetup 邀请函。

CSDI Summit

2019 年 7 月 19 ～21 日，为期三天的 CSDI 峰会（中国软件研发管理行业技术峰会）在深圳如期举办，StreamNative 联合创始人郭斯杰受邀在“云原生/Web 架构”会场做了”云原生消息系统 Apache Pulsar 简介”的主题演讲。

更多信息，参阅 CSDI Summit。

技术干货

本月发布了以下中英文技术博客：

点击“阅读原文”，报名参加 Pulsar Meetup（北京站）

https://www.huodongxing.com/event/1502359221000**

上一篇 下一篇

猜你喜欢

热点阅读