分步式序列bamboo-leaf

2021-03-03  本文已影响0人  竹智2019

bamboo-leaf简介

Bamboo-leaf是用Java开发的一款分布式id生成系统,基于数据库号段(segment)算法、雪花(snowflake)算法实现,基于数据库号段(segment)算法是参考了滴滴出行的tinyid及阿里巴巴的tddl-Sequence的思路,取了两都的优点,同时加入了新的实现方式,扩展算法。让能适合更多的场景,高并发、高可用得到提升,接入更方便简洁。雪花(snowflake)算法,参考了原生算法及百度(uid-generator)实现方式,重定义了snowflake各段的长度,解决了workerid的节点限制问题及时间回拨序列重复的问题,提升了每毫秒产生的序列个数。
同时提供了Bamboo-leaf-client(sdk)使id生成本地化,获得了更好的性能与可用性。均通过Bamboo-leaf-client方式接入,每天生成百亿级别的id。

bamboo-leaf架构图

输入图片说明

bamboo-leaf代码结构

bamboo-leaf
----bamboo-leaf-server
----bamboo-leaf-client
----bamboo-leaf-core
----bamboo-leaf-autoconfigure
----bamboo-leaf-demo

bamboo-leaf接口列表

1、snowflake算法接口列表

接口类:BambooLeafSnowflakeClient

序号 接口 名称 功能说明
1 public long snowflakeId(String namespace); 原生雪花算法 返回Long类型
2 public String snowflakeId16(String namespace); 原生雪花算法+随机数 返回16位字段串:
13位(原生雪花算法转36进制),
3位(随机数转36进制)
3 public String snowflakeId20(String namespace); 原生雪花算法+namespace+随机数 返回20位字段串:
13位(原生雪花算法转36进制),
3位(namespace转36进制),
3位(随机数转36进制)

2、segment算法接口列表

接口类:BambooLeafSnowflakeClient

序号 接口 名称 功能说明
1 public Long segmentId(String namespace); 返回1~Long.MAX_VALUE 返回Long类型
2 public Long dateSegmentId(String namespace); 返回19位日期long的序列
格式:8位yyyyMMdd+11位序列
例如:202101010000000001
序列大于99999999999后会重置。
该算法每天最大99999999999序号
3 public String dateSegmentId(String namespace, String prefix); 返回前缀+日期String的序列
格式:前缀+8位yyyyMMdd+11位序列
例如:P202101010000000001
序列大于99999999999后会重置。
该算法每天最大99999999999序号
4 public Long timeSegmentId(String namespace); 返回19位时间long的序列
格式:12位yyMMddHHmmss+7位序列
例如:2101010101010000001
序列大于9999999后会重置。
该算法每秒最大9999999序号
5 public String timeSegmentId(String namespace, String prefix); 返回前缀+时间String的序列
格式:前缀+12位yyMMddHHmmss+7位序列
例如:P2101010101010000001
序列大于9999999后会重置。
该算法每秒最大9999999序号

性能与可用性

高性能

  1. leaf-segment 单节点qps可达20w+(取决于step,服务器性能)。
  2. leaf-snowflake 单节点qps最大可达262143。

说明:集群的qps=单节点qps*节点数。

可用性

  1. leaf-segment
    依赖DB,当DB不可用时,因为client有缓存,还可以使用一段时间(取决于step及序列生成的QPS).
    可以支持多个DB(必须保证DB间数据的一致性).
  2. leaf-snowflake
    启动时获取Worderid依赖DB,之前当DB不可用时不受影响。

总结:Local client去中心化的模式最高可用性,不因bamboo-server中心化服务不可用而影响。

Bamboo的特性

1、全局唯一的long型id.
2、趋势递增,整体连续.
3、提供中心化 Remote server模式和去中心化 Local client模式方式接入.
4、支持segment及snowflake两种基础算法扩展算法.
5、leaf-segment支持不同IDC同序列不同的序号生成机制(A机房:1、3、5... B机房:2.4.6...).
6、leaf-snowflake解决workerid的节点限制问题及时间回拨序列重复的问题.
7、支持高并发、高可用的保障机制.

使用场景

适用场景:
1、纯数字的序列(如:日志表ID编号).
2、有业务属性的序列(如订单号:P2101010101010000001).
3、完全无序的字符串序列(如二维码号:023eqt01pd6o001a04ui).
4、分库分表,多机房部署的,各表的ID序列。

不适用场景:
1、对顺序有严格要求的场景。

依赖

JDK1.8+,maven,mysql, java client目前仅依赖jdk.

开源地址

gitee地址:https://gitee.com/sunney/bamboo-leaf

github地址:https://github.com/sunney2010/bamboo-leaf

上一篇下一篇

猜你喜欢

热点阅读