ClickHouse数据生命周期管理

2021-01-17 本文已影响0人 gaofubao

1 概述

如果将ClickHouse作为Log或Metrics这种具有明显时序特征数据的存储和分析引擎，那就需要考虑这些数据的生命周期管理，即设置数据的老化机制，如是否需要根据时间划分数据存储等级、设定数据的保留时长等。
ClickHouse支持从分区、列、表等粒度对数据进行管理，如分区数据的迁移、删除，列、表的TTL设置。

生命周期

2 数据生命周期管理

2.1 热温数据分离

2.1.1 环境准备

docker run -d --name=ch24 --hostname=node24 --network=host --ulimit nofile=262144:262144 --volume=/etc/localtime:/etc/localtime --volume=/data/ch/conf:/etc/clickhouse-server --volume=/data/ch/data:/var/lib/clickhouse --volume=/data/ch/disk:/mnt --volume=/data/ch/log:/var/log yandex/clickhouse-server

2.1.2 热温存储划分

热数据一般为最近几天或几周的数据，访问频率最高，通常采用SSD作为存储介质，达到存储时长后，会自动迁移至温数据区；而温数据一般为数月之内的数据，访问频次相对较低，通常采用普通机械盘作为存储介质。
对于Log或Metrics类型数据使用时间字段作为分区键和排序键，ClickHouse虽然没有提供基于时间的数据自动迁移（目前只提供基于分区大小的数据自动迁移），但可以利用其卷划分机制。

/data/ch/disk/hot1,hot2 作为热数据存储
/data/ch/disk/warm1 作为温数据存储

2.1.3 磁盘与存储策略配置

<?xml version="1.0"?>
<yandex>   
  <storage_configuration>
        <disks>
            <disk_hot1>
                <path>/mnt/hot1/</path>
                <keep_free_space_bytes>1048576</keep_free_space_bytes>
            </disk_hot1>
            <disk_hot2>
                <path>/mnt/hot2/</path>
                <keep_free_space_bytes>1048576</keep_free_space_bytes>
            </disk_hot2>
            <disk_warm1>
                <path>/mnt/warm1/</path>
                <keep_free_space_bytes>1048576</keep_free_space_bytes>
            </disk_warm1>
        </disks>
 
        <policies>
            <moving_from_hot_to_warm>
                <volumes>
                    <hot>
                        <disk>disk_hot1</disk>
                        <disk>disk_hot2</disk>
                    </hot>
                    <warm>
                        <disk>disk_warm1</disk>
                    </warm>
                </volumes>
                <move_factor>0.2</move_factor>
            </moving_from_hot_to_warm>
        </policies>
    </storage_configuration>
</yandex>

磁盘配置参数（disks标签）

disk_name：必选，必须全局唯一，自定义磁盘名称
path：必选，用于指定磁盘路径，必须以“/”结尾
keep_free_space_bytes：可选，用于定义磁盘预留空间

策略配置参数（policies标签）

policies_name：必选，必须全局唯一，自定义策略名称
volume_name：必选，必须全局唯一，自定义卷名称
disk：用于关联disks配置中的磁盘，可以声明多个disk，MergeTree会按定义的顺序选择
max_data_part_size_bytes：可选，单个数据分区的最大存储阈值，如果当前分区的数据大小超过阈值，则之后的分区会写入下一个disk磁盘
move_factor：可选，默认为0.1，如果当前分区的可用空间小于factor因子，并且定义了多个卷，则数据会自动向下一个卷移动
prefer_not_to_merge：可选，是否在当前卷中合并数据分区

2.1.4 分区数据迁移

目前只能通过ALTER查询语句移动分区：

# 移动某个分区至当前存储策略中当前volume下的其他disk磁盘
ALTER TABLE hot_warm_table MOVE PART 'all_1_2_1' TO DISK 'disk_warm1'
 
# 移动某个分区至当前存储策略中其他的volume
ALTER TABLE hot_warm_table MOVE PART 'all_1_2_1' TO VOLUME 'warm'

2.1.5 示例

1）按照上述方式启动ClickHouse实例，并配置存储策略
查看磁盘配置：

SELECT
    name,
    path,
    formatReadableSize(free_space) AS free,
    formatReadableSize(total_space) AS total,
    formatReadableSize(keep_free_space) AS reserved
FROM system.disks

查看磁盘配置.png

查看策略配置：

SELECT
    policy_name,
    volume_name,
    volume_priority,
    disks,
    formatReadableSize(max_data_part_size) AS max_data_part_size,
    move_factor
FROM system.storage_policies

查看策略配置.png

2）创建一张MergeTree表用于测试

CREATE TABLE hot_warm_table
(
    `id` UInt64,
    `StartDate` Date
)
ENGINE = MergeTree()
PARTITION BY toYYYYMM(StartDate)
ORDER BY id
SETTINGS storage_policy = 'moving_from_hot_to_warm'

注意：需指定storage_policy，否则数据会写入默认存储路径中

3）写入测试数据
写入第一批数据，会创建一个分区目录：

INSERT INTO TABLE hot_warm_table SELECT rand(),'2020-12-02 11:11:11' FROM numbers(100000)
 
SELECT partition_id,name,table,disk_name FROM system.parts WHERE table = 'hot_warm_table'

写入第一批数据.png

写入第二批数据，会创建一个新的分区目录：

INSERT INTO TABLE hot_warm_table SELECT rand() FROM numbers(100000)
 
SELECT partition_id,name,table,disk_name FROM system.parts WHERE table = 'hot_warm_table'

写入第二批数据.png

如果触发合并操作，会生成一个新分区目录：

optimize TABLE hot_warm_table
 
SELECT name, disk_name FROM system.parts WHERE table = 'hot_warm_table'

合并数据.png

注意：由多个disk组成的volume，每当生成一个新数据分区时，会依照disk定义的顺序，依次轮询写入

4）迁移数据分区到温数据区

ALTER TABLE hot_warm_table MOVE PART '202012_1_2_1' TO VOLUME 'warm'
 
SELECT name, disk_name FROM system.parts WHERE table = 'hot_warm_table'

迁移数据.png

注意：合并后尚未被清理的数据分区无法移动

2.2 保留趋势数据

可以通过物化视图同步MergeTree表中的数据到SummingMergeTree或AggregatingMergeTree表引擎中，利用既定的聚合条件得到趋势数据并存储。

保留趋势数据

2.3 过期数据清理

2.3.1 删除指定数据分区

ALTER TABLE hot_warm_table DROP PARTITION '202012'

删除指定数据分区.png

注意：此处可以指定partition_id进行数据分区删除，如果partition_id是all，则无法直接删除。

2.3.2 设置数据TTL自动删除

在MergeTree中，可以为某个列字段或整张表设置TTL。当时间到达时，如果是列字段级别的TTL，则会删除该列的数据；如果是表级别的TTL，则会删除整张表的数据；如果同时设置了列级别和表级别的TTL，则会以先到期的那个为主。
1）列级别TTL

CREATE TABLE ttl_table_v1
(
    `id` String,
    `create_time` DateTime,
    `code` String TTL create_time + toIntervalSecond(10),
    `type` UInt8 TTL create_time + toIntervalSecond(10)
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY id

2）表级别TTL

CREATE TABLE ttl_table_v2
(
    `id` String,
    `create_time` DateTime,
    `code` String TTL create_time + toIntervalMinute(1),
    `type` UInt8
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY create_time
TTL create_time + toIntervalDay(1)

注意：ClickHouse没有提供删除TTL声明的方法，但提供了控制全局TTL合并任务的启停方法：

SYSTEM STOP/START TTL MERGES

参考：《ClickHouse原理解析与应用实践》