脚本调度Kylin之销毁篇

一、背景

• 在使用了Kylin之后，经过几次版本迭代，对Kylin的使用越来越成熟。
• 既然对前面数据有了创建，也会有数据的销毁。如果配置了需要任务，点击删除会很麻烦。
• 内容的结构基本上按层级分，如果直接删除上一级，下一级的内容不会删除，同时，如果你再删除下一级的内容，就会报错，导致更难删除。Kylin的内容层级为：
  • project
  • datasource
  • model
  • cube
  • job
• 因为大量的数据是存储在HBase之中的，而只删除部分数据的话无法确定HBase的表，只能通过Kylin来处理，让Kylin来决定要删除的数据。

二、思路

• 销毁不再使用shell脚本进行销毁，因为接口涉及到json解析，直接使用shell脚本不容易获解析json。
• 同样是脚本，Python处理起来就会比shell更加方便
• 基本思路如下，用curl模拟请求。
  • 界面创建一个模板任务，获取请求地址与请求体
  • 模拟登陆cookie
  • 操作删除数据
• shell脚本调度Kylin进行清理数据。

三、Coding

3.1 登陆请求头

headers = {"Authorization": "Basic QURNSU46S1lMSU4=", "Content-Type": "application/json"}

QURNSU46S1lMSU4=为加密算法（username:password的Base64密码加密）

3.2 删除job

• 先通过一个接口查询到所有的jobs（默认15条）
• 再执行删除请求

import json
import urllib.request

kylin_host = "http://${服务地址}/kylin"
list_monitor_url = "{}/api/jobs?jobSearchMode=ALL&limit=15&offset=0&projectName=${项目名称}&timeFilter=4".format(kylin_host)

drop_job_url_template = "{}/api/jobs/{}/drop"
# 包含密码登陆授权
headers = {"Authorization": "Basic QURNSU46S1lMSU4=", "Content-Type": "application/json"}
# 登陆
req = urllib.request.Request(list_monitor_url, headers=headers)
response = urllib.request.urlopen(req)
json_str = response.read().decode('utf-8')
job_list = json.loads(json_str)

for job in job_list:
    uuid = job['uuid']
    print(uuid)
    drop_monitor_url = drop_job_url_template.format(kylin_host, uuid)
    req = urllib.request.Request(drop_monitor_url, headers=headers)
    req.get_method = lambda: 'DELETE'
    response = urllib.request.urlopen(req)
    # DELETE请求
    json_str = response.read().decode('utf-8')
    print(json_str)

3.3 删除Cube

• 先通过一个接口查询到所有的cubes（默认15条）
• disable掉cube
• 删除segtments
• 删除cube

# 定期清理Kylin重复任务
import json
import urllib.request

kylin_host = "http://${服务地址}/kylin"
list_monitor_url = "{}/api/cubes?limit=15&offset=0&projectName=${项目名称}".format(kylin_host)

disable_url_template = "{}/api/cubes/{}/disable"
delete_url_template= "{}/api/cubes/{}/segs/{}"
drop_url_template= "{}/api/cubes/{}"
# 包含密码登陆授权
headers = {"Authorization": "Basic QURNSU46S1lMSU4=", "Content-Type": "application/json"}
# 登陆
req = urllib.request.Request(list_monitor_url, headers=headers)
response = urllib.request.urlopen(req)
json_str = response.read().decode('utf-8')
cube_list = json.loads(json_str)

for cube in cube_list:
    name = cube['name']
    segments = cube['segments']
    print(name)
    drop_monitor_url = disable_url_template.format(kylin_host, name)
    req = urllib.request.Request(drop_monitor_url, headers=headers)

    for se in segments:
        print(se['name'])
        url = delete_url_template.format(kylin_host, name,se['name'])
        req = urllib.request.Request(url, headers=headers)
        req.get_method = lambda: 'DELETE'
        try:
            response = urllib.request.urlopen(req)
            # DELETE请求
            json_str = response.read().decode('utf-8')

    url = drop_url_template.format(kylin_host, name)
    req = urllib.request.Request(url, headers=headers)
    req.get_method = lambda: 'DELETE'
    response = urllib.request.urlopen(req)
    # DELETE请求
    json_str = response.read().decode('utf-8')

3.3 删除model

• 先通过一个接口查询到所有的model（默认全部）
• 再执行删除请求

# 定期清理Kylin重复任务
import json
import urllib.request


kylin_host = "http://${服务地址}/kylin"
list_monitor_url = "{}/api/models?projectName=${项目名称}".format(kylin_host)

disable_model_template = "{}/api/models/{}"
# 包含密码登陆授权
headers = {"Authorization": "Basic QURNSU46S1lMSU4=", "Content-Type": "application/json"}
# 登陆
req = urllib.request.Request(list_monitor_url, headers=headers)
response = urllib.request.urlopen(req)
json_str = response.read().decode('utf-8')
model_list = json.loads(json_str)
for model in model_list:
    name = model['name']
    url = disable_model_template.format(kylin_host, name)
    req = urllib.request.Request(url, headers=headers)
    req.get_method = lambda: 'DELETE'
    response = urllib.request.urlopen(req)
    # DELETE请求
    json_str = response.read().decode('utf-8')
    print(json_str)

3.4 删除datasource

• 先通过一个接口查询到所有的model（默认全部）
• 再执行删除请求

import json
import urllib.request

kylin_host = "http://${服务地址}/kylin"
list_monitor_url = "{}/api/tables?ext=true&project=${项目名称}".format(kylin_host)

disable_model_template = "{}/api/tables/{}.{}/${项目名称}"
# 包含密码登陆授权
headers = {"Authorization": "Basic QURNSU46S1lMSU4=", "Content-Type": "application/json"}
# 登陆
req = urllib.request.Request(list_monitor_url, headers=headers)
response = urllib.request.urlopen(req)
json_str = response.read().decode('utf-8')
datasource_list = json.loads(json_str)
for datasource in datasource_list:
    database = datasource['database']
    name = datasource['name']
    url = disable_model_template.format(kylin_host, database,name)
    req = urllib.request.Request(url, headers=headers)
    req.get_method = lambda: 'DELETE'
    response = urllib.request.urlopen(req)
    # DELETE请求
    json_str = response.read().decode('utf-8')
    print(json_str)

3.5 最重要一步

• 其实，到这里，Kylin再HBase中的HTable并没有删除。

• 还需要调度Kylin执行一次数据的删除

  cd ${KYLIN_HOME}/bin
  #查看kylin可清理数据 
  ./kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete false
  #执行清理
  ./kylin.sh org.apache.kylin.tool.StorageCleanupJob --delete true
  

• 删除前后对比HBase的Region数量，会由数据的比变动

四、总结

• 这里总结一下几个抓包的请求与接口

  功能	请求方式	接口地址
  查询jobs	GET	{}/api/jobs?jobSearchMode=ALL&limit=15&offset=0&projectName=${项目名称}&timeFilter=4
  删除job	DELETE	{}/api/jobs/${jobUuid}/drop
  查询Cube	GET	{}/api/cubes?limit=15&offset=0&projectName=${项目名称}
  diable Cube	DELETE	{}/api/cubes/{cubeName}/disable
  删除Segment	DELETE	{}/api/cubes/{cubeName}/segs/{segmentName}
  删除Cube	DELETE	{}/api/cubes/{cubeName}
  查询Model	GET	{}/api/models?projectName=${项目名称}
  删除Model	DELETE	{}/api/models/{modelName}
  查询Datasource	GET	{}/api/tables?ext=true&project=${项目名称}
  删除Datasource	DELETE	{}/api/tables/{datasourceDatabase}.{DatasourceName}/${项目名称}

• 删除完成之后，记得调度Kylin清理任务

本篇文章由一文多发平台ArtiPub自动发布