程序员

数仓开发之ODS层

2024-03-14  本文已影响0人  JavaEdge

优秀可靠的数仓体系，需要良好的数据分层结构。合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。以下是该项目的分层规划。

1 设计要点

（1）ODS层的表结构设计依托于从业务系统同步过来的数据结构

（2）ODS层要保存全部历史数据，故其压缩格式应选择压缩比较高的，此处选择gzip

（3）ODS层表名的命名规范为：ods_表名_单分区增量全量标识（inc/full）。

2 相关表

2.1 整车日志表（增量日志表）

CREATE EXTERNAL TABLE ods_car_data_inc
(
  `vin`                                      STRING  COMMENT '汽车唯一ID',
  `car_status`                               INT     COMMENT '车辆状态',
  `charge_status`                            INT     COMMENT '充电状态',
  `execution_mode`                           INT     COMMENT '运行模式',
  `velocity`                                 INT     COMMENT '车速',
  `mileage`                                  INT     COMMENT '里程',
  `voltage`                                  INT     COMMENT '总电压',
  `electric_current`                         INT     COMMENT '总电流',
  `soc`                                      INT     COMMENT 'SOC',
  `dc_status`                                INT     COMMENT 'DC-DC状态',
  `gear`                                     INT     COMMENT '挡位',
  `insulation_resistance`                    INT     COMMENT '绝缘电阻',
  `motor_count`                              INT     COMMENT '驱动电机个数',
  `motor_list`                              ARRAY<STRUCT<
                                               `id`: INT,
                                               `status`: INT,
                                               `rev`: INT,
                                               `torque`: INT,
                                               `controller_temperature`: INT,
                                               `temperature`: INT,
                                               `voltage`: INT,
                                               `electric_current`: INT
                                             >>      COMMENT '驱动电机列表',
  `fuel_cell_voltage`                        INT     COMMENT '燃料电池电压',
  `fuel_cell_current`                        INT     COMMENT '燃料电池电流',
  `fuel_cell_consume_rate`                   INT     COMMENT '燃料消耗率',
  `fuel_cell_temperature_probe_count`         INT     COMMENT '燃料电池温度探针总数',
  `fuel_cell_temperature`                     INT     COMMENT '燃料电池温度值',
  `fuel_cell_max_temperature`                 INT     COMMENT '氢系统中最高温度',
  `fuel_cell_max_temperature_probe_id`        INT     COMMENT '氢系统中最高温度探针号',
  `fuel_cell_max_hydrogen_consistency`        INT     COMMENT '氢气最高浓度',
  `fuel_cell_max_hydrogen_consistency_probe_id`  INT COMMENT '氢气最高浓度传感器代号',
  `fuel_cell_max_hydrogen_pressure`           INT     COMMENT '氢气最高压力',
  `fuel_cell_max_hydrogen_pressure_probe_id`   INT    COMMENT '氢气最高压力传感器代号',
  `fuel_cell_dc_status`                       INT     COMMENT '高压DC-DC状态',
  `engine_status`                             INT     COMMENT '发动机状态',
  `crankshaft_speed`                          INT     COMMENT '曲轴转速',
  `fuel_consume_rate`                         INT     COMMENT '燃料消耗率',
  `max_voltage_battery_pack_id`               INT     COMMENT '最高电压电池子系统号',
  `max_voltage_battery_id`                    INT     COMMENT '最高电压电池单体代号',
  `max_voltage`                              INT     COMMENT '电池单体电压最高值',
  `min_temperature_subsystem_id`              INT     COMMENT '最低电压电池子系统号',
  `min_voltage_battery_id`                    INT     COMMENT '最低电压电池单体代号',
  `min_voltage`                              INT     COMMENT '电池单体电压最低值',
  `max_temperature_subsystem_id`              INT     COMMENT '最高温度子系统号',
  `max_temperature_probe_id`                  INT     COMMENT '最高温度探针号',
  `max_temperature`                           INT     COMMENT '最高温度值',
  `min_voltage_battery_pack_id`               INT     COMMENT '最低温度子系统号',
  `min_temperature_probe_id`                  INT     COMMENT '最低温度探针号',
  `min_temperature`                           INT     COMMENT '最低温度值',
  `alarm_level`                              INT     COMMENT '报警级别',
  `alarm_sign`                               INT     COMMENT '通用报警标志',
  `custom_battery_alarm_count`                INT     COMMENT '可充电储能装置故障总数N1',
  `custom_battery_alarm_list`                 ARRAY<INT> COMMENT '可充电储能装置故障代码列表',
  `custom_motor_alarm_count`                  INT     COMMENT '驱动电机故障总数N2',
  `custom_motor_alarm_list`                   ARRAY<INT> COMMENT '驱动电机故障代码列表',
  `custom_engine_alarm_count`                 INT     COMMENT '发动机故障总数N3',
  `custom_engine_alarm_list`                  ARRAY<INT> COMMENT '发动机故障代码列表',
  `other_alarm_count`                         INT     COMMENT '其他故障总数N4',
  `other_alarm_list`                          ARRAY<INT> COMMENT '其他故障代码列表',
  `battery_count`                             INT     COMMENT '单体电池总数',
  `battery_pack_count`                        INT     COMMENT '单体电池包总数',
  `battery_voltages`                          ARRAY<INT> COMMENT '单体电池电压值列表',
  `battery_temperature_probe_count`            INT     COMMENT '单体电池温度探针总数',
  `battery_pack_temperature_count`             INT     COMMENT '单体电池包总数',
  `battery_temperatures`                      ARRAY<INT> COMMENT '单体电池温度值列表',
  `timestamp`                                 BIGINT  COMMENT '日志采集时间'
)
COMMENT '整车日志表'
PARTITIONED BY (`dt` STRING COMMENT '统计日期')
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.JsonSerDe'
LOCATION '/warehouse/car_data/ods/ods_car_data_inc';

2.2 汽车信息表（全量表）

drop table if exists ods_car_info_full;
CREATE EXTERNAL TABLE IF NOT EXISTS ods_car_info_full (
  `id` string COMMENT '车辆唯一编码',
  `type_id` string COMMENT '车型ID',
  `type` string COMMENT '车型',
  `sale_type` string COMMENT '销售车型',
  `trademark` string COMMENT '品牌',
  `company` string COMMENT '厂商',
  `seating_capacity` int COMMENT '准载人数',
  `power_type` string COMMENT '车辆动力类型',
  `charge_type` string COMMENT '车辆支持充电类型',
  `category` string COMMENT '车辆分类',
  `weight_kg` int COMMENT '总质量（kg）',
  `warranty` string COMMENT '整车质保期（年/万公里）'
)
COMMENT '整车信息表'
PARTITIONED BY (dt string COMMENT '统计日期')
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
LOCATION '/warehouse/car_data/ods/ods_car_info_full';

3 数据装载

#!/bin/bash

APP='car_data'

# 判断第二个参数是否填写 如果填写使用作为日期 如果没有填写 默认使用昨天作为日期
if [ -n "$2" ]; then
    # statements
    do_date=$2
else
    do_date=`date -d '-1 day' +%F`
fi

case "$1" in
  "ods_car_data_inc")
    hive -e "LOAD DATA INPATH '/origin_data/car_data_ful1/$do_date' INTO TABLE $APP.ods_car_data_inc PARTITION (dt='$do_date');"
    ;;
  "ods_car_info_full")
    hive -e "LOAD DATA INPATH '/origin_data/car_info_full/$do_date' INTO TABLE $APP.ods_car_info_full PARTITION (dt='$do_date');"
    ;;
  "all")
    hive -e "LOAD DATA INPATH '/origin_data/car_data_ful1/$do_date' INTO TABLE $APP.ods_car_data_inc PARTITION (dt='$do_date');"
    hive -e "LOAD DATA INPATH '/origin_data/car_info_full/$do_date' INTO TABLE $APP.ods_car_info_full PARTITION (dt='$do_date');"
    ;;
  *)
    echo "Usage: $0 {ods_car_data_inc|ods_car_info_full|all}"
    ;;
esac

确保在Hive加载数据之前，数据文件已经存在于对应的HDFS路径中，且表的分区字段名是正确的。在运行脚本之前，授予其执行权限，使用以下命令。然后根据你的需求执行脚本：

./your_script_name.sh ods_car_data_inc
./your_script_name.sh ods_car_info_full

./your_script_name.sh all 2024-03-11

写好脚本，以后放入 dophinschedule 调度器每天跑就行。实现将 HDFS 数据载入 ods表 中。

关注我，紧跟本系列专栏文章，咱们下篇再续！

作者简介：魔都技术专家兼架构，多家大厂后端一线研发经验，各大技术社区头部专家博主。具有丰富的引领团队经验，深厚业务架构和解决方案的积累。

负责：

  • 中央/分销预订系统性能优化
  • 活动&优惠券等营销中台建设
  • 交易平台及数据中台等架构和开发设计

目前主攻降低软件复杂性设计、构建高可用系统方向。

参考：

本文由博客一文多发平台 OpenWrite 发布！

上一篇下一篇

猜你喜欢

热点阅读