一站式数据可观测性平台 Datavines 正式开源啦
Datavines是一站式开源数据可观测性平台，提供元数据管理、数据概览报告、数据质量管理，数据分布查询、数据趋势洞察等核心能力，致力于帮助用户全面地了解和掌管数据，让您做到心中有数，目前作为 Datavane 开源组织的重点推荐项目，正式开源，欢迎大家使用。
核心特性
数据目录
-
定时获取数据源元数据，构造数据目录
-
定时监听元数据变更情况
-
支持元数据的标签管理
数据目录
数据质量监控
-
内置 27 个数据质量检查规则，开箱即用
-
支持 4 种数据质量检查规则类型
-
单表单列检查类型
-
单表自定义
SQL检查类型 -
跨表准确性检查类型
-
两表值比对检查类型
-
-
支持配置定时任务进行定时检查
-
支持配置
SLA用于检查结果告警
数据质量检查
数据概览
-
支持定时执行数据探测，输出数据概览报告
-
支持自动识别列的类型自动匹配合适的数据概况指标
-
支持表行数趋势监控
-
支持列的数据分布情况查看
数据概览
插件化设计
平台以插件化设计为核心，以下模块都支持用户自定义插件进行扩展
-
数据源：已支持
MySQL、Impala、Starocks、Doris、Presto、Trino、ClickHouse、PostgreSQL - 检查规则：内置空值检查、非空检查、枚举检查等27个检查规则
-
作业执行引擎：已支持
Spark和Local两种执行引擎。Spark引擎目前仅支持Spark2.4版本，Local引擎则是基于JDBC开发的本地执行引擎，无需依赖其他执行引擎。 - 告警通道：已支持邮件
-
错误数据存储：已支持
MySQL和 本地文件（仅支持Local执行引擎） -
注册中心：已支持
MySQL、PostgreSQL和ZooKeeper
多种运行模式
-
提供Web页面配置检查作业、运行作业、查看作业执行日志、查看错误数据和检查结果
-
支持在线生成作业运行脚本，通过
datavines-submit.sh来提交作业，可与调度系统配合使用
作业脚本
容易部署&高可用
-
平台依赖少，容易部署
-
最小仅依赖
MySQL既可启动项目，完成数据质量作业的检查 -
支持水平扩容，自动容错
-
无中心化设计，
Server节点支持水平扩展提高性能 -
作业自动容错，保证作业不丢失和不重复执行
项目架构
Datavines架构图
CatalogManager
CatalogManager 是负责管理元数据的组件，主要负责元数据的存储、查询以及元数据获取任务的调度和容错处理等。
DataQualityCenter
DataQualityCenter 是负责数据质量管理的组件，主要负责数据质量规则的管理、数据质量作业的调度、执行和自动容错处理等。
快速上手
数据概览
进行数据概览只需下面3步：
- 创建数据源（或者选择创建好的数据源）
- 点击相应的表
- 点击右上角 运行概览 并选择想要探查的列
数据质量检查
进行数据质量检查只需下面4步：
- 点击想要进行检查的列，点击 添加作业
- 选择 检查规则 并填入参数
- 选择 检查公式 ，比如 实际值/期望值 x100% ，填入比较符和阈值
- 点击保存并运行即可
加入我们
Datavines 的目标是成为更好的数据可观测性领域的开源项目，为更多的用户去解决元数据管理和数据质量管理中遇到的问题。在此我们真诚欢迎更多的贡献者参与到社区建设中来，和我们一起成长，携手共建更好的社区。
- 项目地址： https://github.com/datavane/datavines
- 问题和建议： https://github.com/datavane/datavines/issues
- 贡献代码： https://github.com/datavane/datavines/pulls
关于Datavane
Datavane是一个专注于大数据领域的开源组织(社区)，由一群大数据领域优秀的开源项目作者共同创建，旨在帮助开源项目作者更好的建设项目、为大众提供高质量的开源软件，宗旨是：只为做一个好软件。目前已经聚集了一批优质的开源项目，涉及到数据集成、大数据组件管理、数据质量等。
在 Datavane 社区中，所有的项目都是开源开放的，代码质量和架构设计优质的潜力项目。社区保持开放中立、协作创造、坚持精品，鼓励所有的开发者、用户和贡献者积极参与我们的社区、共同合作，创新创造，建设一个更加强大的开源社区。
Github: https://github.com/datavane
