介绍

产品概述

• 提供全面托管的工作流服务，一站式开发管理的界面，帮助企业专注于数据价值的挖掘和探索
• 特点：
  • 全面托管的调度：具有强大的调度能力，提供完全托管的服务（任务到了指定时间自动调动）
  • 多种任务类型：数据同步，odps sql,mr,shell,机器学习
  • 可视化开发：提供可视化的代码开发，工作流设计器界面
  • 监控报警：可视化的任务监控，人物监控短信报警
• 数据开发流程
  • 数据产生->数据收集与存储->数据分析与处理->数据提取->数据展现与分享
  • 产品架构
    • 原始数据：
      • 云业务系统：云数据库RDS，云服务器ECS，对象存储OSS，或其他云端系统
      • 本地业务系统：mysql，oracle,log，其他
    • 大数据开发套件-> 管理数据权限，进行数据血缘分析，进行数据监控，做任务调度
      • 数据采集存储：离线接入，实时接入
      • 数据分析处理：MaxCompute,工作流
      • 数据截取：数据同步
    • 数据消费：BI报表，DateV，推荐引擎，其他
• 应用场景
  • 将业务系统产生的数据轻松上云，构建大型数据仓库和BI应用，利用MaxCompute强大的海量存储与数据存储能力
  • 基于大数据开发套件快速使用和分析数据，将大数据加工结果导出后直接应用与业务系统，实现数据化运营
  • 针对作业调度与运维的复杂性，大数据快发套件提供统一友好的调度系统和和石化调度运营界面，解决运维管理不便等问题

DataIDE引擎概念

• 基本概念
  • 任务（task）:对数据执行的操作，通常每个使用0个或者0个以上的数据表（数据集）作为输入，生成一个或多个数据表（数据集）作为输出
    • 主要分为三种：
      • 节点任务：单个任务，比如说一个sql语句
      • 工作流任务：多个节点任务，任务与任务之间有依赖关系
      • 内部节点
  • 实例（Instance）：代表了某个任务在某时某刻执行的一个快照，包括任务的运行时间，运行状态，运行日志等信息。在调度系统中的任务进过调度系统，手动触发运行后会生成一个实例。在DataIDE的调度系统自动调度的任务，会提前生成对应的实例。==和macxcompute里不同：实例是提前生成。比如规定第二天上午九点半做，先生成，到九点半运行==
  • 提交（submit）：提交指开发的节点任务，工作流任务从开发IDE环境发布到调度系统的过程。完成提交以后，相应的代码，调度配置全部合并到调度系统中，调度系统按照相关配置进行调度操作。未提交的节点任务，工作流任务不会进入到调度系统
  • 角色：[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xJ6fYQPR-1582195452100)(9887B7343C2343F1950BEE10A1891F98)]
• 多环境
  • 在开发环境开发，发布到测试环境进行测试，在发布到生产环境中

服务开通及功能介绍