ACA-笔记（一）
2020-01-20 本文已影响0人
didadu
ACA介绍
- 认证体系：
- 阿里云认证：使用阿里云产品和技术解决客户问题的能力‘
- 行业认证：具备行业通用能力的技能鉴定
- 专项认证：具备某项特定能力的技能鉴定
- 等级
- ACA：助理级,基础认证
- APA：工程师，专业认证
- ACE:高级工程师
- 具备基础能力
- 有意愿从事大数据相关工作
- 具备基础的通用IT技能
- 熟悉关系型数据库，会使用标准sql
- 具有一定的编程基础，掌握一门编程语言
- 能力模型
- 大数据基础知识
- 输了脸上试用数据类型产品
- 根据需求设计基础方案
- 根据业务场景选择产品
- 能识别问题并配合解决
- 具体技能列表
- 大叔就相关的基础知识
- 掌握阿里云数据类型产品的基本操作：开通，配置，连接，使用，退订等
- 结合自己的IT只是，使用阿里云的数据应用产品或服务
- 了解各产品的适用场景
- 根据业务需求，设计基础解决方案
- 识别产品使用中的问题并配合解决
- 考试
- 50题，60分钟，100分
- 单选题：15,2分
- 多选题：15,2分
- 判断题：20,2分
- 学习方法
- 充分利用阿里云官网的学习资料
- 视频课程，云中沙箱，专项认证
- 开通阿里云基础产品进行实际操作
- 结合官网文档学习
- 充分利用阿里云官网的学习资料
大数据的定义
什么是大数据
- 大数据的定义：指无法在可承受的时间范围内用常规软件工具进行捕捉，管理和处理的数据集合，是需要新处理模式才能具有更强的决策力，洞察发现力和流程优化能力的海量，高增长率和多样化的信息资产
- （三篇论文：JFS-谷歌文件存储系统，MapReduce，big table）
- 大数据主要特征：
- Volume:体量大
- Varity：类型多
- Value:有价值
- Velocity:变化快
- （换个角度：数据体量大，数据类型杂，数据完备性，来源维度多，积累时间长，在线随时用，简单易处理，价值密度低，数据相关性）
- 大数据为何产生
- 移动互联网带来爆炸式增长
- 数据作为资产其价值得到认可
- 存储和计算能力的飞速发展
- 大数据来源
- 媒体数据
- 网络日志
- 公共设施
- 单位组织
大数据的价值
- 解决四种问题：
- 坐井观天：孤立存在，无法获得外部世界的信息，决策基于数据片段
- 一叶障目：被局部现象所迷惑，看不到事物的全局或整体
- 盲人摸象：事物间的联系被忽视，弱化或割裂，没有全局或综合的视图
- 城门鱼殃：无法从多个角度看问题，忽视事件之间的关联问题
- 提升两种能力：
- 一叶知秋：根据个别迹象，推测出整个形势的发展趋势和结果，即通过全局数据计算，分析内在规律，进而提高洞察世界的能力
- 运筹帷幄：立足于决策，通过多维度数据的手机，加工和分析，高效的帮助用户做出更为准确的商业决策
- 核心价值：洞察（从现象看本质），预测（从已知度未知）
如何使用大数据
- 存储（分布式存储）
- 将数据分块
- 将同一数据块存储在不同的节点上
- 分块存储使存储容易
- 荣誉存储提高数据可用性
- 计算（大数据方式）
- 将数据划分，定位查询到具体划分后的数据块中
- 将问题化简成一个更简单的处理的问题
- 对所有数据进行相同操作拆分成对所有划分过得数据节点进行操作
- 将问题拆分成多个可以简单求解的小问题
- 将数据划分，定位查询到具体划分后的数据块中
- 分析
- 分类
- 数据采集与处理
- 数据质量与管理
- 机器学习
- 数据可视化
- 流程
- 数据分析是基于商业目的，有目的的进行收集，整理，加工和分析数据，提炼有价值信息的过程
- 明确目的：数据对象，商业目的，解决的业务问题
- 数据收集：确定数据范围，获取目标数据，整合相关数据
- 数据处理：处理确实数据，清洗不一致数据，关联和汇总数据
- 数据分析：基本数据分析，数据探索，复杂数据分析
- 数据展现：整理组合信息，整合信息和观点，图表展现信息
- 分析报告：简单可靠，清晰明了，逻辑性强
- 分类
阿里云大数据体系
- 计算平台：离线计算（MaxCompute），流计算（StreamCompute）,分析性数据库（AnalyticDB）
- 数据加工和分析工具：数据开发套件（DataWorks），商业智能工具（QuickBI），机器学习平台（Machine Learning，PAI），画像分析（标签中心），数据可视化（DataV）---->数据采集和数据同步工具
- 人工智能和应用引擎：智能语音，人脸识别，文字识别OCR，图像与视频分析，营销引擎，规则引擎，推荐引擎------->服务API
- 数据应用和解决方案
- 行业
