云计算原理与实践

PS 从xmind导出格式有点乱

概述

三大认识角度

• 商业模式

  • SaaS（软件即服务）
    PaaS（平台即服务）
    IaaS（基础设施即服务

• 计算范式

  • 横向云体逻辑结构

  • 纵向云栈逻辑结构

    • 业务过程
    • 应用软件
    • 中间件
    • 操作系统
    • 虚拟硬件
    • 物理硬件

• 实现方式

  • 需要新一代的软硬件技术推动，即目前流行的数据中心，并且朝着软件定义的数据中心所演进

    • 传统：建机房、布线、放置机器，然后连接起来
    • 基于集装箱的数据中心：使用集装箱作为机房，每个集装箱里安置有上千台服务器

分布式原理

• 其他计算模式

  • 主机系统&集中计算

    • 资源集中，计算、存储集中

  • 效用计算

    • 把服务器及存储系统打包给用户使用

  • 客户机/服务器模式

    • 服务器是有限的

  • 集群计算

    • 用紧密耦合的一组计算机来达到单个目的

  • 面向服务的计算

    • 将所有的应用程序都作为服务来予以提供

  • 桌面计算

    • 个人计算机可以完成绝大部分的个人计算需求

  • 网格计算

    • 利用互联网把分散在不同地理位置的计算机组织成一台“虚拟的超级计算机”

  • SaaS

    • 向提供商租用基于Web的软件

• 分布式计算

  • 概念

    • 组成=计算机1+2+3……（由网络连接）
    • 计算结果=节点1完成+节点2+……

  • 步骤

    • 设计模型
    • 任务分配
    • 编写、执行

  • 理论基础CAP

    • 一致性
    • 可用性
    • 分区容错性

  • 实例

    • hadoop

  • 方向

    • 结构化存储

      • 事务处理、关系型数据库 mysql

    • 非结构化存储

      • 分布式文件系统，扩展性

    • 半结构化存储

      • 性能

    • In-memory 存储

      • 性能

    • NewSQL

  • 典型系统

    • 网格

      • 开源工具Globus

    • P2P

    • 透明计算

    • 区块链系统

云计算架构

• 本质

  • IT作为服务、系统工程、工作负载模式、规模效应

• 架构发展

  • 中央集权架构
  • 客户机/服务器（C/S）架构
  • 中间层架构
  • 浏览器/服务器（B/S）架构
  • C/S与B/S混合架构
  • 面向服务的架构

四个关键技术

虚拟化技术

• 定义

  • 虚拟化代表着对计算资源的抽象

    • 1．服务器虚拟化

      • 多个操作系统可以作为虚拟机在单台物理服务器上运行，并且每个操作系统都可以访问底层服务器的计算资源

    • 2．网络虚拟化

      • 以软件的形式完整再现了物理网络，应用在虚拟网络上的运行与在物理网络上的运行完全相同

        • 辑网络连接设备和服务（逻辑端口、交换机、路由器、防火墙、负载均衡器、VPN等）

    • 3．桌面虚拟化

      • 代管服务的形式部署桌面

    • 4．软件定义的存储

      • 对服务器内部的磁盘和闪存进行抽象，将它们组合到高性能存储池，并以软件形式交付。

• 服务器虚拟化

  • x86架构对虚拟化的限制

    • 通过虚拟机监控器（VMM）可实现客户操作系统对硬件的访问

      • 全虚拟化

        • 接翻译可执行二进制程序的技术，能够把一种处理器上的二进制程序翻译到另一种处理器上执行

      • 半虚拟化

        • 虚拟机系统和虚拟化软件层通过交互来改善性能和效率

      • 硬件辅助虚拟化

• 商用虚拟化

• 新型硬件虚拟化

  • 代表

    • GPU虚拟化
    • FPGA虚拟化
    • RDMA虚拟化
    • NVM虚拟化

  • 未来

    • 极端虚拟化

      • 新型硬件设备的加入=>单机的处理能力不断增强=>在单机上构建巨规模/巨型虚拟机
      • 智能移动端

    • 异构硬件的融合和归一化

    • 多硬件和特性的聚合和抽象

分布式存储

• 基础

  • 基本概念

    • 将为数众多的普通计算机或服务器通过网络进行连接，同时对外提供一个整体的存储服务。

  • 分类

    • 分布式文件系统

      • Blob对象、定长块以及大文件

    • 分布式键值（Key-Value）系统

      • 基于主键的CRUD（Create/Read/ Update/Delete）功能

    • 分布式表系统

      • 用于存储半结构化数据

    • 分布式数据库

      • 规模的结构化数据，二维表格

  • 发展历史

    • 直接相连磁盘，光纤通道交换机和光纤通道网络协议
    • 基于TCP/IP，直接在工作站客户端和NAS文件共享设备之间建立连接
    • 虚拟共享磁盘技术
    • Google File System
    • Hadoop Distributed File System
    • Cassandra、HBase、MongoDB、DynamoDB

• 文件存储

  • 单机文件系统

    • 树型结构；引导块、超级块、索引节点和数据块

  • 网络文件系统

    • 服务器

  • 并行文件系统

    • 超级计算机

  • 分布式文件系统

    • 搜索引擎

  • 高通量文件系统

• 从单机存储系统到分布式存储系统

网络

• 基本概念

• 数据中心网络：云计算的骨架

  • 数据中心网络拓扑

    • 建设成本、设备规模及资源利用率之间的矛盾

  • 用Mininet搭建数据中心仿真环境

• 网络虚拟化

  • 灵活控制：软件定义网络（SDN）

    • 让网 络的控制逻辑更好地控制网络中交换机和路由器的行为

      • 软件定义网络基础架构
      • 基于OpenFlow的SDN系统架构
      • 使用OpenDaylight管理云网络
      • 使用ONOS管理云网络
      • 未来：可编程数据平面

  • 快速部署：网络功能虚拟化（NFV）

    • 使其性能 足够适用于大规模的企业网络或软件/内容服务提供商的网络

      • ETSI NFV框架
      • 服务功能链（SFC）

• 租户网络管理

  • 网络功能即服务

    • 云服务 提供商可以将自身的网络资源虚拟化，并允许租户对它们按需进行租用

  • OpenStack Neutron

  • Group-Based Policy

安全

• 概述

  • 问题

    • 可信访问控制
    • 密文检索与处理
    • 数据存在与可使用性证明
    • 数据隐私保护
    • 虚拟安全技术
    • 云资源访问控制
    • 可信云计算

  • 技术框架

  • 关键技术

• 虚拟机安全

  • 安全威胁

    • 攻击来源

    • 安全威胁

      • 威胁1：数据泄露和丢失
      • 威胁2：控制流截获及后门、rootkits
      • 威胁3：拒绝服务（Denial of Service，DoS）
      • 威胁4：虚拟机镜像威胁
      • 威胁5：运行时代码、数据篡改
      • 威胁6：权限提升
      • 威胁7：不可信的云内部人员

    • 攻击方式

      • DMA攻击
      • 多重映射和虚拟机跨域访问
      • 跨虚拟机的Cache攻击
      • 快照、内存转存威胁
      • 物理攻击和线路窃听

  • 安全防御

    • 虚拟机自身的（GOS、Apps）
    • Hypervisor（虚拟化层）

• 云存储安全

  • 安全需求

    • 1．数据的安全性
    • 2．密钥管理分发机制
    • 3．其他功能需求

  • 概述

  • 一般架构

  • 关键技术

    • 1．安全、高效的密钥生成管理分发机制
    • 2．基于属性的加密方式
    • 3．基于密文的搜索方式
    • 4．基于密文的重复数据删除技术
    • 5．基于密文的数据持有性证明
    • 6．数据的可信删除

• 云数据安全

  • 安全威胁
  • 研究内容
  • 研究进展

四种开发运维

云原生应用

云操作系统

云端软件

云运维

三大应用场景

桌面云

开发云

大数据& AI