内容概要
1 网站的架构演化
1.1系统特点
高并发、大流量
高可用
海量数据
用户分布广泛,网络情况复杂
安全环境恶劣
需求快速变更,发布频繁
渐进式发展
1.2 网站架构演化发展历程
单体应用:程序,文件,数据库全在一台服务器上
应用服务和数据服务分离
使用缓存
应用服务集群化
反向代理和CDN加速
文件和服务分布式化
使用NoSQL和搜索引擎
业务拆分
分布式服务
2 大型网站架构模式
2.1 分层
横向分层,应用层、服务层、数据层
2.2 分割
纵向分层,按照业务逻辑进行分层
2.3 分布式
分布式应用和服务
分布式静态资源:静态资源独立分布式部署
分布式数据和存储:关系数据库和NoSQL
分布式计算:Hadoop和MapReduce
分布式配置:配置中心
分布式锁:分布式环境下实现并发和协同
分布式文件:云存储
2.4 集群
多台服务器部署相同应用构成一个集群,通过负载均衡设备共同对外提供服务。
2.5 缓存
使用缓存的两个条件:(1)数据访问的热点不均匀(2)缓存的数据不会马上过期
从用户访问的次序上,可以做以下几个方面的缓存:
(1)CDN缓存,主要对静态资源进行缓存
(2)反向代理服务器:对网站资源的缓存
(3)本地缓存:应用的本地缓存
(4)分布式缓存
2.6 异步
(1)可以解耦
(2)提高系统可用性
(3)加快网站响应速度
(4)消除并发访问高峰
2.7 冗余
冷备、热备、灾备数据中心
2.8 自动化
代码管理、测试、安全检测、自动化部署
2.9 安全
3 架构要素
1、性能
性能指标主要有响应时间、TPS、系统性能计数器
2、可用性
可用性的主要手段是冗余
3、伸缩性
伸缩性的主要指标是:是否可以用多台服务器构建集群,是否容易向集群中添加新的服务器
4、可扩展性
网站增加新的业务产品时,是否对原有的产品不产生影响
5、安全
对现有的和潜在的各种攻击手段,是否有应对策略
4 性能架构
4.1 性能测试指标
1.响应时间
发送请求到收到请求之间的时间
2.并发数
系统能同时处理请求的数目,网站系统用户数>>网站在线用户数>>网站并发用户数
3.吞吐量
单位时间内系统处理的请求数量,体现系统的整体处理能力。TPS(每秒事务数),HPS(没秒HTTP请求数),QPS(每秒查询数)
4.性能计数器
服务器或者操作系统的一些数据指标
5.性能测试方法
性能测试
负载测试
压力测试
稳定性测试
6.性能优化策略
性能分析->性能优化
4.2 web前端性能优化
4.2.1 浏览器优化
减少http请求
使用浏览器缓存
启动压缩
css放到页面最前面,js放到页面最后面
减少cookie传输:cookie尽量少,静态资源独立域名放到CDN上
4.2.2 CDN加速
访问频率高的静态资源缓存在CDN,可有效增加访问速度。
4.2.3 反向代理
反向代理服务器缓存静态资源,或者不经常变化的动态资源(如果资源发生了变化,需要通知反向代理进行更新)
4.3 应用服务器性能优化
4.3.1分布式缓存
性能优化第一定律:优先使用缓存优化性能
1.原理
缓存本质是内存hash表,时间复杂度O(1)
2.合理使用缓存
频繁修改的数据放到缓存
必须有热点数据
数据不一致和脏读
缓存可用性
缓存预热
缓存穿透
4.3.2 异步操作
通过消息队列实现调用异步化,可改善网站性能以及可扩展性。具有消峰作用。
4.3.3 使用集群
负载均衡
4.3.1代码优化
1.多线程:启动线程数=[任务执行时间/(任务执行时间-IO等待时间)] * CPU内核数
编程上,解决线程安全的手段:
(1)将对象设计成无状态对象
(2)使用局部对象
(3)并发访问资源时使用锁
2.资源复用:单例和连接池
3.数据结构
hash表,解决hash值冲突
原始字符串-》MD5-》信息指纹-》Hash计算-》HashCode
4.垃圾回收
栈:存储线程上下文信息,如方法参数、局部变量等
堆:存储对象的内存空间,对象的创建和释放在这里机型
4.4 存储的性能优化
机械硬盘vs固态硬盘
B+树 vs LSM 树
为了改善数据访问特性,文件系统或者数据库系统通常会对数据排序后存储,加快数据检索速度。