微服务

一起学习微服务和容器1-微服务的理解

2019-01-03  本文已影响1659人  cxj_hit

前言

软件系统框架也叫软件体系结构,是一个比较大的概念,借用Conway’s law这哥们儿的话说:软件体系架构可以理解为一个包含各种组织的系统组织,这些组件包括 Web服务器, 应用服务器, 数据库,存储, 通讯层), 它们彼此或和环境存在关系,系统架构的目标是解决利益相关者的关注点。换句话说,跟我们现实社会中的企业或者政府,或者组织类似,把各种组件有机捏合起来,形成一个对外输出能力的统一的整体。

近几年随着国内互联网行业的大发展,软件体系在国内IT的演进也越来越快。从最初巨石结构(主备搭建高可用),到后来的集群模式(Cluster),再到后来的分布式(Corba, RPC, COM+),再到后来的分布式的集大成者SOA(个人更偏向于称之为一种架构思想,而非具体的技术),以及到现在流行的微服务的体系结构。

从技术的发展过程来看,也是和社会的发展相契合,信息的大爆炸,原有的单体的系统已满足不了大规模的业务和数据处理,才有了后面的分布式的思想,解决单体结构以及单体部署的各种限制和约束。
从技术本质上来说,通讯协议,语言逻辑,编程思想(面向过程,面向对象,脚本等思想层面)等基本没有太大的变化,基本上是对原有的技术的迭代升级,更方便工程方面的大规模的实施。
有关软件体系结构的演进,在此就不过多累述,以后会有单独的章节来单独描述。

微服务

微服务是指开发一个单个小型的但有业务功能的服务,每个服务都有自己的处理和轻量通讯机制,可以部署在单个或多个服务器上。微服务也指一种种松耦合的、有一定的有界上下文的面向服务架构。也就是说,如果每个服务都要同时修改,那么它们就不是微服务,因为它们紧耦合在一起;如果你需要掌握一个服务太多的上下文场景使用条件,那么它就是一个有上下文边界的服务,这个定义来自DDD领域驱动设计。

Triple D 设计模型

提到这个DDD领域驱动设计,不得不提一段伤心事,曾经面试一家外企,老外直接问“Triple D Design Model”,英文不太好,没听太明白老外的意思,结束后,自己查了下,恍然,原来就是领域驱动设计,借用我们业内的话说,就是"Domain-Driven-Design",这种思想也算是微服务的本源吧。以下几个小节将就领域设计模型展开下讨论,理解好了该模型之后,对后续系统结构的理解以及服务的领域规整以及服务的划分将有很大的益处。

领域(Domain)

领域和行业的关系

从大的范围来看,我们所说的领域,可以理解为一个某一个行业或者大行业下的细分行业。

一般情况下,我们要着手设计一个系统,首先我们要清楚的知道我们现在要做一个什么样的系统,这个系统需要解决什么问题(亦即我们常说的对业务模型的理解)。一个系统一般都会属于某个特定的领域,比如电商平台、普通电商系统,这种都属于网上电商领域,只要是这个领域的系统,那都有商品浏览、购物车、下单、减库存、付款交易等核心环节。同一个领域的系统都具有相同的核心业务,因为它们要解决的问题的本质是类似的。

因此,我们可以推断出,一个领域本质上可以理解为就是一个问题域,只要是同一个领域,那问题域就相同。所以,只要我们确定了系统所属的领域,那这个系统的核心业务,即要解决的关键问题、问题的范围边界就基本确定了。

通常我们说,要成为一个领域的专家,必须要在这个领域深入研究很多年才行。因为只有你研究了很多年,你才会遇到非常多的该领域的问题,同时你解决这个领域中的问题的经验也非常丰富。很多时候,领域专家比技术专家更加吃香,比如金融领域的专家。

为了避免大家进入误区,在此小节,岔开个话题,就是简单谈一下个人对专家(架构师)的理解,严格意义上来讲,体量比较大的公司一般会有CTO,下面划分多种架构师:业务架构师,技术架构师和运维架构师。每一个类型的架构师都有自己专业领域内的深刻理解。体量比较小的公司,一般只有一个综合性的架构师。在上述话中所说的领域专家,更多的是指业务架构师。

领域和子领域

按照我们上面小节的理解,如果把一个行业或者某个行业的细分行业称为一个领域,那我们在具体的设计一个软件体系结构的时候,就需要把领域进行细化形成一个一个的子领域。例如上文所讲的电商系统,其中的订单,支付,物流等就是一个一个的小的子领域。
子领域的划分从原则上有两个维度:业务和系统。

设计(Design)

DDD是一种基于模型驱动开发的软件开发思想,强调领域模型是整个系统的核心,领域模型也是整个系统的核心价值所在。每一个领域,都有一个对应的领域模型,领域模型能够很好的帮我们解决复杂的业务问题。

从领域和代码实现的角度来理解,领域模型绑定了领域和代码实现,确保了最终的代码实现就一定是解决了领域中的核心问题的。

这个思路,和传统的分析、设计、编码这几个阶段被割裂(并且每个阶段的产物也不同)的软件开发方法学形成鲜明的对比,按照个人的理解,敏捷的思想也是来源于此吧。关于传统的软件开发方法学和敏捷方法学的理解以及该如何选择,将会有单独的章节进行描述,在此不做累述。

驱动(Driven)

在DDD思想世界里,我们总是以领域为边界,分析领域中的核心问题(核心关注点),然后设计对应的领域模型,再通过领域模型驱动代码实现。相较于传统的设计思路,像数据库设计、持久化技术等都会被稍微弱化了点。

组件化的服务

在我们进行软件体系结构的设计过程中,参考DDD设计思想,会将系统进行领域的划分形成各种组件(可独立更换和升级的软件单元),进而将组件整合在一起来构建系统,这与我们在现实世界中看待事物的方式非常相似。

微服务架构一样会用到各种库,但这种架构会把软件给拆分成各种不同的服务来实现组件化。介绍两个重要的概念:

微服务的12原则

微服务从本质上来说,也算是一种体系结构的设计思想,从SOA演进到微服务,大量的工程实践,各路大牛探索总结,得出来的这12个特性吧,又叫12要素,也叫12原则。
借用网上的一张图来展示微服务的12原则(如有版权问题,还请留言)。


image.png

一般情况下,在给大家刚开始讲微服务的时候,很多时候只是讲到DDD模型设计,不太会在开始的时候就给大家阐述这些特性和概念。因为该部分内容,牵涉到具体的动手操作实践,12原则对于有初步实践过的同学来说,回头来理解更容易些,对于新入行的同学理解起来有点抽象。建议初学者可以初步了解下,在自己实践的过程中,回头多想想。

原则1:一份基准代码,多份部署

这个原则不管对微服务体系结构还是其它软件体系结构来说基本通用,该原则包括如下四个子原则

违反子原则2和3,会给代码管理和编译工作带来麻烦:

原则2:显式声明依赖关系

这里的依赖指所有的依赖,我们假设运行环境中除了最基本的环境外什么都没有,都必须进行显示声明,并对版本做出明确的指定。

以前我们往往不会对依赖做如此严格的管理,因为应用不会有太大规模的部署,也不会进行频繁的发布,如果发现运行环境里缺少某些依赖,那么就临时手工处理一下,也不是什么太大的问题。如今在微服务模式下,应用的部署规模大、发布频率高,还记得前文所说的“不可变服务器”吗?如果这个时候还是使用原有的模式,则会带来混乱。

特别是后续章节中所讲述的和容器结合的方式,如果使用容器方式进行部署,容器的基础镜像很可能是Busybox或者Alpine之类的迷你Linux或者Java,那么就几乎等于什么都没有。

声明依赖的方式有很多,常见的方式有:

原则3:在环境中存储配置

首先需要明确的是,这里的配置指与部署运行/环境有关的配置,例如:数据库、消息代理、缓存系统等后端服务的连接配置和位置信息,如URL、用户名、密码等。

现下流行的研发模式,大家一般都会使用配置文件来单独配置系统运行过程中所需要使用到的参数,实现配置和代码的分离,但是这种方式仍然存在一些缺点,例如:

为了避免上述问题,本原则要求将在环境中存储配置。一种典型的方式是把配置存储在环境变量中,这会使配置和代码彻底的分离,格式上也与开发语言和框架再无瓜葛,并且也不会被误提交到代码库中。还可以使用Spring Cloud Config Server这类配置管理服务进行配置推送,并将配置的历史版本和变更原因也一起管理起来,后续章节会具体讲解。

原则4:把后端服务当作附加资源

一般来说,我们在设计微服务的时候,一般会设计为无状态服务,服务可以依据生产需要进行自由启停,这就需要将数据访问,对象存储,消息代理,缓存,日志收集等后端服务全部作为资源来处理,通过网络调用的资源。

该原则有如下几层含义:

原则5:严格分离构建、发布和运行

在本原则中,构建、发布和运行这三个概念可能和从前有所不同,因此有必要首先对其进行明确:

本原则要求构建、发布和运行这三个步骤严格区分:

同时,每一次发布都应该对应一个唯一的发布ID,发布的版本应当像一个只能追加的账本,一旦发布就不能修改。这么做的好处是:

原则6:以一个或多个无状态的进程运行应用

何为无状态,简单来说就是运行进程内不保存状态信息,任何状态信息都应该被保存在数据库、缓存系统等外部服务中。应用实例之间的数据共享也要通过数据库和缓存系统等外部服务进行,直接的数据共享不但违反无状态原则,还引入了串行化的单点,这会为应用的横向扩展带来障碍。

在微服务模式下,应用不应该在自身进程内部缓存数据以供将来的请求使用,因为微服务模式以多实例方式运行应用,将来的请求多半会被路由到其他实例,此时虽然可以使用粘滞会话将请求保持在同一个实例上,但是无论是云原生应用还是微服务模式都极力反对使用粘滞会话,原因如下:

在传统模式下,可以通过在双机之间进行会话复制来实现对用户无感知的单机下线维护(虽然会付出处理能力减半的代价),但是在微服务模式下,应用的实例数量往往远不止两个,在大量的实例之间进行会话复制会使实例之间原本非常简单的逻辑关系复杂化,此时将无法通过云平台对其进行无差别的自动化维护。另外,在实例之间进行会话复制也意味着实例之间存在着直接的数据共享,这会为应用的横向扩展带来障碍。
所以,粘滞会话是应用实现可用性和扩展性的重要障碍,使用粘滞会话显然是种得不偿失的选择。更好的实现方式是将会话信息存储在缓存服务中。

原则7:通过端口绑定提供服务

服务端应用通过网络端口提供服务,这点毋庸置疑,但是本原则还有如下两个深层次的含义:

端口绑定工作应该由云平台/容器自动进行,云平台在实现应用到端口的绑定之外,还需要实现内部端口到外部端口的映射和外部端口到域名的映射。在应用的整个生命周期内,应用实例会经历多次的重新部署、重启或者横向扩展,端口会发生变化,但URL会保持不变。
在本系列中,我们注重服务自身的端口使用,在容器章节中,会详细讲解应用的端口映射,如果不使用云服务/容器,则只需关注服务自身的端口,保证每个服务有自己独占的端口即可,无须太多关注端口映射。

原则8:通过进程模型进行扩展

系统的扩展包括两个层面的扩展:线程层面和进程层面。也叫:纵向扩展和横向扩展。下面分别介绍下两种扩展模式。

线程层面

线程层面扩展一种相对较为传统的方式,典型的例子是Java应用。当我们启动一个Java进程的时候,通常会通过JVM参数为其设置各个内存区域的容量上下限,同时还可能会在应用层面为其设置一个或者多个线程池的容量上下限,当外部负载变化时,进程所占用的内存容量和进程内部的线程数量可以在这些预先设置好的上下限之间进行扩展,这种方式也被称为纵向扩展或者垂直扩展。

线程层面存在的问题:

进程模式

在外部负载提高时,启动更多的“固定的”进程(对前面Java应用的例子来说,就是固定的内存容量和线程池容量),在外部负载降低时,停止一部分进程,这种方式就是本原则所说的通过进程模型进行扩展,有时候也被称为横向扩展或者水平扩展。

进程模式的好处有:

在实际的应用中,线程模式的扩展更多的是专注在单个服务内,进程的扩展专注在服务的弹性伸缩,建议两者相辅相成,相得益彰,不要一刀切非此即彼。

原则9:快速启动和优雅终止可最大化健壮性

该原则要求应用可以瞬间(理想情况下是数秒或者更短)启动和停止,因为这将有利于应用快速进行横向扩展和变更或者故障后的重新部署,而这两者都是程序健壮性的体现。

在“原则5:严格分离构建、发布和运行”中我们还提到,应用的运行步骤应该非常简单,这里的“简单”也隐含着快速的意思,目的是为了在硬件重启、实例故障和横向扩展等情况下,应用可以快速的实现重启。除此之外,“原则6:以一个或多个无状态的进程运行应用”也与应用的快速启动有关,遵守无状态原则,使用云平台提供的缓存服务,而不是在应用内部加载缓存,可以避免在应用启动期间进行耗时的缓存预热。

比起应用的快速启动,优雅终止(Graceful Shutdown)需要考虑的问题会更为广泛一些。优雅终止需要尽可能降低应用终止对用户造成的不良影响(对于微服务应用,用户可能是人,也可能是其他微服务)。

对于短任务来说,这一般意味着拒绝所有新的请求,并将已经接收的请求处理完毕后再终止;对于长任务来说,这一般意味着应用重启后的客户端重连和为任务设置断点并在重启后继续执行。除此之外,优雅终止还需要释放所有被进程锁定的资源,并对事务的完整性和操作的幂等性做出完备的考虑。

最后,应用还必须应对突如其来的退出,在硬件出现故障时或者进程崩溃时,应用需要保证不会对其使用的数据造成损坏,遵守无状态原则、将数据交由后端服务处理的应用可以很容易的将应对突然退出的复杂度外部化。

原则10:开发环境与线上环境等价

本原则的浅层次含义是要求在开发环境和线上环境中使用相同的软件栈,并尽可能为这些软件栈使用相同的配置,以避免“It works on my machine.”这类问题。本原则反对在不同的环境中使用不同的后端服务,虽然可以使用适配器或者在代码中做出兼容性考虑以消除后端服务的差异,但是这将牵扯开发人员和测试人员大量的精力以保证这些适配器和代码确实可以按预期工作,在应用的整个开发周期中,这将积累极大的额外工作量,是一种非常不必要的资源浪费。

本原则的深层次含义是尽量缩小开发环境和线上环境中时间和人员的差异。开发环境中的代码每天都在更新,而这些更新往往会累积数周甚至数月才会被发布到线上环境,这是开发环境和线上环境在时间上的巨大差异;开发人员只关心开发环境,运维人员只关心线上环境,开发人员和运维人员在工作上鲜有交集,这是开发环境和线上环境在人员上的巨大差异。

对于前一个差异,本原则要求更为密集和频繁的向线上环境发布更新,要求建立机制以保障开发人员可以在数小时甚至数分钟内既可将更新发布到线上,这也正是本章理念部分中持续交付所提倡的;对于后一个差异,本原则要求开发人员不能只关心开发环境中自己的代码,更要密切关注代码的部署过程和代码在线上的运行情况,这也正是DevOps所提倡的。

原则11:把日志当作事件流

应用程序应该将其产生的事件以每个事件一行的格式按时间顺序输出,这点毋庸置疑,但是本原则想说的其实是:应用程序不要自行管理日志文件。而是要求应用程序将日志以事件流的方式输出到标准输出STDOUT和标准错误输出STDERR,然后由运行环境捕获这些事件流,并转发到专门的日志处理服务进行处理。这样做的原因是:

应用在以多实例方式运行时,应用的单个实例可能会因为软硬件故障而重启,或者被横向扩展机制创建和销毁,所以必须将应用所有实例的日志汇总,才能完整的描述应用的运行情况。

原则12:后台管理任务当作一次性进程运行

在本原则中,通过SSH接入线上环境并使用脚本语言执行管理任务的做法已经不再被提倡,无论是云原生应用还是微服务模式都极力反对这种做法,原因可以参见“理念五:不可变服务器”和“理念六:提供声明式接口”。另外还有一个原因显而易见:你的应用有数个或者数十个实例,那么应该登录到哪个实例中执行管理任务呢?如果在管理任务执行的过程中,所在实例因为软硬件故障重启,或者被横向扩展机制销毁,那又该怎么办?
比较推荐的做法是,如果管理任务是修改应用配置,那么应该通过配置管理服务进行操作,参见“原则3:在环境中存储配置”;如果管理任务是批处理任务,例如数据的迁移、清洗或者检查,那么应该通过云平台的批处理机制进行操作,大多数的云平台都会提供这种机制,例如Kubernetes的Jobs。

截止到此,微服务的12原则已阐述,在本章结尾处,强烈建议大家跟随本系列的后续章节,亲身实践下,然后再回头来看这些原则,理解起来会更深刻些。

微服务和SOA

在前言中,已阐述过微服务很大程度是从SOA演进而来,也可以说微服务和SOA设计思想有千丝万缕的联系。

相较于SOA的思想和实现,微服务的体系结构倾向于:智能终端和无声管道。使用微服务搭建的应用旨在尽可能的分解和凝聚——他们拥有他们自己的业务逻辑,而且更像一个传统Unix印象中的过滤器——接收请求,应用合适的逻辑,并产生响应。它们使用简单REST协议而非复杂协议,就像WS-Choreography或者BPEL或者使用中央工具配置。

当然还有很多很多的不同点,在此就不再累述,在后续的章节中也会陆续的给大家揭晓。

相信能耐心的读到这里的同学已是少数,比较太过于理论,太枯燥,各位看官,我们接下来的章节,将逐步的带大家一起步入微服务的世界,你准备好了吗?

【如果大家要引用本文,还请注明出处。】

上一篇 下一篇

猜你喜欢

热点阅读