京东商城,超大型电商系统架构设计原则与实践!
来自京东商城技术团队的内部分享材料,其中一些涉及太多技术细节的ppt没有放出来,但在文字中都有提到。
京东商城系统,融合了自营模式、商城模式、三方平台等模式,跟淘宝、天猫以商城模式为主的电商系统相比,业务模式上要丰富很多,包括许多WMS、TMS、OMS的部分。国内中小型电商公司,如果要学,最好是学习京东的业务架构,因为业务模式上相近一些。
01
超大型电商系统架构目标
1.构建超大型电商交易平台,兼顾效率和性能,达到高人效、高时效和低成本的目标。
2.低成本,增加服务的重用性,提高开发效率,降低人力成本;利用成熟开源技术,降低软硬件成本;利用虚拟化技术,减少服务器成本。
3.高扩展,系统架构简单清晰,应用系统间耦合低,容易水平扩展,业务功能增改方便快捷。
4.高可用,自动化运维。整体系统可用性99.99%,单个系统可用性99.999%。全年故障时间整个系统不超过50分钟,单个系统故障不超过5分钟。
02
京东商城业务架构设计原则
1.业务平台化
业务平台化,相互独立。如交易平台、仓储平台、物流平台、支付平台、广告平台等 。基础业务下沉,可复用。如用户、商品、类目、促销、时效等。
2.核心业务、非核心业务分离
电商核心业务与非核心业务分离,核心业务精简(利于稳定),非核心业务多样化。如,主交易服务、通用交易服务 。
3.区分主流程、辅流程
分清哪些是电商的主流程。运行时,优先保证主流程的顺利完成,辅流程可以采用后台异步的方式。避免辅流程的失败导致主流程的回滚。如,下单时,同步调用快照,异步通知台账、发票 。
4.隔离不同类型的业务
交易业务是签订买家和卖家之间的交易合同,需要优先保证高可用性,让用户能快速下单,履约业务对可用性没有太高要求,可以优先保证一致性 ,闪购业务对高并发要求很高,应该跟普通业务隔离。
京东电商系统-业务架构图 (来源于@京东技术部)
京东业务架构实例:基础业务下沉 (来源于@京东技术部)
03
应用架构设计原则
1、稳定性原则
一切以稳定为中心;架构尽可能简单、清晰;不过度设计。
2、接耦/拆分
稳定部分与易变部门分离;核心业务与非核心业务分离;电商主流程与辅流程分离;应用与数据分离;服务与实现细节分离。
3、抽象化
应用抽象化:应用只依赖服务抽象,不依赖服务实现细节、位置。
数据库抽象化:应用只依赖逻辑数据库,不需要关心物理库的位置和分片。
服务器抽象化:应用虚拟化部署,不需要关心实体机配置,动态调配资源。
4、松耦合。
跨域调用异步化,不同业务域之间尽量异步接耦。
非核心业务尽量异步化,核心和非核心业务之间,尽量异步接耦。
5、容错设计。
服务自治:服务能彼此独立修改、部署、发布和管理。避免引发连锁反应。
集群容错:应用系统集群,避免单点。
多机房容灾:多机房部署,多活。
04
京东商城应用架构分层
表现层。包含首页、列表页、详情页。
业务流程层。商品系统、交易系统、订单系统、财务系统、物流系统等。
服务层,服务构建层,其中包含:商品服务、交易服务、订单服务、财务服务、物流服务。
在治理方面,包括服务质量层、数据架构层、治理层等。
京东应用架构分层 (来源于@京东技术部)
05
京东商城应用架构拆分原则
1、水平扩展。也就是复制的能力,应用系统实现多机集群、提升并发能力,数据库进行读写分离,如商品读库、商品写库。
2、垂直拆分。指的是不同业务系统的拆分,如商品系统、交易系统;数据库方面也是相应拆成商品库、订单库。
3、业务分片。同业务进行分片,比如秒杀系统、常规下单系统,要分开;数据库方面,如把订单表按ID取模运算后分库分表。
4、水平拆分。服务层面,功能与非功能分开,稳定业务与易变业务分开;数据库方面,冷热数据分离、历史数据分离。
06
京东商城服务设计的依赖原则
1、依赖稳定的部分。稳定部分不依赖易变的部分、易变的部分可以依赖稳定的部分、坚决避免循环依赖。
2、跨域弱依赖。跨业务域调用的时候,尽可能异步弱依赖。
3、基于服务依赖。基于服务不能向上依赖流程服务;组合服务、流程服务可以向下依赖基本服务。条件是基本服务要稳定。
4、非功能性服务依赖。非功能性服务不能依赖功能性服务;功能性服务可依赖非功能性服务。条件:非功能性服务稳定。
5、平台服务依赖。平台服务不依赖上层应用;上层应用可依赖平台服务;条件:平台服务稳定。
6、核心服务依赖。核心服务不依赖非核心服务;非核心服务可依赖核心服务;条件:核心服务稳定。
07
服务设计基本原则
1、无状态。尽量不要把状态数据保存在本机,接口调用幂等性。
2、可复用。复用颗粒度是有业务逻辑的抽象服务,不是服务实现细节。服务引用只依赖于服务抽象。
3、松耦合。跨业务调用,尽可能异步解耦。必须同步调用时,设置超时和队列大小。相对稳定的基本服务与易变流程服务分层。
4、可治理。制定服务契约、服务可降级、服务可限流、服务可开关、服务可监控、白名单机制。
京东商城应用架构实例图 (来源于@京东技术部)
08
京东商城数据架构设计原则
1、统一数据视图。保证数据的及时性,一致性、准确性、完整性。
2、数据、应用分离。应用系统只依赖逻辑数据库;应用系统不直接访问其它宿主数据库,只能通过服务访问。
3、数据异构。源数据和目标数据内容相同时,做索引异构,如商品库不同维度。内容不同时,做数据库异构,如订单买家库和卖家库。
4、数据读写分离。访问量大的数据库做读写分离,数据量大的数据库做分库,不同业务域数据库做分区隔离,重要数据配置备库。
5、用Mysql等主流数据库。除成本因素外,Mysql数据库扩展能力强,运维积累了大量丰富经验。
6、合理使用缓存。数据库有能力支撑时,尽量不要引入缓存。合理利用缓存做容灾。
(来源于@京东技术部)
(来源于@京东技术部)
09
京东商城技术架构总览
1、基本平台。数据存取方面的技术组件包括:缓存服务有JFS/Jimstore、图片服务JSS、即时服务JDW、索引服务Search、数据库服务DBS。
2、集成层。服务流程引擎PAF、服务中间件SAF、MQ服务JDMQ、数据库中间件JDAL、调度服务JDWorker、业务规则服务JDRules、配置服务JDCenter、推送服务JMP。
3、质量层。监控服务UMP、日志服务Loghub、风控系统JDriskM、应用管理jdcenter。
其它还包括治理层、虚拟平台、运营管理等等。
(来源于@京东技术部)
10
京东商城系统运维原则
1、可监控。服务的TPS和RT是否符合SLA,是否出现超预期流量。
2、应用可回滚,功能可降级。应用出现问题时,要求能回滚到上一版本,或做功能降级。
3、在线扩容。超预期流量时,应用系统可选择在线水平扩展。
4、安全保证。确保系统和保密性和完整性。具有足够的防攻击能力。
5、可容错性。核心应用要求多活,避免单点设计,并且自身有容错和修复能力。故障恢复时间短。
6、可故障转移。多机房部署,发生故障时能及时切换。
(来源于@京东技术部)
以上跟大家分享了京东商城业务架构、技术架构、数据架构,以及架构原则、运维原则。如果觉得本文对您有帮助,请点在看、分享朋友圈,感谢您的支持!