剖析 | SOFARPC 框架之总体设计与扩展机制
前言
RPC 框架作为分布式技术的基石,在分布式和微服务环境下,扮演着非常重要的角色。
在蚂蚁金服的分布式技术体系下,我们大量的技术产品(非网关类产品),都需要在内网,进行节点间通信。底层通信框架,已经在蚂蚁自研的SOFABolt 中的进行了实践,SOFABolt 提供了优秀的通信协议与通信框架,在 SOFABolt 的基础上,我们研发了自己的 RPC 框架,提供了负载均衡,流量转发,链路追踪,链路数据透传,故障剔除等基础能力。
项目地址:
SOFARPC:https://github.com/alipay/sofa-rpc
SOFABolt:https://github.com/alipay/sofa-bolt
本文将从以下几个方面介绍目前已经开源的 SOFARPC 框架。
RPC 是什么
通用 RPC 框架原理
SOFARPC 框架设计
SOFARPC 扩展机制
RPC 是什么
RPC 这个概念术语在上世纪 80 年代由 Bruce Jay Nelson 提出,在 Nelson 的论文"Implementing Remote Procedure Calls" 中他提到了几点:
这里面Nelson提出了一个 RPC框架应该包含的几个部分。
如下图示,为了和现在我们通用的术语一致,我将 User 改成 Client 了
当 Client 想发起一个远程调用时,实际是通过本地调用 Client-stub,而 Client-stub 负责将调用的接口、方法和参数通过约定的协议规范进行编码并通过本地的 RPC-Runtime 实例传输到远端的实例。远端 RPC-Runtime 实例收到请求后交给 Server-stub 进行解码后发起本地端调用,在 Java中可以认为就是反射调用,调用结果再返回给 Client 端。
从上文可以看到,一个典型的 RPC 调用过程还是相对简单的。但是实际上,一个真正的 RPC 框架要做的远不止这些。
通用 RPC 框架原理
相信对 RPC 框架有过一定了解,或者使用过 RPC 产品的同学,在看到了图上之后,会产生几个疑问
1.Stub 怎么出现?
2.怎么打包参数?
3.怎么传输?
4.怎么知道目标地址?
5.怎么发布一个 RPC 服务?
在解释这些问题之前,这里我画了一张目前通用的 RPC 框架的一个流程图:
其中
1. 创建代理解决了 Stub 的问题。
2. 序列化和网络协议编码解决了打包的问题。
3. 服务发现与路由寻址解决了如何知道目标地址的问题。
4. 如何发布一个服务,Registry 来解决。
5. Bolt,Netty 等解决了网络传输的问题。
当然 SOFARPC 的功能不止这些,在解决了这些问题之后,根据业务的需求和实际的线上情况,我们也开发了熔断,限流,故障剔除,数据透传等能力,下面我会来介绍 SOFARPC 的框架设计。
SOFARPC 框架设计
SOFARPC RoadMap
首先介绍下目前 SOFARPC 的现状和一些正在做的事情
欢迎对相关功能和 feature 有兴趣的同学,一起参与开发~
SOFARPC 结构设计
原理大家清楚之后,为了方便大家尽快上手开发使用,我先从目前的 RPC 框架结构来简单介绍
其中 core和 core-impl 是核心的功能,包含 API 和一些扩展机制,extension-impl 中,则包含了不同的实现和扩展,比如对 http,rest,对 metrics,以及其他注册中心的集成和扩展。
如 bootstrap 中对协议的支持,remoting 中对网络传输的支持,registry 中对注册中心的支持等。
在此基础上,由于 RPC 框架涉及服务端和客户端,我会结合 SOFARPC 的处理流程,详细介绍下客户端和服务端的处理。
客户端调用流程
当使用方对服务进行了引用配置之后:
1.RPC 生成 Proxy,作为用户可以操作的入口。
2.向服务中心订阅这个 RPC 的地址信息。
3.使用方发起调用,经过路由,负载均衡,各类 Filter 发起调用。
服务端处理流程
在服务端看来,通过 TCP 监听端口后:
1.接到 RPC 请求后,进行解码和反序列化。
2.选择线程池,进行分发。
3.经过 Filter,进行反射调用。
4.将结果序列化,编码,进行写回。
SOFARPC 扩展机制
从上面的流程中,可以看到,每个部分基本都有多种实现可选,这得益于RPC的扩展机制。
为了对 RPC 各个环节的都有充足的可扩展性,提供 SPI 的能力,所以内部的实现和第三方实现都是绝对平等的。
相比原生 SPI,我们实现了更强大的功能
按需加载
可以有别名
可以有优先级进行排序和覆盖
可以控制是否单例
可以在某些场景下使用编码
可以指定扩展配置位置
可以排斥其他扩展点
我们实现了一套自己的 SPI 机制。整个流程如下:
在启动加载阶段,RPC 会根据对应的配置,加载需要调用方法
ExtensionLoader(Class<T> interfaceClass, ExtensionLoaderListener<T> listener)逻辑如下:
首先读取rpc-config-default.json和rpc-config.json,找到扩展描述文件存放的文件夹:extension.load.path属性。
找到接口类对应的扩展描述文件的文件名(默认就是接口名,也可以自己指定)。
循环加载这个文件下的扩展描述文件,按行读取。(同一个接口的同一个别名对应唯一的一个实现类,可以重复,允许覆盖。)
保存扩展实现类的alias和实现类的对应关系。
如果 ExtensionLoaderListener 不为空,则通知 Listener。
最终,将会构造出各个不同的 Filter,Invoker 等等。
其中我们首先设计了一个扩展,代表这个类或者接口是可扩展的,默认单例、不需要编码
同时,针对具体的扩展实现,定义一个扩展注解
通过核心类ExtensionLoader的加载过程。完成对扩展的加载:
当我们或者其他使用者想要实现一个自己的扩展点的时候,只需要按照如下的步骤即可开始
1、指定扩展点
2、指定扩展实现类
3、扩展描述文件META-INF/services/sofa-rpc/com.aliapy.sofa.rpc.client.Client
当这些准备完成后,直接调用即可
基于这套扩展加载机制,我们可以实现自定义扩展点,实现 SOFARPC 内部及第三方的自由扩展。
总结
本文作为《剖析 | SOFARPC 框架》第一篇,主要还是希望大家对 RPC 框架有一个认识和了解,之后,我们会逐步详细介绍每部分的代码设计和实现,预计会按照如下的目录进行:
SOFARPC 同步异步实现剖析
SOFARPC 线程模型剖析
SOFARPC 连接管理与心跳剖析
SOFARPC 单机故障剔除剖析
SOFARPC 路由实现剖析
SOFARPC 序列化比较
SOFARPC 注解支持剖析
SOFARPC 优雅关闭剖析
SOFARPC 链路追踪剖析
SOFARPC 数据透传剖析
SOFARPC 跨语言支持剖析
SOFARPC 泛化调用实现剖析
以上有对某个主题特别感兴趣的同学,可以留言讨论,我们会适当根据大家的反馈调整文章的顺序,谢谢大家关注 SOFA ,关注 SOFARPC,我们会一直与大家一起成长的。
再丢一次项目地址:
SOFA:https://github.com/alipay
SOFARPC:https://github.com/alipay/sofa-rpc
SOFABolt:https://github.com/alipay/sofa-bolt
公众号:金融级分布式架构(Antfin_SOFA)