dubbo泛化调用使用及原理解析
2020-08-03 本文已影响0人
土豆肉丝盖浇饭
本文案例代码见 git@github.com:shengchaojie/dubbo_best_practise.git
什么是泛化调用
通常我们想调用别人的dubbo服务时，我们需要在项目中引入对应的jar包。而泛化调用的作用是，我们无需依赖相关jar包，也能调用到该服务。
这个特性一般使用在网关类项目中，在业务开发中基本不会使用。
使用方式
假设我现在要调用下面的接口服务
package com.scj.demo.dubbo.provider.service.impl;
public interface ByeService {
String bye(String name);
}
api
ReferenceConfig<GenericService> referenceConfig = new ReferenceConfig<>();
referenceConfig.setApplication(new ApplicationConfig("test"));
referenceConfig.setRegistry(new RegistryConfig("zookeeper://127.0.0.1:2181"));
referenceConfig.setInterface("com.scj.demo.dubbo.provider.service.impl.ByeService");
referenceConfig.setGeneric(true);
GenericService genericService = referenceConfig.get();
Object result = genericService.$invoke(
"bye",
new String[]{"java.lang.String"},
new Object[]{"1234"});
System.out.println(result);
spring
在xml文件做以下配置
<dubbo:reference id="byeService" interface="com.scj.demo.dubbo.provider.service.impl.ByeService" generic="true" />
然后注入使用
@Service
public class PersonService {
@Resource(name = "byeService")
private GenericService genericService;
public void sayBye(){
Object result = genericService.$invoke(
"bye",
new String[]{"java.lang.String"},
new Object[]{"1234"});
System.out.println(result);
}
}
在两种调用方式中，我们都需要使用被调用接口的字符串参数生成GenericService，通过GenericService的$invoke间接调用目标接口的接口。
public interface GenericService {
/**
* Generic invocation
*
* @param method Method name, e.g. findPerson. If there are overridden methods, parameter info is
* required, e.g. findPerson(java.lang.String)
* @param parameterTypes Parameter types
* @param args Arguments
* @return invocation return value
* @throws Throwable potential exception thrown from the invocation
*/
Object $invoke(String method, String[] parameterTypes, Object[] args) throws GenericException;
}
$invoke的三个参数分别为，方法名，方法参数类型数组，方法参数数组。
方法入参构造
可以看到泛化调用的一个复杂性在于$invoke的第三个参数的组装，下面介绍几种复杂入参的调用方式
首先丰富提供者接口
public interface ByeService {
String bye(String name);
String bye(String name, Long age, Date date);
String bye(Person person);
String bye(List<String> names);
String bye(String[] names);
String byePersons(List<Person> persons);
String byePersons(Person[] persons);
@Data
public static class Person{
private String name;
private Long age;
private Date birth;
}
public static void main(String[] args) {
System.out.println(Person.class.getName());
}
}
多参数
@Test
public void testMultiParam(){
result = genericService.$invoke(
"bye",
new String[]{"java.lang.String","java.lang.Long","java.util.Date"},
new Object[]{"scj",12L,new Date()});
System.out.println(result);
}
POJO
Map<String,Object> personMap = new HashMap<>();
{
personMap.put("name","scj");
personMap.put("age","12");
personMap.put("birth",new Date());
}
@Test
public void testPOJO(){
result = genericService.$invoke(
"bye",
new String[]{"com.scj.demo.dubbo.provider.service.impl.ByeService$Person"},
new Object[]{personMap});
System.out.println(result);
}
Map
@Test
public void testMap(){
result = genericService.$invoke(
"bye",
new String[]{"java.util.Map"},
new Object[]{personMap});
System.out.println(result);
}
集合
@Test
public void testList(){
List<String> names = Lists.newArrayList("scj1","scj2");
result = genericService.$invoke(
"bye",
new String[]{"java.util.List"},
new Object[]{names});
System.out.println(result);
}
数组
@Test
public void testArray(){
String[] nameArray = new String[]{"scj1","scj3"};
result = genericService.$invoke(
"bye",
new String[]{"java.lang.String[]"},
new Object[]{nameArray});
System.out.println(result);
}
集合+POJO
@Test
public void testPOJOList(){
result = genericService.$invoke(
"byePersons",
new String[]{"java.util.List"},
new Object[]{Lists.newArrayList(personMap,personMap)});
System.out.println(result);
}
数组+POJO
@Test
public void testPOJOArray(){
result = genericService.$invoke(
"byePersons",
new String[]{"com.scj.demo.dubbo.provider.service.impl.ByeService$Person[]"},
new Object[]{Lists.newArrayList(personMap,personMap)});
System.out.println(result);
}
结果返回
与入参相似，虽然$invoke的返回定义为Object，实际上针对不同类型有不同的返回。
别想着转换为POJO，你都泛化调用了，搞不到接口，如何转换。当然自己定义一个完全一样的当然也行。
| 接口返回类型 | $invoke返回类型 |
|---|---|
| 基础类型 | 基础类型 |
| POJO | HashMap |
| Collection | List返回ArrayList,Set返回HashSet |
| Array | Array |
| 组合类型 | 根据上述映射组合返回 |
原理介绍
消费者端
泛化调用和直接调用在消费者者端，在使用上的区别是，我们调用服务时使用的接口为GenericService，方法为$invoker。在底层的区别是，消费者端发出的rpc报文发生了变化。
使用方式上的改变
在使用上，不管哪种配置方式，我们都需要配置generic=true
设置generic=true后，RefereceConfig的interfaceClass会被强制设置为GenericService
if (ProtocolUtils.isGeneric(getGeneric())) {
//如果是泛化调用
interfaceClass = GenericService.class;
} else {
try {
interfaceClass = Class.forName(interfaceName, true, Thread.currentThread()
.getContextClassLoader());
} catch (ClassNotFoundException e) {
throw new IllegalStateException(e.getMessage(), e);
}
checkInterfaceAndMethods(interfaceClass, methods);
}
这也使得我们的RefereanceBean返回的是GenericService类型的代理。
invoker = refprotocol.refer(interfaceClass, urls.get(0));
生成的代理是GenericService的代理只是我们使用方式上的变化，更为核心的是，底层发送的rpc报文发生了什么变化。
底层报文变化
Dubbo的rpc报文分为header和body两部分。我们这边只需要关注body部分。构造逻辑如下
@Override
protected void encodeRequestData(Channel channel, ObjectOutput out, Object data, String version) throws IOException {
RpcInvocation inv = (RpcInvocation) data;
out.writeUTF(version);//dubbo版本号
out.writeUTF(inv.getAttachment(Constants.PATH_KEY));//path 就是接口全限定名
out.writeUTF(inv.getAttachment(Constants.VERSION_KEY));// 接口版本号
out.writeUTF(inv.getMethodName());//方法名
out.writeUTF(ReflectUtils.getDesc(inv.getParameterTypes()));//方法参数类型
Object[] args = inv.getArguments();
if (args != null) {
for (int i = 0; i < args.length; i++) {
out.writeObject(encodeInvocationArgument(channel, inv, i));//方法参数
}
}
out.writeObject(RpcUtils.getNecessaryAttachments(inv));//rpc上下文
}
那么我们通过直接调用与泛化调用ByeService的bye方法在报文上有啥区别呢？
我一开始以为报文中的path是GenericeService，其实并没有，path就是我们调用的目标方法。
path来源？？？todo
而报文中的方法名，方法参数类型以及具体参数，还是按照GenericeService的$invoke方法入参传递的。
这么个二合一的报文，发送到提供者那边，它估计也会很懵逼，我应该怎么执行？
所以针对泛化调用报文还会把generic=true放在attchment中传递过去
具体逻辑在GenericImplFilter中。
GenericImplFilter中有很多其他逻辑，比如泛化调用使用的序列化协议，正常接口走泛化调用的模式，我们只需要设置attachment的那部分。
针对泛化调用，要进行2次序列化/反序列化。看下POJO的调用方式你就知道为啥了
((RpcInvocation) invocation).setAttachment(
Constants.GENERIC_KEY, invoker.getUrl().getParameter(Constants.GENERIC_KEY));
知道消费者端报文发生了什么变化，那么接下来就去看提供者端如何处理这个改造后的报文。
interfaceClass和interfaceName的区别
总结一下ReferenceConfig中interfaceClass和interfaceName的区别？(这道面试题好像不错)
interfaceClass用于指定生成代理的接口
interfaceName用于指定发送rpc报文中的path(告诉服务端我要调用那个服务)
提供者端
消费者泛化调用的rpc报文传递到提供者还不能直接使用，虽然path是对的，但是实际的方法名，参数类型，参数要从rpc报文的参数中提取出来。
GenericFilter就是用来做这件事情。
在提供者这边，针对泛化调用的逻辑全部封装到了GenericFilter，解耦的非常好。
GenericFilter逻辑分析
1. 是否是泛化调用判断
if (inv.getMethodName().equals(Constants.$INVOKE)
&& inv.getArguments() != null
&& inv.getArguments().length == 3
&& !GenericService.class.isAssignableFrom(invoker.getInterface())){
//...
}
注意第4个条件，一开始很疑惑，后来发现rpc报文中的path是目标接口的，这边invoker.getInterface()返回的肯定就是实际接口了
2. 方法参数提取
//从argument提取目标方法名 方法类型 方法参数
String name = ((String) inv.getArguments()[0]).trim();
String[] types = (String[]) inv.getArguments()[1];
Object[] args = (Object[]) inv.getArguments()[2];
3. 方法参数解析，进一步反序列化
//反射获取目标执行方法
Method method = ReflectUtils.findMethodByMethodSignature(invoker.getInterface(), name, types);
Class<?>[] params = method.getParameterTypes();
if (args == null) {
args = new Object[params.length];
}
String generic = inv.getAttachment(Constants.GENERIC_KEY);
if (StringUtils.isBlank(generic)) {
generic = RpcContext.getContext().getAttachment(Constants.GENERIC_KEY);
}
//一些反序列化
if (StringUtils.isEmpty(generic)
|| ProtocolUtils.isDefaultGenericSerialization(generic)) {
args = PojoUtils.realize(args, params, method.getGenericParameterTypes());
} else if (ProtocolUtils.isJavaGenericSerialization(generic)) {
for (int i = 0; i < args.length; i++) {
if (byte[].class == args[i].getClass()) {
try {
UnsafeByteArrayInputStream is = new UnsafeByteArrayInputStream((byte[]) args[i]);
args[i] = ExtensionLoader.getExtensionLoader(Serialization.class)
.getExtension(Constants.GENERIC_SERIALIZATION_NATIVE_JAVA)
.deserialize(null, is).readObject();
} catch (Exception e) {
throw new RpcException("Deserialize argument [" + (i + 1) + "] failed.", e);
}
} else {
throw new RpcException(
"Generic serialization [" +
Constants.GENERIC_SERIALIZATION_NATIVE_JAVA +
"] only support message type " +
byte[].class +
" and your message type is " +
args[i].getClass());
}
}
} else if (ProtocolUtils.isBeanGenericSerialization(generic)) {
for (int i = 0; i < args.length; i++) {
if (args[i] instanceof JavaBeanDescriptor) {
args[i] = JavaBeanSerializeUtil.deserialize((JavaBeanDescriptor) args[i]);
} else {
throw new RpcException(
"Generic serialization [" +
Constants.GENERIC_SERIALIZATION_BEAN +
"] only support message type " +
JavaBeanDescriptor.class.getName() +
" and your message type is " +
args[i].getClass().getName());
}
}
}
这边有个疑问，为什么这边还要再次反序列化一次，netty不是有decoder么？？
嗯，你别忘了，针对一个POJO你传过来是一个Map，从Map转换为POJO需要这边进一步处理。
4. 调用目标服务
Result result = invoker.invoke(new RpcInvocation(method, args, inv.getAttachments()));
这边的invoker就是实际服务提供者的invoker，因为我们的path是正确的，invoker获取在DubboProtocl的requestHandler回调中
5. 异常处理
if (result.hasException()
&& !(result.getException() instanceof GenericException)) {
return new RpcResult(new GenericException(result.getException()));
}
这边需要注意一下！！针对接口的泛化调用，抛出的异常都会经过GenericException包装一下。
总结
从功能上来看，泛化调用提供了在没有接口依赖情况下进行的解决方案，丰富框架的使用场景。
从设计上来看，泛化调用的功能还是通过扩展的方式实现的，侵入性不强，值得学习借鉴。
