Netty+ProtoBuf传输多种类型对象的两种方式
2021-10-14 本文已影响0人
Wannay
1.传统方式发送对象数据的方式
加上这个解码器进行解码
pipeline.addLast(new ProtobufDecoder(UserPOJO.User.getDefaultInstance()));
加上下面这个编码器进行编码
pipeline.addLast(new ProtobufEncoder());
但是这样的方式有一个很大的弊端,那就是他并不能解析多种类型的ProtoBuf传输的对象,因为UserPOJO.User.getDefaultInstance()
中已经写死了解码器可以解析的对象类型,那么我们该如何去做呢?
可以自定义协议+自定义ProtoBuf编解码器去进行解决,也可以使用oneof解决。
2.使用自定义ProtoBuf编码器的方式去实现传输多种类型的对象
我们定义如下的message,编写这样的一个msg.proto
文件
//proto版本,有proto2和proto3两个版本,支持的语言不同,支持的语法也不同,两个版本之间存在了很多的不同之处
syntax = "proto3";
package com.wanna.webflux.nio.netty.buffer.protobuf; // 指定包名,主要用来保证命名空间冲突
// 指定生成的外部类名(生成的.java文件的文件名)
option java_outer_classname = "UserPOJO";
// 如果没有指定java_package,那么默认会采用package作为java的包名
// 就算指定了java_package也得指定package,因为其它语言可能没有包的概念,就有可能导致命名空间冲突
option java_package = "com.wanna.webflux.nio.netty.buffer.protobuf";
// protobuf 使用message管理数据
// 使用`protoc --java_out=/Users/wanna/Desktop/Code/java/WebFlux/src/main/java msg.proto`进行构建出来一个.java文件
// --java_out文件指定的是包的base路径,package是生成的包
message User {
// protobuf本身是不支持继承的,所以别尝试去寻找一个继承的做法
// option代表该字段是可选的
// 一般可用的修饰符有required/optional/repeated这三个,在proto3中已经不再支持使用required修饰符
// required是必须指定的字段,不指定会抛异常,不推荐使用,从required转到option是存在问题的
// optional代表该字段是一个可选的字段,不是必须指定的,推荐使用
// repeated代表该字段可以重复出现(0次以上),相当于一个动态数组(List)
optional int32 id = 1; // 1代表字段的序号
optional string name = 2; // 2代表字段的序号
// 定义一个枚举类型
enum PhoneType {
MOBILE = 0;
HOME = 1;
WORK = 2;
}
// 定义一个message,也就是对应Java的一个类
message PhoneNumber {
optional string number = 1;
// 在proto2中支持[default = HOME]这样的方式去指定默认值
// 在proto3中已经不再支持该语法了
optional PhoneType type = 2;
}
// List,每个元素是一个PhoneNumber类型的
repeated PhoneNumber phones = 4;
}
message Student {
optional int32 id = 1;
optional string name = 2;
}
// 要构建一个Message,必须使用Message的构建器去进行set,最终调用build方法去完成消息的构建
// 一旦构建好了一个Message对象,那么该对象就是不可变的,不能再进行修改
我们先封装一个协议
msg长度的低8bit | msg长度的高8bit | unused | 对象类型 | ...msg...
我们自己封装一个header,其中高两字节代表长度,最低字节代表对象的类型。
我们先来分析一下,2个byte去定义长度,因此可以表示对象的最大长度为65535B,也就是64KB;1byte定义类型,可以有255种类型,暂时勉强够用。通过长度还能判断一下后面传输的对象的长度,还能解决TCP的粘包问题,足够使用。
我们先定义一个常量类
public class MessageProtocolConstants {
public static int BYTES_OF_HEADER = 4; //header的长度
public static int INDEX_OF_HEADER_LOW_8_BITS = 0; //在header中低8位所在的索引
public static int INDEX_OF_HEADER_HIGH_8_BITS = 1; //在header中高8位所在的索引
public static int INDEX_OF_UNUSED = 2; //在header中尚未使用的bit
public static int INDEX_OF_HEADER_TYPE = 3; //在header中type所在的索引
public static int MASK_OF_LOW_8_BITS = 0x00ff; //从header中提取出来长度的低8Bit
public static int MASK_OF_HIGH_8_BITS = 0xff00; //从header中提取出来长度的高8Bit
public static byte HEADER_OF_TYPE_USER = 0x01; //User类型的Type枚举值
public static byte HEADER_OF_TYPE_STUDENT = 0x02; //Student类型的Type枚举值
}
下面是自定义的编码器
public class CustomProtoBufEncoder extends MessageToByteEncoder<MessageLite> {
@Override
protected void encode(ChannelHandlerContext ctx, MessageLite msg, ByteBuf out) throws Exception {
byte[] body = msg.toByteArray(); //将消息转成字节数组
byte[] header = generateHeader(msg, (short) body.length); //根据Type生成header
out.writeBytes(header); //写header
out.writeBytes(body); //写body
}
//short占用2Bytes,有16个bit,可以代表的最大的数是65535,因此可以代表最大的长度为64KB,应该足够一个对象的传输了
private byte[] generateHeader(MessageLite msg, short length) throws Exception {
byte typeOfObject; //要进行传输的对象的类型
if (msg instanceof UserPOJO.User) {
typeOfObject = MessageProtocolConstants.HEADER_OF_TYPE_USER;
} else if (msg instanceof UserPOJO.Student) {
typeOfObject = MessageProtocolConstants.HEADER_OF_TYPE_STUDENT;
} else {
throw new NotSupportedException("不支持" + msg.getClass() + "类型该对象的传输");
}
byte[] header = new byte[MessageProtocolConstants.BYTES_OF_HEADER];
//byte[0..1]表示消息的长度,byte[2]暂时保留不进行使用,byte[3]存放类型
header[MessageProtocolConstants.INDEX_OF_HEADER_LOW_8_BITS] = (byte) (length & MessageProtocolConstants.MASK_OF_LOW_8_BITS); //低8位长度
header[MessageProtocolConstants.INDEX_OF_HEADER_HIGH_8_BITS] = (byte) (length & MessageProtocolConstants.MASK_OF_HIGH_8_BITS); //高8位长度
header[MessageProtocolConstants.INDEX_OF_HEADER_TYPE] = typeOfObject; //对象类型
return header;
}
}
下面是自定义的解码器
public class CustomProtoBufDecoder extends ByteToMessageDecoder {
@Override
protected void decode(ChannelHandlerContext ctx, ByteBuf in, List<Object> out) throws Exception {
//如果可读的字节数量还不够头部的长度,那么直接return...
if (in.readableBytes() <= MessageProtocolConstants.BYTES_OF_HEADER) {
return;
}
byte[] header = new byte[MessageProtocolConstants.BYTES_OF_HEADER];
in.readBytes(header); //读取header
int length = (header[MessageProtocolConstants.INDEX_OF_HEADER_HIGH_8_BITS] << 8)
+ header[MessageProtocolConstants.INDEX_OF_HEADER_LOW_8_BITS]; //高8bit左移8位+低8bit得到长度
byte type = header[MessageProtocolConstants.INDEX_OF_HEADER_TYPE]; //解析传递的出来type类型
byte[] body = new byte[length]; //创建指定长度的byte[]用来去进行读取body
in.readBytes(body); //读取body...
MessageLite object = getObject(body, type); //解析对象
out.add(object); //加入到结果列表当中
}
private MessageLite getObject(byte[] body, byte type) throws Exception {
if (type == MessageProtocolConstants.HEADER_OF_TYPE_USER) {
return UserPOJO.User.getDefaultInstance().getParserForType().parseFrom(body);
} else if (type == MessageProtocolConstants.HEADER_OF_TYPE_STUDENT) {
return UserPOJO.Student.getDefaultInstance().getParserForType().parseFrom(body);
}
throw new UnsupportedOperationException("不支持解析该类型的对象");
}
}
3. 使用ProtoBuf提供的oneof实现
编写如下的.proto文件
syntax = "proto3";
package com.wanna.webflux.nio.netty.buffer.protobuf;
option java_outer_classname = "UserPOJO2";
option java_package = "com.wanna.webflux.nio.netty.buffer.protobuf";
// 把要传递的对象全部都包装到ObjectMessage对象当中
message ObjectMessage {
enum DataType {
UserType = 0;
StudentType = 1;
}
// 数据类型,是个枚举值
optional DataType type = 1;
// oneof,只能使用和传递其中一个对象
oneof body {
User user = 2;
Student student = 3;
}
}
message User {
optional int32 id = 1;
optional string name = 2;
enum PhoneType {
MOBILE = 0;
HOME = 1;
WORK = 2;
}
message PhoneNumber {
optional string number = 1;
optional PhoneType type = 2;
}
repeated PhoneNumber phones = 4;
}
message Student {
optional int32 id = 1;
optional string name = 2;
}
在传输对象时定义一个枚举类型的Type,再使用oneof去指定只能传递一个类型的对象,这样就在读取数据的时候再根据枚举类型进行处理就可以了。
在传输时使用如下的方式进行传输,再使用传统的方式加入ProtoBufEncoder和ProtoBufDecoder就可以进行传输。
UserPOJO2.ObjectMessage message = UserPOJO2.ObjectMessage.newBuilder().setUser(
UserPOJO2.User.newBuilder().setId(1).setName("wanna").build()
).setType(UserPOJO2.ObjectMessage.DataType.UserType).build();
ctx.writeAndFlush(message);
在接收端根据枚举去判断对应类型的对象,去进行处理。
if (msg instanceof UserPOJO2.ObjectMessage) {
UserPOJO2.ObjectMessage message = (UserPOJO2.ObjectMessage) msg;
UserPOJO2.ObjectMessage.DataType type = message.getType();
if (type == UserPOJO2.ObjectMessage.DataType.StudentType) {
//....
} else if (type == UserPOJO2.ObjectMessage.DataType.UserType) {
//....
} else {
}
}