Go protobuf
- 使用protobuf实现节点间通信、编码报文以提高传输效率
- protobuf全程Protocol Buffers，是Google开发的一种数据描述语言。
- protobuf是一种轻便高效的结构化数据存储格式。
- protobuf跟存储格式、语言、平台无关。
- protobuf可扩展可序列化
- protobuf以二进制方式存储，占用内存空间小。
protobuf广泛地应用于远程过程调用（PRC）的二进制传输，使用protobuf的目的是为了获得更高的性能。传输前使用protobuf编码，接收方再进行解码，可显著地降低二进制传输数据的大小。另外，protobuf非常适合传输结构化数据，便于通信字段的扩展。
protobuf
protoc
protoc是protobuf文件（.proto）的编译器，使用protoc工具可以将.proto文件转换为各种编程语言对应的源码，包含数据类型定义和调用接口等。
protoc
从 https://github.com/protocolbuffers/protobuf/releases 中下载最新的protobuf安装包 protoc-3.15.6-win64.zip
解压压缩包后将bin目录下的protoc.exe文件移动到$GOPATH/bin目录下，注意$GOPATH/bin需要提前添加到环境变量Path目录下。
$ protoc -help
$ protoc --version
libprotoc 3.15.6
protobuf
protobuf对于Golang有两个可选用的包分别是官方的goprotobuf和gogoprotobuf，gogoprotobuf是完全兼容Google Protobuf的，只是生成的代码质量要比goprotbuf要高。
安装protobuf库
$ go get github.com/golang/protobuf/proto
go: found github.com/golang/protobuf/proto in github.com/golang/protobuf v1.5.1
go: downloading github.com/golang/protobuf v1.5.0
go: github.com/golang/protobuf upgrade => v1.5.1
安装gogoprotobuf库
$ go get github.com/gogo/protobuf/proto
go: found github.com/gogo/protobuf/proto in github.com/gogo/protobuf v1.3.2
protoc-gen-go
protoc-gen-go 是 protobuf 编译插件系列中的Go版本，protoc-gen-to 使用Golang编写。
在Golang中使用protobuf需提前安装 protoc-gen-to工具，用于将.proto文件转换为Golang代码。
$ go get -u github.com/golang/protobuf/protoc-gen-go
protoc-gen-go将会自动安装到$GOPATH/bin目录下，Windows中会生成 protoc-gen-go.exe 文件。
在当前项目下执行引入protobuf，会在go.mod文件中自动添加对protobuf的require引入。
$ go get github.com/golang/protobuf/proto
go: found github.com/golang/protobuf/proto in github.com/golang/protobuf v1.5.1
protobuf会在.proto文件中定义需要处理的结构化数据，通过protoc工具可将.proto文件转换为C、C++、Golang、Java、Python等多种语言的代码，因此兼容性好且易于使用。
$ protoc --go_out=. *.proto
命令之后理论上会将当前目录下的所有的.proto文件生成.pb.go文件，但实际测试发现报错，不推荐使用。
protoc-gen-go: unable to determine Go import path for "test.proto"
protoc-gen-gogo
gogoprotobuf有两个插件可用分别是protoc-gen-gogo和protoc-gen-gofast，protoc-gen-gogo生成的文件和protoc-gen-go一样性能略快，protoc-gen-gofast生成的Golang文件更为复杂，但性能却高出5~7倍。
安装gogoprotobuf插件
$ go get github.com/gogo/protobuf/protoc-gen-gogo
执行后会在$GOPATH下的bin目录下生成protoc-gen-gogo.exe为文件，同时会在当前项目的go.mod文件内自动引入require github.com/gogo/protobuf v1.3.2。
$ protoc *.proto --gogo_out=.
执行后会将当前目录下的所有.proto文件生成.pb.go文件
protoc-gen-gofast
$ go get github.com/gogo/protobuf/protoc-gen-gofast
执行后会在$GOPATH下的bin目录下生成protoc-gen-gofast.exe为文件
$ protoc *.proto --gofast_out=.
执行后会将当前目录下的所有.proto文件生成.pb.go文件
语法
- Protobuf协议规定：使用Protobuf协议进行数据序列化和反序列化操作时，首先需要定义传输数据的格式，并命名以
.proto为扩展名的消息定义文件。 - 使用
message定义一个消息 - 指定消息字段类型
- 分配标识符，在消息字段中每个字段都有唯一的一个标识符，最小标识号可以从1开始，最大到536870911。不可以使用[19000 ~ 19999]之间的标号。
- 指定字段规则，字段修饰符包括
required、optional、repeated三种类型，注意required弊大于利。
使用
- 按照protobuf语法，在
.proto文件中定义数据结构，同时使用protoc工具生成Golang代码。 - 在项目代码中引用生成的Golang代码
定义消息类型
$ vim ./proto/test.proto
syntax = "proto3";
package proto;
message User{
string name = 1;
bool male = 2;
repeated int32 balance = 3;
}
运行命令
$ protoc --go_out=output_directory input_directory/file.proto
-
--go_out=表示生成Go文件，protoc会自动寻找系统环境变量Path中的protoc-gen-go执行工具。
$ protoc --go_out=. *.proto
protoc-gen-go: unable to determine Go import path for "test.proto"
Please specify either:
• a "go_package" option in the .proto source file, or
• a "M" argument on the command line.
See https://developers.google.com/protocol-buffers/docs/reference/go-generated#package for more information.
--go_out: protoc-gen-go: Plugin failed with status code 1.
原因未知，protoc-gen-go插件无法生成.pb.go文件，换用protoc-gen-gofast插件。
$ protoc *.proto --gofast_out=.
标量类型
| Protobuf类型 | Golang类型 | 描述 |
|---|---|---|
| int32 | int32 | 变长编码，对于负值效率较低。若域可能存在负值可使用sint64替代。 |
| int64 | int64 | - |
| uint32 | uint32 | 变长编码 |
| uint64 | uint64 | 变长编码 |
| sint32 | int32 | 变长编码，在负值时比int32高效。 |
| sint64 | int64 | 变长编码，有符号整型值。编码时比int64高效。 |
| fixed32 | uint32 | 固长编码，4个字节，若数值大于2^28则比uint32高效。 |
| fixed64 | uint64 | 固长编码，8个字节，若数值大于2^56则比uint64高效。 |
| sfixed32 | int32 | 固长编码，4个字节。 |
| sfixed64 | int64 | 固长编码，8个字节。 |
| float | float32 | - |
| double | float64 | - |
| bool | bool | 默认false |
| bytes | []byte | 任意字节序列，长度不超过2^32，默认空数组。 |
| string | string | UTF8编码或7-bit ASCII编码的文本，长度不超过2^32。 |
标量类型如果没有被赋值则不会被序列化，解析时会赋予默认值。
| 标量类型 | 默认值 |
|---|---|
| strings | 空字符串 |
| bytes | 空序列 |
| bools | false |
| 数值类型 | 0 |
风格
文件
- 文件名使用小写下划线的命名风格，例如
lower_snake_case.proto。 - 每行不超过80个字符
- 使用2个空格缩进
包
- 包名应该和目录结构对应，例如文件在
my/package/目录下，则包名为my.package。
消息
- 消息名使用首字母大写驼峰风格（CamelCase），例如
message PlayerRequest{...}。 - 字段名使用小写下划线风格，例如
string user_id = 1。 - 枚举类型中枚举名使用首字母大写驼峰风格，例如
enum FooBar，枚举值使用全大写下划线分割的风格（CAPITALS_WITH_UNDERSCORES），例如FOO_DEFAULT = 1。
服务
- RPC服务名和方法名均使用首字母大写驼峰风格，例如
service FooService{rpc GetSomething()}。
案例
创建.proto文件
$ vim ./pb/lobby.proto
syntax = "proto3";
package pb;
message Player{
string user_id = 1;
string name = 2;
string icon = 3;
int32 point = 4;
int32 seat = 5;
int32 identity = 6; //身份
int32 status = 7; //状态
}
将.proto生成.pb.go文件
$ cd pb
$ protoc lobby.proto --gogo_out=.
测试代码
$ vim main.go
package main
import (
"fmt"
"gfw/pb"
"github.com/gogo/protobuf/proto"
)
func main() {
player := &pb.Player{
UserId: "1",
Name: "admin",
}
//序列化
buf, err := proto.Marshal(player)
if err != nil {
panic(err)
}
fmt.Printf("%v\n", buf)// [10 1 49 18 5 97 100 109 105 110]
fmt.Printf("%s\n", buf)// 1admin
//反序列化
obj := &pb.Player{}
err = proto.Unmarshal(buf, obj)
if err != nil {
panic(err)
}
fmt.Printf("%v\n", obj)// user_id:"1" name:"admin"
fmt.Printf("%v\n", obj.GetName()) // admin
}
$ go run main.go
