Protobuf语法

gRPC推荐使用proto3,本节只介绍常用语法,更多高级使用姿势请参考官方文档

Message定义

一个message类型定义描述了一个请求或相应的消息格式,可以包含多种类型字段。例如定义一个搜索请求的消息格式,每个请求包含查询字符串、页码、每页数目。

syntax = "proto3";

message SearchRequest {string query = 1;           // 查询字符串int32  page_number = 2;     // 页码int32  result_per_page = 3; // 每页条数}

首行声明使用的protobuf版本为proto3

//

字段类型声明

所有的字段需要前置声明数据类型,上面的示例指定了两个数值类型和一个字符串类型。除了基本的标量类型还有复合类型,如枚举、其它message类型等。

标识符Tags

可以看到,消息的定义中,每个字段都有一个唯一的数值型标识符。这些标识符用于标识字段在消息中的二进制格式,使用中的类型不应该随意改动。需要注意的是,[1-15]内的标识在编码时只占用一个字节,包含标识符和字段类型。[16-2047]之间的标识符占用2个字节。建议为频繁出现的消息元素使用[1-15]间的标识符。如果考虑到以后可能或扩展频繁元素,可以预留一些标识符。

最小的标识符可以从1开始,最大到229 - 1,或536,870,911。不可以使用[19000-19999]之间的标识符, Protobuf协议实现中预留了这些标识符。在.proto文件中使用这些预留标识号,编译时就会报错。

字段规则

  • repeated:标识字段可以重复任意次,类似数组

  • proto3不支持proto2中的required和optional

添加更多message类型

一个.proto文件中可以定义多个消息类型,一般用于同时定义多个相关的消息,例如在同一个.proto文件中同时定义搜索请求和响应消息:

syntax = "proto3";// SearchRequest 搜索请求message SearchRequest {string query = 1;           // 查询字符串int32  page_number = 2;     // 页码int32  result_per_page = 3; // 每页条数}// SearchResponse 搜索响应message SearchResponse {
    ...
}

添加注释

//

保留字段与标识符

可以使用reserved关键字指定保留字段和保留标识符:

message Foo {reserved 2, 15, 9 to 11;reserved "foo", "bar";
}

注意,不能在一个reserved声明中混合字段名和标识符。

.proto文件编译结果

.proto.proto
.proto.h.cc.javaBuilder.proto.pb.go.rbBuilder.protopbobjc.hpbobjc.m.cs

各种语言的更多的使用方法请参考官方API文档

数据类型

这里直接引用官方文档的描述:

.protoC++JavaPythonGoRubyC#
doubledoubledoublefloatfloat64Floatdouble
floatfloatfloatfloatfloat32Floatfloat
int32int32intintint32Fixnum or Bignumint
int64int64longing/long[3]int64Bignumlong
uint32uint32int[1]int/long[3]uint32Fixnum or Bignumuint
uint64uint64long[1]int/long[3]uint64Bignumulong
sint32int32intintjint32Fixnum or Bignumint
sint64int64longint/long[3]int64Bignumlong
fixed32uint32int[1]intuint32Fixnum or Bignumuint
fixed64uint64long[1]int/long[3]uint64Bignumulong
sfixed32int32intintint32Fixnum or Bignumint
sfixed64int64longint/long[3]int64Bignumlong
boolboolbooleanbooleanboolTrueClass/FalseClassbool
stringstringStringstr/unicode[4]stringString(UTF-8)string
bytesstringByteStringstr[]byteString(ASCII-8BIT)ByteString

关于这些类型在序列化时的编码规则请参考 Protocol Buffer Encoding.

[1] java

[2] all

[3] 64

[4] Python

默认值

  • 字符串类型默认为空字符串

  • 字节类型默认为空字节

  • 布尔类型默认false

  • 数值类型默认为0值

  • enums类型默认为第一个定义的枚举值,必须是0

针对不同语言的默认值的具体行为参考 generated code guide

枚举(Enum) TODO

使用其它Message

message SearchResponse {repeated Result results = 1;
}message Result {string url = 1;string title = 2;repeated string snippets = 3;
}

message支持嵌套使用,作为另一message中的字段类型

导入定义(import)

可以使用import语句导入使用其它描述文件中声明的类型

import "others.proto";
-I / --proto_path

Message嵌套

message SearchResponse {message Result {string url = 1;string title = 2;repeated string snippets = 3;
    }repeated Result results = 1;
}
Parent.Type
message SomeOtherMessage {SearchResponse.Result result = 1;}

支持多层嵌套:

message Outer {                // Level 0message MiddleAA {         // Level 1message Inner {        // Level 2int64 ival = 1;bool  booly = 2;
        }
    }
    message MiddleBB {         // Level 1message Inner {        // Level 2int32 ival = 1;bool  booly = 2;
        }
    }
}

Message更新 TODO

Map类型

proto3支持map类型声明:

map<key_type, value_type> map_field = N;

message Project {...}map<string, Project> projects = 1;
repeated

包(Packages)

.protopackage
syntax = "proto3";package foo.bar;message Open {...}

在其他的消息格式定义中可以使用包名+消息名的方式来使用类型,如:

message Foo {...foo.bar.Open open = 1;...}

在不同的语言中,包名定义对编译后生成的代码的影响不同:

Openfoo::baroption jave_packageoption go_packageFoo.Baroption csharp_namespace

定义服务(Service)

.protoSearchRequestSearchResponse.proto
service SearchService {rpc Search (SearchRequest) returns (SearchResponse) {}
}

生成的接口代码作为客户端与服务端的约定,服务端必须实现定义的所有接口方法,客户端直接调用同名方法向服务端发起请求。比较蛋疼的是即便业务上不需要参数也必须指定一个请求消息,一般会定义一个空message。

选项(Options)

google/protobuf/descriptor.proto

一些选项是文件级别的,意味着它可以作用于顶层作用域,不包含在任何消息内部、enum或服务定义中。一些选项是消息级别的,可以用在消息定义的内部。当然有些选项可以作用在字段、enum类型、enum值、服务类型及服务方法中。但是到目前为止,并没有一种有效的选项能作用于这些类型。

一下是一些常用的选择:

java_packagejava_outer_classnameobjc_class_prefix

基本规范

.proto
  • 结构定义包括:message、service、enum

  • rpc方法定义结尾的分号可有可无

Message命名采用驼峰命名方式,字段命名采用小写字母加下划线分隔方式

message SongServerRequest {required string song_name = 1;
}

Enums类型名采用驼峰命名方式,字段命名采用大写字母加下划线分隔方式

enum Foo {FIRST_VALUE = 1;SECOND_VALUE = 2;
}

Service与rpc方法名统一采用驼峰式命名

详解Go语言编译结果 TODO

message对应golang中的struct,编译生成go代码后,字段名会转换为驼峰式

编译

.protoprotoc

运行命令:

protoc --proto_path=IMPORT_PATH --cpp_out=DST_DIR --java_out=DST_DIR --python_out=DST_DIR --go_out=DST_DIR --ruby_out=DST_DIR --javanano_out=DST_DIR --objc_out=DST_DIR --csharp_out=DST_DIR path/to/file.proto

这里只做参考就好,具体语言的编译实例请参考详细文档,其中,Go语言的使用姿势会在其它章节详细说明:

吐槽: 照着官方文档一步步操作不一定成功哦!

更多

  • Any 消息类型

  • Oneof 字段

  • 自定义Options

这些用法在实践中很少使用,这里不做详细介绍,尤其自定义选项设计高级用法,有需要请参考官方文档。

参考

本系列示例代码