protobuf 动态解析

zifa2003293 · 发表于 2023-2-17 11:45

proto 解析

代码： https://github.com/viakiba/viakiba/tree/master/protoDescAnalytics ## 背景
在游戏开发过程中，很多项目都是用 protobuf 进行消息序列化与反序列化。
在服务器收到客户端发来的消息进行反序列化时，根据消息 msgId ，对消息体进行解析到对应的消息。原来都是用的id手写的注册器或者生产注册器代码，去根据注册器的对象进行反序列化。类似如下：
ms.Register(&protobufEmpty.Empty{})
ms.Register(&com.BattleHeroEquipInfo{})
ms.Register(&com.BattleHeroInfo{})
ms.Register(&com.BattleHeroWeaponInfo{})
ms.Register(&com.BattleMsg{})
ms.Register(&com.BattlePlayerInfo{})
ms.Register(&com.DBChapterReward{})
ms.Register(&com.DBChapterRewardInfo{})
ms.Register(&com.DBChapterUntreatedReward{})
ms.Register(&com.DBDailyReset{})
ms.Register(&com.DBEquipInfo{})protobuf 自描述特性

protoc 有一个 –descriptor_set_out 可以导出消息的描述文件，官方各种语言的sdk都提供解析api。接下来我们通过一个java的demo项目开展思路讲解。
环境
java8 + maven
依赖
<dependency>
      <groupId>com.google.protobuf</groupId>
      <artifactId>protobuf-java</artifactId>
      <version>3.19.4</version>
</dependency>
protoc导出代码的工具下载：
https://github.com/protocolbuffers/protobuf/releases项目结构

tree
.
├── genMes.sh                                              生成消息代码的脚本根目录执行生成位置  ./src/main/java/
├── genMesDesc.sh                                        生成描述文件的脚本根目录执行生成位置  ./protoc/desc/test.desc
├── pom.xml
├── protoc
│ ├── desc
│ │ └── test.desc
│ ├── mac
│ │ ├── download.md
│ │ └── protoc
│ └── message
│    └── mes
│          ├── demo.proto
│          ├── google
│          │ └── protobuf
│          │    ├── any.proto
│          │    ├── api.proto
│          │    ├── compiler
│          │    │ └── plugin.proto
│          │    ├── descriptor.proto
│          │    ├── duration.proto
│          │    ├── empty.proto
│          │    ├── field_mask.proto
│          │    ├── source_context.proto
│          │    ├── struct.proto
│          │    ├── timestamp.proto
│          │    ├── type.proto
│          │    └── wrappers.proto
│          └── options.proto
├── readme.md
└── src
├── main
│ ├── java
│ │ └── org
│ │    └── viakiba
│ │          └── protobuf
│ │             └── message
│ │                └── mes
│ │                      ├── DemoMessage.java
│ │                      └── Options.java
│ └── resources
└── test
      └── java
         └── org
            └── viakiba
                  └── desc
                     └── TestDesc.java

22 directories, 24 filesoptions.proto

声明扩展字段 msgId , 定义消息号使用。如何使用见 demo.proto 新建的消息例子。
TestDesc（test里面）

执行了 genMesDesc.sh 与 genMes.sh 之后，见test里面的测试代码。
解析扩展字段（testMsgIdExtendInfo）

@Test
public void testMsgIdExtendInfo() throws IOException {
DescriptorProtos.FileDescriptorSet fdSet = DescriptorProtos.FileDescriptorSet.parseFrom(new FileInputStream(&#34;/Users/dd/Documents/protoDescAnalytics/protoc/desc/test.desc&#34;));
for (DescriptorProtos.FileDescriptorProto fileDescriptorProto : fdSet.getFileList()) {
      //fileDescriptorProto.getExtensionList() 获取扩展（proto中的extend）列表
      for (DescriptorProtos.FieldDescriptorProto fieldDescriptorProto : fileDescriptorProto.getExtensionList()) {
//             System.out.println(fieldDescriptorProto);
         System.out.println(fieldDescriptorProto.getName() + &#34; &#34; + fieldDescriptorProto.getNumber());
      }
}
}

//输出：
//msgId 54321解析描述文件（testMesMetaAnalytics）

@Test
public void testMesMetaAnalytics() throws Exception {
DescriptorProtos.FileDescriptorSet fdSet = DescriptorProtos.FileDescriptorSet.parseFrom(new FileInputStream(&#34;/Users/dd/Documents/protoDescAnalytics/protoc/desc/test.desc&#34;));
//可以将多个proto文件的描述信息生成到同一个desc文件，每个proto文件对应一个FileDescriptorProto对象
//FileDescriptorProto包含proto文件的信息，比如name、option（比如定义的java_package，java_outer_classname等）、消息等
for (DescriptorProtos.FileDescriptorProto fileDescriptorProto : fdSet.getFileList()) {
      System.out.println(&#34; ==================================  开始文件&#34; + fileDescriptorProto.getName() + &#34; 解析打印 ==================================&#34;);
      System.out.println(&#34;proto 文件名称：&#34; + fileDescriptorProto.getName());
      System.out.println(&#34;proto 文件Options参数：\n&#34; + fileDescriptorProto.getOptions());
      //DescriptorProto 代表 proto文件  中的一个消息 (getMessageTypeList 方法获取)
      for (DescriptorProtos.DescriptorProto descriptorProto : fileDescriptorProto.getMessageTypeList()) {
         System.out.println(&#34;消息名称 &#34; + fileDescriptorProto.getOptions().getJavaPackage() +&#34;.&#34;+fileDescriptorProto.getOptions().getJavaOuterClassname() + &#34;.&#34;+ descriptorProto.getName() + &#34; 的字段信息 ======&#34;);
         //FieldDescriptorProto 代表消息中的一个字段，包含名称、tag、类型等信息
         for (DescriptorProtos.FieldDescriptorProto fieldDescriptorProto : descriptorProto.getFieldList()) {
            System.out.println(&#34;字段名称 &#34;+fieldDescriptorProto.getName() + &#34; ,字段index &#34; + fieldDescriptorProto.getNumber() + &#34; ,字段类型 &#34;+ fieldDescriptorProto.getType().name());
         }
         System.out.println(&#34;消息名称 &#34; + descriptorProto.getName() + &#34; 的字段信息 ======&#34;);
         //如果消息中使用了自定义选项，通过UnknownFieldSet可以获取到相关信息
         UnknownFieldSet uf = descriptorProto.getOptions().getUnknownFields();
         for (Map.Entry<Integer, UnknownFieldSet.Field> entry : uf.asMap().entrySet()) {
            System.out.println(&#34;额外的字段  key:&#34; + entry.getKey() + &#34; ,字段的值&#34; + entry.getValue().getVarintList());
            // entry.getKey() 与 options 的字段一致。
         }
      }
      System.out.println(&#34; ==================================  结束文件&#34; + fileDescriptorProto.getName() + &#34; 解析打印 ==================================&#34;);
}
}输出
==================================  开始文件options.proto 解析打印 ==================================
proto 文件名称：options.proto
proto 文件Options参数：
java_package: &#34;org.viakiba.protobuf.message.mes&#34;
java_outer_classname: &#34;Options&#34;

==================================  结束文件options.proto 解析打印 ==================================
==================================  开始文件demo.proto 解析打印 ==================================
proto 文件名称：demo.proto
proto 文件Options参数：
java_package: &#34;org.viakiba.protobuf.message.mes&#34;
java_outer_classname: &#34;DemoMessage&#34;

消息名称 org.viakiba.protobuf.message.mes.DemoMessage.Server 的字段信息 ======
字段名称 Time ,字段index 1 ,字段类型 TYPE_INT64
消息名称 Server 的字段信息 ======
额外的字段  key:54321 ,字段的值[100010]
==================================  结束文件demo.proto 解析打印 ==================================根绝msgId动态解析消息

@Test
public void testDynamicMessageAnalytics() throws Exception {
DemoMessage.Server.Builder builder = DemoMessage.Server.newBuilder();
builder.setTime(1000);
DemoMessage.Server build = builder.build();
byte[] bytes = build.toByteArray(); //测试数据

HashMap<Long, Object> msgId2GeneratedMessageV3Builder = new HashMap<>();
initDesc(msgId2GeneratedMessageV3Builder); //根据描述文件初始化注册器

// 核心就是 forName 参数消息号约定好的 100010 （TLV格式或者放到header里面）
GeneratedMessageV3.Builder clone1 = ( (GeneratedMessageV3.Builder)msgId2GeneratedMessageV3Builder.get( (long)100010) ).clone();
clone1.mergeFrom(bytes);
Message build1 = clone1.build();
System.out.println( ( (DemoMessage.Server)build1).getTime());
}

private static void initDesc(HashMap<Long, Object> msgId2GeneratedMessageV3Builder) throws Exception {
DescriptorProtos.FileDescriptorSet fdSet = DescriptorProtos.FileDescriptorSet.parseFrom(new FileInputStream(&#34;/Users/dd/Documents/protoDescAnalytics/protoc/desc/test.desc&#34;));
for (DescriptorProtos.FileDescriptorProto fileDescriptorProto : fdSet.getFileList()) {
      for (DescriptorProtos.DescriptorProto descriptorProto : fileDescriptorProto.getMessageTypeList()) {
         String className = fileDescriptorProto.getOptions().getJavaPackage() + &#34;.&#34; + fileDescriptorProto.getOptions().getJavaOuterClassname() + &#34;$&#34; + descriptorProto.getName();
         UnknownFieldSet uf = descriptorProto.getOptions().getUnknownFields();
         for (Map.Entry<Integer, UnknownFieldSet.Field> entry : uf.asMap().entrySet()) {
            if (entry.getKey() == 54321) {// entry.getKey() 与 options 的字段一致。注册到map上
                  msgId2GeneratedMessageV3Builder.put(entry.getValue().getVarintList().get(0),Class.forName(className).getMethod(&#34;newBuilder&#34;).invoke(null));
            }
            System.out.println(&#34;额外的字段  key:&#34; + entry.getKey() + &#34; ,字段的值&#34; + entry.getValue().getVarintList());
         }
      }
}
}
testDynamicMessageAnalytics 里面最后一行，强转对象到预期的类型即可。这样就完成对应类型的解析。
这种方法比 DynamicMessage 方法摇号，因为 DynamicMessage 无法很容易的获得字段值。如下是其中一直：DynamicMessage 方式
@Test
public void testDynamicMessageAnalytics1() throws Exception {
DemoMessage.Server.Builder builder = DemoMessage.Server.newBuilder();
builder.setTime(1000);
DemoMessage.Server build = builder.build();
byte[] bytes = build.toByteArray(); //测试数据

DynamicMessage dynamicMessage = DynamicMessage.parseFrom(build.getDescriptorForType(), bytes);
System.out.println(dynamicMessage.getField(DemoMessage.Server.getDescriptor().findFieldByNumber(1)));
// 1000
}私信领取更多Java资料、面试真题及视频课程等

		自动登录	找回密码
密码			立即注册