Unity开发者联盟收藏本站
发帖教程新人必读切换到宽版

 找回密码
 立即注册
Unity开发者联盟»论坛 › 3D Dev Asset 开发资源大全 › 学术研究 Scholarly › 用C++开发一个protobuf动态解析东西
返回列表 发新帖
查看: 169|回复: 0

用C++开发一个protobuf动态解析东西

[复制链接]
发表于 2024-7-15 18:11 | 显示全部楼层 |阅读模式
Protobuf动态解析东西

为什么需要这个东西

数据库中存储的protobuf序列化的内容，有时候查问题想直接解析查看内容。很多编码在网上很容易找到编解码东西，但protobuf没有找到编解码东西，可能这样的需求斗劲少吧，那就本身用C++实现一个。
需求描述

我们知道，要解析protobuf，需要有proto定义，所以我们的输入参数需要包含序列化的数据以及proto定义，如果proto中包含多个message，还需要指定解析到哪个message。所以一共是三个输入参数。
此外，为了便利使用，我们的东西不要求给出完整的proto定义，如果有嵌套的message没有定义，不应影响其他字段解析。
开发

搜索现成方案

网上搜索了一圈，找到的类似方案大多需要导入完整的proto文件：
  1. int DynamicParseFromPBFile(const std::string& file, const std::string& classname,
  2.             const std::string& pb_str) {
  3.     // ...
  4.     // 导入proto文件
  5.     ::google::protobuf::compiler::Importer importer(&sourceTree, NULL);
  6.     importer.Import(file);
  8.     // 找到要解析的message
  9.     auto descriptor = importer.pool()->FindMessageTypeByName(classname);
  10.     ::google::protobuf::DynamicMessageFactory factory;
  11.     auto message = factory.GetPrototype(descriptor);
  13.     // 动态创建message对象
  14.     auto msg = message->New();
  15.     msg->ParseFromString(pb_str);
  16.     // msg即为解析到的布局
  17. }
复制代码
这样可以实现动态解析，但仍不满足我们的需求——即使proto不完整，也但愿能解析。
举个例子：
  1. message MyMsg {
  2.     optional uint64 id = 1;
  3.     optional OtherMsg other = 2;
  4. }
复制代码
MyMsg中包含OtherMsg类型，但并没有给出OtherMsg的定义，所以无法正常解析。
AST在哪里

事实上，在解析proto文件时，必定需要先将其解析为抽象语法树(AST)，在AST中，我们可以很容易改削proto的定义，例如将other字段删掉，或者将其类型改为bytes，这样就可以正常解析了。
那么，proto文件解析成的AST布局在哪里呢？只能从源码中寻找答案了。
一番查找后，终于看到了FindFileByName方式的这段代码：
protobuf/importer.cc at main · protocolbuffers/protobuf
  1. bool SourceTreeDescriptorDatabase::FindFileByName(const std::string& filename,
  2.                                                   FileDescriptorProto* output) {
  3.     // ...
  4.     io::Tokenizer tokenizer(input.get(), &file_error_collector);
  6.     Parser parser;
  8.     // Parse it.
  9.     output->set_name(filename);
  10.     return parser.Parse(&tokenizer, output) && !file_error_collector.had_errors();
  11. }
复制代码
从这段代码中可以看到，FileDescriptorProto就是我们要找的AST布局。那么这到底是个什么布局呢？
其实，FileDescriptorProto本身也是一个proto定义的message：
protobuf/descriptor.proto at bb96ec94af136216e4c3195166d1d80dd2bcf8a6 · protocolbuffers/protobuf
  1. message FileDescriptorProto {
  2.   optional string name = 1;     // file name, relative to root of source tree
  3.   optional string package = 2;  // e.g. ”foo”, ”foo.bar”, etc.
  5.   // All top-level definitions in this file.
  6.   repeated DescriptorProto message_type = 4;
  7.   repeated EnumDescriptorProto enum_type = 5;
  8.   repeated ServiceDescriptorProto service = 6;
  9.   repeated FieldDescriptorProto extension = 7;
  11.     // ...
  12. }
复制代码
从它的字段中可以看到，其代表的是整个proto文件，包罗文件中的所有message、enum等定义。
开始写代码

第一步，仿照上面的源码，将输入的proto定义解析为FileDescriptorProto对象：
  1. // proto输入
  2. istringstream ss(proto);
  3. istream* is = &ss;
  4. io::IstreamInputStream input(is);
  6. // 解析到FileDescriptorProto AST
  7. io::Tokenizer tokenizer(&input, nullptr);
  8. FileDescriptorProto output;
  9. compiler::Parser parser;
  10. if (!parser.Parse(&tokenizer, &output)) {
  11.   err_msg = ”parse proto failed”;
  12.   return -1;
  13. }
  14. output.set_name(”proto”);
  15. output.clear_source_code_info();
  16. printf(”MSG: proto parsed output: %s\n”, output.DebugString().c_str());
复制代码
第2步，措置FileDescriptorProto对象，将没有给定义的字段类型都改成bytes，保证proto可以正常解析：
  1. int ConvertUnknownType2Bytes(FileDescriptorProto& file_descriptor_proto) {
  2.   // 找出所有给出定义的message类型名
  3.     set<string> typename_set;
  4.   for (auto const& msgtype : file_descriptor_proto.message_type()) {
  5.     typename_set.insert(msgtype.name());
  6.         // message内嵌套定义的message也要包含在内
  7.     for (auto const& subtype : msgtype.nested_type()) {
  8.       typename_set.insert(subtype.name());
  9.     }
  10.   }
  12.     // 遍历所有field，查抄其类型是否存在定义
  13.   for (auto& msgtype : *file_descriptor_proto.mutable_message_type()) {
  14.     for (auto& field : *msgtype.mutable_field()) {
  15.       auto type_name = field.type_name();
  16.             // 基本类型的type_name是空的
  17.       if (!type_name.empty()) {
  18.         // 如果typename_set中找不到该类型名，则转为bytes类型
  19.         if (typename_set.find(type_name) == typename_set.end()) {
  20.           field.clear_type_name();
  21.           field.set_type(FieldDescriptorProto_Type_TYPE_BYTES);
  22.         }
  23.       }
  24.     }
  25.   }
  26.   return 0;
  27. }
复制代码
第3步，解析改削后的FileDescriptorProto对象，创建指定message类型对象。
  1. // 解析proto并查抄错误
  2. SimpleDescriptorDatabase db;
  3. db.Add(output);
  4. DescriptorPool pool(&db);
  5. auto descriptor = pool.FindMessageTypeByName(msg_type_name);
  6. if (descriptor == nullptr) {
  7.   // proto布局有错
  8.   err_msg = ”parse proto failed. FindMessageTypeByName result is null”;
  9.   return -1;
  10. }
  12. DynamicMessageFactory factory;
  13. auto message = factory.GetPrototype(descriptor);
  14. unique_ptr<Message> msg(message->New());
复制代码
第4步，将序列化的数据解析到msg中：
  1. msg->ParseFromString(serilized_pb);
  2. cout << ”proto msg: ” << msg->ShortDebugString().c_str() << endl;
复制代码
这样，我们就成功实现了动态解析，也成功将不成读的二进制数据serilized_pb以可读的形式打印出来了。
总结

我们为了实现动态解析不完整的proto，我们首先从源码中找到了将proto定义转化为AST——也就是FileDescriptorProto——的方式。接着，我们将AST对象进行改削，将不合法的proto改成合法的。最后，我们再操作改削后的FileDescriptorProto构造出需要的message对象，解析序列化的数据。
回复

使用道具 举报

返回列表 发新帖
懒得打字嘛，点击右侧快捷回复 【右侧内容，后台自定义】
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

小黑屋|手机版|Unity开发者联盟 ( 粤ICP备20003399号 )

GMT+8, 2024-12-4 16:44 , Processed in 0.101140 second(s), 27 queries .

Powered by Discuz! X3.5 Licensed

© 2001-2024 Discuz! Team.

快速回复 返回顶部 返回列表