C++：巧用 Protobuf 反射

budd

我很喜欢用 Protobuf 来定义数据，它有很多好处：

• 有明确的 schema 定义，且撑持主流编程语言；在跨团队合作时出格便利，proto 定义文件就是交互协议，不再需要单独的文档
  
• 撑持多种数据格式的序列化和解析：
  
  
  
  • 二进制格式：占用空间小，适合网络传输或序列化文件
    
  • Protobuf 的明文格式（ 一般会被称为 pbtxt）：可以通过 msg.DebugString() 生成，配置简单，可用来写配置文件；这个格式可以在调试时打印数据，很便利
    
  • 也撑持和 Json、XML 等数据格式彼此转换
    
  
  
• 对于 C++ 而言，Protobuf 可以本身高效地打点内存，不需要用户费心
  
• 很好的前后兼容性，在只使用 optional 的情况下，基本不会遇到兼容性的问题
  
• Protobuf 撑持反射，可以通过它来实现更好的代码复用
  

Protobuf 的反射指的是我们可以在运行时获取 Protobuf Message 的相关信息：

• Message 的字段信息，包罗字段名，字段类型等
  
• 读取或改削 Message 字段的值
  
• 基于 Message 名称创建或解析对应的 C++ 对象（这个功能本文未使用到）
  

如何使用 Protobuf 反射

反射有三个重要的类：

• Descriptor：这个类是对应一种 Message 类型的，不异类型 Message 的 Descriptor 是一样的。通过这个类可以获取 Message 有多少个字段，以及获取字段的 FieldDescriptor
  
• FieldDescriptor：这个类是用来描述某个具体字段相关的信息的，包罗字段的类型、名称、编号等
  
• Reflection：通过它和 FieldDescriptor，我们就能实现对具体字段的读或者写
  

下面通过一个具体的例子来说明该怎样使用 Protobuf 反射。
假设我们定义了下面一个 Protobuf Message：
syntax = ”proto3”;

message Test {
  int32 bar = 1;
  string foo = 2;
}然后我们可以通过如下的代码来遍历一个 Test Message 来打印它所有的字段名，以及对应字段的具体值：
#include <cstdio>
#include <iostream>
#include ”test.pb.h”
#include <google/protobuf/message.h>

using namespace std;

using google::protobuf::Message;
using google::protobuf::Reflection;
using google::protobuf::Descriptor;
using google::protobuf::FieldDescriptor;

int main(int argc, char *argv[]) {
  Test msg;

  msg.set_bar(42);
  msg.set_foo(”I&#39;m hiber”);

  Descriptor* msg_descriptor = msg.GetDescriptor();

  for (int i = 0; i < msg_descriptor->field_count(); ++i) {
    FieldDescriptor* fd_descriptor = msg_descriptor->field(i);

    string name = fd_descriptor->name();
    printf(”Field name: %s\n”, name.c_str());
  }

  Reflection* msg_reflection = msg.GetReflection();
  FieldDescriptor* bar_field = msg_descriptor->FindFieldByName(”bar”);
  if (bar_field != nullptr) {
    int bar_val = msg_reflection->GetInt32(msg, bar_field);
    printf(”Bar value: %d\n”, bar_val);
  }

  FieldDescriptor* foo_field = msg_descriptor->FindFieldByName(”bar”);
  if (foo_field != nullptr) {
    string foo_val = msg_reflection->GetString(msg, foo_field);
    printf(”Foo value: %s\n”, foo_val.c_str());
  }

  return 0;
}
基于字段名进行值复制

有时我们需要用两个分歧的 Protobuf Message 去暗示某个不异的业务实体。例如在我们的广告系统里会有三种分歧的 Message 来定义一个广告：

• RetrievalAd：召回模块返回成果里定义的广告，会包罗广告在倒排里的信息，例如广告 ID，出价等信息
  
• Element：广告引擎内部用来暗示广告的 Message，除了 RetrievalAd 里的信息，还会包罗广告的 pctr、pcvr 等信息
  
• AdResult：广告引擎返回给外部的信息，会包罗广告的素材信息等
  

这几种布局里会有很多字段是一样的，它们有不异的类型和名称，如果手工进行赋值的话就很麻烦。我们可以通过反射来实现不异名称字段的自动赋值：
bool FillMsgWithExistFields(const Message& in, Message* out) {
#define FILL_FIELD_TYPE(cpptype, method) \
  if (type == FieldDescriptor::CPPTYPE_##cpptype) { \
    auto value = in_ref->Get##method(in, in_fd); \
    out_ref->Set##method(out, out_fd, value); \
    continue; \
  }

  if (out == nullptr) {
    return false;
  }
  auto* in_des = in.GetDescriptor();
  auto* out_des = out->GetDescriptor();
  auto* in_ref = in.GetReflection();
  auto* out_ref = out->GetReflection();

  for (int i = 0; i < in_des->field_count(); ++i) {
    auto* in_fd = in_des->field(i);
    const auto& to_field_name = in_fd->options().GetExtension(to_field);
    const FieldDescriptor* out_fd = nullptr;
    const auto& in_name = in_fd->name();
    if (!to_field_name.empty()) {
      out_fd = out_des->FindFieldByName(to_field_name);
    } else {
      out_fd = out_des->FindFieldByName(in_name);
    }

    if (out_fd == nullptr) {
      continue;
    }

    if (out_fd->is_repeated()) {
      AddRepeatField(*in_fd, *out_fd, in, out);
      continue;
    }

    // skip field while repeated type between in and out is not match
    if (in_fd->is_repeated()) {
      continue;
    }

    if (!in_fd->is_repeated() && !in_ref->HasField(in, in_fd)) {
      VLOG(Vlog::DETAIL) << ”Field is empty, skip ” << in_name;
      continue;
    }

    if (IsPbNumber(in_fd->cpp_type()) && IsPbNumber(out_fd->cpp_type())) {
      SetPbField(out, *out_fd, GetPbMsgInt(in, *in_fd));
      continue;
    }

    if (in_fd->cpp_type() != out_fd->cpp_type()) {
      LOG_EVERY_N(ERROR, 10) << ”Field type is different: ” << in_name;
      continue;
    }

    auto type = in_fd->cpp_type();
    FILL_FIELD_TYPE(INT32, Int32);
    FILL_FIELD_TYPE(UINT32, UInt32);
    FILL_FIELD_TYPE(INT64, Int64);
    FILL_FIELD_TYPE(UINT64, UInt64);
    FILL_FIELD_TYPE(FLOAT, Float);
    FILL_FIELD_TYPE(DOUBLE, Double);
    FILL_FIELD_TYPE(BOOL, Bool);
    FILL_FIELD_TYPE(STRING, String);

    VLOG(Vlog::AD) << ”Not supported message type: ” << out_fd->type_name();
  }

  return true;

#undef FILL_FIELD_TYPE
}
上面的代码省去例如 AddRepeatField 之类函数的具体实现，他们也是类似的道理，不难实现。
基于 Protobuf 反射实现自动法则判定

有时我们需要基于业务要求对一些 Message 进行有效性判断，这些判断凡是是确定某几个字段是不是指定的取值，针对每个 Message 都实现判定函数会显得很繁琐，这时我们就可以通过反射和 options 来实现基于配置的法则判定。
假设我们有如下的广告 Message 定义：
message AdGroup {
  uint64 ad_group_id         = 1 ;
  uint64 advertiser_id       = 2 ;

  // reserved fields numbers
  uint32 is_deleted          = 50;
  uint32 operate_status = 51;
} 广告只有在 is_deleted != 0 和 operate_status == 1 的时候才是合法的。
针对这个需求，我们可以先定义两个 FieldOptions：
import ”google/protobuf/descriptor.proto”;

extend google.protobuf.FieldOptions {
  int64 valid_int_value = 51000;
  bool valid_be_default = 51001;
}给之前的布局加上对应的 option 配置：
message AdGroup {
  uint64 ad_group_id         = 1 ;
  uint64 advertiser_id       = 2 ;

  // reserved fields numbers
  uint32 is_deleted          = 50 [(valid_be_default) = true];
  uint32 operate_status = 51 [(valid_int_value) = 1];
} 然后就可以通过如下的函数来判断一个 Message 是不是有效的：
bool IsPbMsgValid(const Message& msg) {
  auto* des = msg.GetDescriptor();
  auto* ref = msg.GetReflection();

  for (int i = 0; i < des->field_count(); ++i) {
    auto* fd_des = des->field(i);

    // Valid the field should be default value
    if (fd_des->options().HasExtension(valid_be_default)) {
      if (ref->HasField(msg, fd_des)) {
        return false;
      }
    }

    if (fd_des->options().HasExtension(valid_int_value)) {
      auto valid_val = fd_des->options().GetExtension(valid_int_value);

      if (GetPbMsgInt(msg, *fd_des) != valid_val) {
        VLOG(Vlog::AD) << ”Fail to validate, valid_int_value: field ” << fd_des->name()
            << ” should be ” << valid_val;
        return false;
      }
    }
  }

  return true;
}
以后某个 Message 有类似的有效性判定要求时，直接在 proto 里加对应的 option 即可，对于每一种判定例则我们只需要实现一次。
总结

Protobuf 反射在我们的线上效果广告系统里广泛使用，在线上峰值 1 万摆布的 QPS 下也没有导致额外的性能负载。
通过 Protobuf 反射的使用，能让我们快速撑持很多业务需要，例如在撑持新的创意样式时，只需要改削 proto 定义即可，不需要额外的代码改削。同时，反射也减少了很多可能的反复代码，降低了维护成本。