IM通讯协议专题学习(四)：从Base64到Protobuf，详解 ...

• 《IM通讯协议专题学习(一)：Protobuf从入门到精通，一篇就够！》
  
• 《IM通讯协议专题学习(二)：快速理解Protobuf的背景、原理、使用、优缺点》
  
• 《IM通讯协议专题学习(三)：由浅入深，从根上理解Protobuf的编解码原理》
  
• 《IM通讯协议专题学习(四)：从Base64到Protobuf，详解Protobuf的数据编码原理》（* 本文）
  
• 《IM通讯协议专题学习(五)：Protobuf到底比JSON快几倍？请看全方位实测！》（稍后发布..）
  
• 《IM通讯协议专题学习(六)：手把手教你如何在Android上从零使用Protobuf》（稍后发布..）
  
• 《IM通讯协议专题学习(七)：手把手教你如何在NodeJS中从零使用Protobuf》（稍后发布..）
  
• 《IM通讯协议专题学习(八)：金蝶随手记团队的Protobuf应用实践(原理篇) 》（稍后发布..）
  
• 《IM通讯协议专题学习(九)：金蝶随手记团队的Protobuf应用实践(实战篇) 》（稍后发布..）
  

• 1）只能对一部分数据结构进行编码，不适用于所有字节流（当然你可以把任意字节流转换为 string，但不是所有语言都支持这个 trick）。否则无法识别哪部分是无效的 bits；
  
• 2）编码后的字节可以不存在于 Ascii 表中，因为和 Base 64 使用场景不同，不用考虑是否能正常打印。
  

• 1）去除 msb；
  
• 2）将字节流逆序（msb 为 0 的字节储存原始数据的高位部分，小端模式）；
  
• 3）最后拼接所有的 bits。
  

• 1）将数据按每 7 bits 一组拆分；
  
• 2）逆序每一个组；
  
• 3）添加 msb。
  

// http://google.golang.org/protobuf@v1.25.0/encoding/protowire/wire.go

// AppendVarint appends v to b as a varint-encoded uint64.
funcAppendVarint(b []byte, v uint64) []byte{
switch{
casev < 1<<7:
  b = append(b, byte(v))
casev < 1<<14:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte(v>>7))
casev < 1<<21:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte((v>>7)&0x7f|0x80),
   byte(v>>14))
casev < 1<<28:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte((v>>7)&0x7f|0x80),
   byte((v>>14)&0x7f|0x80),
   byte(v>>21))
casev < 1<<35:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte((v>>7)&0x7f|0x80),
   byte((v>>14)&0x7f|0x80),
   byte((v>>21)&0x7f|0x80),
   byte(v>>28))
casev < 1<<42:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte((v>>7)&0x7f|0x80),
   byte((v>>14)&0x7f|0x80),
   byte((v>>21)&0x7f|0x80),
   byte((v>>28)&0x7f|0x80),
   byte(v>>35))
casev < 1<<49:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte((v>>7)&0x7f|0x80),
   byte((v>>14)&0x7f|0x80),
   byte((v>>21)&0x7f|0x80),
   byte((v>>28)&0x7f|0x80),
   byte((v>>35)&0x7f|0x80),
   byte(v>>42))
casev < 1<<56:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte((v>>7)&0x7f|0x80),
   byte((v>>14)&0x7f|0x80),
   byte((v>>21)&0x7f|0x80),
   byte((v>>28)&0x7f|0x80),
   byte((v>>35)&0x7f|0x80),
   byte((v>>42)&0x7f|0x80),
   byte(v>>49))
casev < 1<<63:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte((v>>7)&0x7f|0x80),
   byte((v>>14)&0x7f|0x80),
   byte((v>>21)&0x7f|0x80),
   byte((v>>28)&0x7f|0x80),
   byte((v>>35)&0x7f|0x80),
   byte((v>>42)&0x7f|0x80),
   byte((v>>49)&0x7f|0x80),
   byte(v>>56))
default:
  b = append(b,
   byte((v>>0)&0x7f|0x80),
   byte((v>>7)&0x7f|0x80),
   byte((v>>14)&0x7f|0x80),
   byte((v>>21)&0x7f|0x80),
   byte((v>>28)&0x7f|0x80),
   byte((v>>35)&0x7f|0x80),
   byte((v>>42)&0x7f|0x80),
   byte((v>>49)&0x7f|0x80),
   byte((v>>56)&0x7f|0x80),
   1)
}
returnb
}

• 1）将编程语言的数据结构转化为 wire type；
  
• 2）根据不同的 wire type 使用对应的方法编码（前文所提到的 Base 128 Varints 用来编码 varint 类型的数据，其他 wire type 则使用其他编码方式）。
  

{obj}  -> {wire type} -> {encoded bytestream}
uint32-> wire type0 -> varint
int32-> wire type0 -> varint
bool-> wire type0 -> varint
string-> wire type2 -> length-delimited
...

(n << 1) ^ (n >> 31)  // for 32-bit signed integer
(n << 1) ^ (n >> 63)  // for 64-bit signed integer

n * 2       // when n >= 0
-n * 2 - 1  // when n < 0

• 1）蓝色：表示字符串采用 UTF-8 编码后字节流的长度（bytes），采用 Base 128 Varints 进行编码；
  
• 2）白色：字符串用 UTF-8 编码后的字节流。
  

syntax = "proto3";

message SearchRequest {
  stringquery = 1;
  int32page_number = 2;
  int32result_per_page = 3;
}

stringquery = 1;

• 1）field number 左移 3 bits；
  
• 2）在最低 3 bits 写入 wire type。
  

// http://google.golang.org/protobuf@v1.25.0/encoding/protowire/wire.go

// EncodeTag encodes the field Number and wire Type into its unified form.
funcEncodeTag(num Number, typ Type) uint64{
    returnuint64(num)<<3 | uint64(typ&7)
}

• 1）0 ：protobuf 规定 field number 必须为正整数；
  
• 2）19000 到 19999： protobuf 仅供内部使用的保留位。
  

• 1）field number 不必从 1 开始，可以从合法范围内的任意数字开始；
  
• 2）不同字段间的 field number 不必连续，只要合法且不同即可。
  

• 1）field number 一旦被分配了就不应该被更改，除非你能保证所有的接收方都能更新到最新的 proto 文件；
  
• 2）由于 tag 中不携带 field name 信息，更改 field name 并不会改变消息的结构。
  

• 1）如果字段为不可分割的类型，则直接覆盖；
  
• 2）如果字段为 repeated，则 append 到已有字段；
  
• 3）如果字段为嵌套消息，则递归执行 merge；
  

// http://google.golang.org/protobuf@v1.25.0/proto/merge.go

// Merge merges src into dst, which must be a message with the same descriptor.
//
// Populated scalar fields in src are copied to dst, while populated
// singular messages in src are merged into dst by recursively calling Merge.
// The elements of every list field in src is appended to the corresponded
// list fields in dst. The entries of every map field in src is copied into
// the corresponding map field in dst, possibly replacing existing entries.
// The unknown fields of src are appended to the unknown fields of dst.
//
// It is semantically equivalent to unmarshaling the encoded form of src
// into dst with the UnmarshalOptions.Merge option specified.
funcMerge(dst, src Message) {
// TODO: Should nil src be treated as semantically equivalent to a
// untyped, read-only, empty message? What about a nil dst?

dstMsg, srcMsg := dst.ProtoReflect(), src.ProtoReflect()
ifdstMsg.Descriptor() != srcMsg.Descriptor() {
  ifgot, want := dstMsg.Descriptor().FullName(), srcMsg.Descriptor().FullName(); got != want {
   panic(fmt.Sprintf("descriptor mismatch: %v != %v", got, want))
  }
  panic("descriptor mismatch")
}
mergeOptions{}.mergeMessage(dstMsg, srcMsg)
}

func(o mergeOptions) mergeMessage(dst, src protoreflect.Message) {
methods := protoMethods(dst)
ifmethods != nil&& methods.Merge != nil{
  in := protoiface.MergeInput{
   Destination: dst,
   Source:      src,
  }
  out := methods.Merge(in)
  ifout.Flags&protoiface.MergeComplete != 0 {
   return
  }
}

if!dst.IsValid() {
  panic(fmt.Sprintf("cannot merge into invalid %v message", dst.Descriptor().FullName()))
}

src.Range(func(fd protoreflect.FieldDescriptor, v protoreflect.Value) bool{
  switch{
  casefd.IsList():
   o.mergeList(dst.Mutable(fd).List(), v.List(), fd)
  casefd.IsMap():
   o.mergeMap(dst.Mutable(fd).Map(), v.Map(), fd.MapValue())
  casefd.Message() != nil:
   o.mergeMessage(dst.Mutable(fd).Message(), v.Message())
  casefd.Kind() == protoreflect.BytesKind:
   dst.Set(fd, o.cloneBytes(v))
  default:
   dst.Set(fd, v)
  }
  returntrue
})

iflen(src.GetUnknown()) > 0 {
  dst.SetUnknown(append(dst.GetUnknown(), src.GetUnknown()...))
}
}

• 1）序列化后的消息字段顺序是不稳定的；
  
• 2）对同一段字节流进行解码，不同实现或版本的 Protobuf 解码得到的结果不一定完全相同（bytes 层面），只能保证相同版本相同实现的 Protobuf 对同一段字节流多次解码得到的结果相同；
  
• 3）假设有一条消息foo，有几种关系可能是不成立的（下方会接着详细说明）。
  

foo.SerializeAsString() == foo.SerializeAsString()
Hash(foo.SerializeAsString()) == Hash(foo.SerializeAsString())
CRC(foo.SerializeAsString()) == CRC(foo.SerializeAsString())
FingerPrint(foo.SerializeAsString()) == FingerPrint(foo.SerializeAsString())

• 1）其中一条消息可能使用了较老版本的 protobuf，不能处理某些类型的字段，设为 unknwon；
  
• 2）使用了不同语言实现的 Protobuf，并且以不同的顺序编码字段；
  
• 3）消息中的字段使用了不稳定的算法进行序列化；
  
• 4）某条消息中有 bytes 类型的字段，用于储存另一条消息使用 Protobuf 序列化的结果，而这个 bytes 使用了不同的 Protobuf 进行序列化；
  
• 5）使用了新版本的 Protobuf，序列化实现不同；
  
• 6）消息字段顺序不同。