【专栏精选】网络封包神器protobuf简介

NoiseFloor · 发表于 2022-8-4 18:34

本文节选自洪流学堂公众号技术专栏《大话Unity2019》，未经允许不可转载。

洪流学堂公众号回复专栏，查看更多专栏文章。
<hr/>

洪流学堂，让你快人几步。你好，我是郑洪智。

大智：“上次我们在学习如何进行数据包封包的时候说到：在网络传输时数据包需要定义好格式，这个格式就是数据在字节流中是如何排列的，有时候这种数据排列的方式也称作协议（Protocol）。自定义协议灵活性很大，但是相应的复杂度也很高，如果客户端和服务器是两种不同的语言开发的，就需要分别进行协议的编码和解码，工作量会很大。不过，还有一个Protocol Buffers可以解救我们。”

Protocol Buffers

Protocol Buffers (通常简称为protobuf) 是Google开发的一种格式，这种格式与开发语言无关、与运行平台无关，用于序列化结构数据，并且很容易扩展。这种格式可以用于通信协议、数据存储等等。你可以想一下之前学过的xml或json，和他们有些类似，但是protobuf更小、更快、更简单。
protobuf是开源的，地址如下：https://github.com/protocolbuffers/protobuf
使用protobuf时，你只需要按照protobuf的格式要求将数据结构定义在.proto文件中一次，就可以通过protobuf的编译工具生成不同开发语言的数据结构代码（就像我们在C#中序列化/反序列化xml或json时需要定义的class类），生成的代码中还封装了数据结构的读写和序列化。
为什么要用protobuf呢？

举个简单的地址簿的例子，从文件读写联系人的信息。每一个联系人有姓名、ID、email和电话。
如果使用你已经学过的知识，如何序列化和反序列化这样的数据呢？有几种方式可以实现：
1、第一种，使用我们之前学过的XML或JSON。XML和JSON的好处就是它们具有自描述性，是人类可读的，几乎所有编程语言都有成熟的开源库来序列化/反序列化它们。如果你想要和其他程序进行数据交换，XML/JSON是很好的选择。但是，XML/JSON数据所占的空间比较大（因为有很多冗余的标签、字符），同时解析速度比较慢。后面我们会具体比较XML/JSON和protobuf的区别。
2、第二种，使用.NET的二进制序列化类：System.Runtime.Serialization.Formatters.Binary.BinaryFormatter。用这种方式，一旦改变数据结构会非常麻烦，之前已有的数据可能都无法使用了，并且与其他程序进行数据交换时很麻烦。
3、第三种，使用自定义的数据格式，比如上次我们学习到的格式。这种方式简单、快速，但是不方便的就是如果在多种语言之间传输，每种语言都要写解码、编码的代码。
protocol buffers正是google开发来解决上面提到的这些问题的。protobuf拥有灵活性、高效率、自动化的特性。使用protobuf时，你只需要写一个.proto的数据结构描述文件，protobuf提供的编译器就可以自动将.proto文件编译成你想要的编程语言的代码，这些自动生成的代码里实现了编码、解码、读写这些格式数据的功能。更重要的是，protobuf格式支持后续扩展，扩展后的格式仍然可以兼容旧格式。
详细对比XML/JSON

上面我们多次提到了XML/JSON，它们有类似的地方，但是也有很多不同。
相对于XML或JSON，Protocol buffers有许多优点：
** 序列化出来的数据更精炼
** 序列化出来的字节数缩小3-10倍
** 序列化的性能快20-100倍
** 数据歧义更少
** 可以自动生成用于访问数据结构的代码
但同样，有一些情况下proto不如XML或JSON：
** XML/JSON拥有人类可读性、可编辑性，但是protobuf不可以（至少原生protobuf序列化的数据不可以）
** XML/JSON有自描述性，但是proto的数据没有意义，除非你能拿到定义文件（.proto）
所以通常protobuf更适合使用在对数据字节数比较敏感的场景，对序列化/反序列化性能要求高的场景。比如游戏开发这种高并发、数据包的频次非常高、手游对流量敏感就是一个很适合的场景。
protobuf的工作流

protobuf有两个版本，分别是proto2和proto3，后面我们学习的时候使用的都是新版的proto3，如果你后续在查找资料时发现不相同的地方，一定要确认下是哪个版本。
1. 定义.proto文件

首先你入要在.ptoto文件中定义你想要传输的数据结构。.proto文件很简单：使用message来定义每一个需要序列化的数据结构，每个message里面可以定义类型和名称。
2. 编译.proto文件

使用protobuf提供的编译工具，将.proto文件编译为对应开发语言的数据结构代码。
3. 在代码中序列化和解析

在代码中将数据结构序列化成字节数组发送出去，或者将接收到的字节数组反序列化成内存中的数据。
总结

大智：“具体详细的.proto文件如何编写，后面我们一起详细探索。”
思考题

大智：“把之前的聊天系统的消息写成一个proto文件试试。”
小新：“好嘞！”
大智：“收获别忘了分享出来！也别忘了分享给你学Unity的朋友，也许能够帮到他。”
<hr/>洪流学堂公众号回复专栏，查看更多专栏文章。

《大话Unity2019》，大智带小新学Unity2019的有趣经历，让你学Unity更简单。

https://edu.hongliu.cc

Baste · 发表于 2022-8-4 18:42

应该有后续吧……

JoshWindsor · 发表于 2022-8-4 18:47

后续在“洪流学堂”公众号回复“专栏”进行查看
[爱心]

RedZero9 · 发表于 2022-8-4 18:53

请问APP应用抓包到protobuf的数据，没有.proto文件的协议，如何解析数据？

kirin77 · 发表于 2022-8-4 18:59

只能猜着解包

DungDaj · 发表于 2022-8-4 19:01

decode_raw 能解出不带 key 的数据:

$ protoc --decode_raw  <book.dat
1 {
  1: "hello"
  2: 1234567
  3: "hello@abc.com"
}

		自动登录	找回密码
密码			立即注册

【专栏精选】网络封包神器protobuf简介

本帖子中包含更多资源