有人了解protobuf这玩意吗？

basd · 发表于 2023-6-28 09:15

有人了解protobuf这玩意吗？

loveme88 · 发表于 2023-6-28 09:16

https://juejin.cn/post/7222096611635576891在上篇文章中，我们介绍了如何使用 Redis 存储 Protobuf 格式的数据。本文将介绍在 RPC 中也用上 Protobuf。
在一般项目架构中，前后端交互使用Json格式，后端服务间交互使用Protobuf格式。这样的原因是：

前端大多数框架对于Json格式的数据是可以直接渲染的
而后端数据交互一般是为了序列化和反序列化，考虑更多是并发，带宽等，又由于Google的gRPC框架集成了Protobuf，并且gRPC有跨语言、低带宽、HTTP/2等优点。目前主流的Go语言也是谷歌旗下的，Go+gRPC几乎是不二之选（你要是用thrift，当我在放屁）
3.Spring Cloud的OpenFeign也是支持HTTP/2+Protobuf的，但是还是不能跨语言，这里就不展开说了。

Java版：

新建三个模块，login调sms，模拟一个登录发验证码，commons放公共的proto文件

<modules>
  <module>grpc-commons</module>
  <module>grpc-login</module>
  <module>grpc-sms</module>
</modules>

编写proto，一个SmsService接口、一个SmsRequest消息、一个SmsResponse消息。

syntax = &#34;proto3&#34;;

import &#34;google/protobuf/timestamp.proto&#34;;

option java_package = &#34;com.haowen.common.protobuf&#34;;
option java_outer_classname = &#34;SmsProto&#34;;

option go_package = &#34;../protobuf&#34;;

service SmsService {
rpc SendSms (SmsRequest) returns (SmsResponse) {}
}

message SmsRequest {
  string phone = 1;
  string msg = 2;
}

message SmsResponse {
  string requestId = 1;
  bool isSuccess = 2;
  google.protobuf.Timestamp sentAt = 3;
}

因为要生成gRPC的Service类，所以需要借助protoc-gen-grpc-java插件，在cmomons模块的pom.xml添加插件

<dependencies>
  
  <dependency>
<groupId>jakarta.annotation</groupId>
<artifactId>jakarta.annotation-api</artifactId>
<version>1.3.5</version>
  </dependency>
</dependencies>
<build>
  <extensions>
<extension>
   <groupId>kr.motd.maven</groupId>
   <artifactId>os-maven-plugin</artifactId>
   <version>1.7.1</version>
</extension>
  </extensions>
  <plugins>
<plugin>
   <groupId>org.xolstice.maven.plugins</groupId>
   <artifactId>protobuf-maven-plugin</artifactId>
   <version>0.6.1</version>
   <configuration>
      <protocArtifact>com.google.protobuf:protoc:3.21.7:exe:${os.detected.classifier}</protocArtifact>
      <pluginId>grpc-java</pluginId>
      <pluginArtifact>io.grpc:protoc-gen-grpc-java:1.54.1:exe:${os.detected.classifier}</pluginArtifact>
   </configuration>
   <executions>
      <execution>
      <goals>
         <goal>compile</goal>
         <goal>compile-custom</goal>
      </goals>
      </execution>
   </executions>
</plugin>
  </plugins>
</build>

点击编译，编辑会自动执行protoc-gen-grpc-java插件

image.png

target目录下就有我们生成的实体类和grpc的service类

image.png

接下来编写sms模块（server端），因为我添加了springboot的web，所以这里用@Service的形式来注入

@Service
public class SmsServiceImpl extends SmsServiceImplBase {
@Override
public void sendSms(SmsRequest request, StreamObserver<SmsResponse> responseObserver) {
      // 请求的参数
      System.out.println(request.getPhone());
      System.out.println(request.getMsg());
      // 返回的东西
      SmsResponse response = SmsResponse.newBuilder()
         .setRequestId(UUID.fastUUID().toString())
         .setIsSuccess(true)
         .setSentAt(Timestamps.fromMillis(System.currentTimeMillis()))
         .build();
      // 塞进去
      responseObserver.onNext(response);
      // 塞完，走吧
      responseObserver.onCompleted();
}
}启动类，gRPC的通信端口是90
public class GrpcSmsApp {
private Server server;

public static void main(String[] args) {
      SpringApplication.run(GrpcSmsApp.class, args);
}

/**
   * 启动grpc
   */
@SneakyThrows
@PostConstruct
public void startGrpcServer() {
      server = ServerBuilder.forPort(90).addService(new SmsServiceImpl()).build().start();
}

@PreDestroy
public void stopGrpcServer() {
      if (server != null) {
         server.shutdown();
      }
}

}

接着写login模块（client端），创建连接并使用Bean进行管理。.newBlockingStub是最常用的阻塞请求。如需异步、双工请建立对应的stub

@Configuration
public class SmsService {
@Bean
SmsServiceGrpc.SmsServiceBlockingStub blockingStub() {
      ManagedChannel channel = ManagedChannelBuilder
            .forAddress(&#34;localhost&#34;, 90)
            .usePlaintext() // 明文传输，生产用NettyChannelBuilder下的sslContext()
            .build();
      return SmsServiceGrpc.newBlockingStub(channel);
}
}

写一个接口来测试

@RestController
@RequiredArgsConstructor
@RequestMapping(&#34;login&#34;)
public class LoginApi {
private final SmsServiceBlockingStub blockingStub;

@PostMapping(&#34;sendLoginCode&#34;)
String sendLoginCode(String phone) {
      SmsRequest request = SmsRequest.newBuilder()
            .setPhone(phone)
            .setMsg(&#34;你的验证码是：sb&#34;)
            .build();
      SmsResponse smsResponse = blockingStub.sendSms(request);
      if (!smsResponse.getIsSuccess()) {
         return &#34;发送失败&#34;;
      }
      System.out.println(&#34;smsResponse = &#34; + smsResponse);
      return smsResponse.getRequestId();
}
}

用postman进行调用，正常发送和返回

image.png

login模块（client端）

image.png

sms模块（server端）

image.png

go版

保留Java的sms模块，我们用Golang调用试一试，把sms.proto移动到go项目目录下，安装protoc-gen-go-grpc插件来生成Go版本的Service层。

syntax = &#34;proto3&#34;;

import &#34;google/protobuf/timestamp.proto&#34;;

option java_package = &#34;com.haowen.common.protobuf&#34;;
option java_outer_classname = &#34;SmsProto&#34;;

option go_package = &#34;../protobuf&#34;;

service SmsService {
  rpc SendSms (SmsRequest) returns (SmsResponse) {}
}

message SmsRequest {
  string phone = 1;
  string msg = 2;
}

message SmsResponse {
  string requestId = 1;
  bool isSuccess = 2;
  google.protobuf.Timestamp sentAt = 3;
}

// go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
// go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
// protoc --go_out=. --go-grpc_out=.  sms.proto分别执行，安装插件并生成proto的Go文件。
// go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
// go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
// protoc --go_out=. --go-grpc_out=.  sms.proto执行后会生成

image.png

接下来编写一个调用方法，同样调用端口是90

package main

import (
&#34;context&#34;
&#34;fmt&#34;
&#34;google.golang.org/grpc&#34;
&#34;google.golang.org/grpc/credentials/insecure&#34;
&#34;grpc/protobuf&#34;
&#34;log&#34;
)

/*
go get -u google.golang.org/grpc
go get -u google.golang.org/grpc/credentials
*/

const (
address = &#34;:90&#34;
)

func main() {
// 设置一个连接
conn, err := grpc.Dial(address, grpc.WithTransportCredentials(insecure.NewCredentials()))
if err != nil {
      log.Fatalf(&#34;连接失败: %v&#34;, err)
}
defer func(conn *grpc.ClientConn) {
      err := conn.Close()
      if err != nil {
         log.Fatalf(&#34;关闭连接失败: %v&#34;, err)
      }
}(conn)
// 创建一个SmsService的客户端
client := protobuf.NewSmsServiceClient(conn)

response, err := client.SendSms(context.Background(), &protobuf.SmsRequest{
      Phone: &#34;110&#34;,
      Msg: &#34;哈哈哈&#34;,
})
fmt.Println(response, err)
}

运行main函数，这样就实现了一个简单的跨语言调用

image.png

为了显得文章不会特别臃肿，本文省略了模块层级的创建，相信聪明如你已经一看就会啦，如果有好的建议，欢迎在评论区留言。

abc8885 · 发表于 2023-6-28 09:17

Protobuf生成和使用

Go使用Protobuf

KONENET：Go使用Protobuf

JAVA使用Protobuf

KONENET：JAVA使用ProtobufProtobuf编码官方文档

Encoding | Protocol Buffers | Google DevelopersProtobuf二进制数据打印

定义Protobuf消息协议

message User {
int32 userId = 1;
}

构建消息并输出16进制

public class PbTest {
public static void main(String[] args) {
      User user = User.newBuilder()
            .setUserId(300)
            .build();

      System.out.println(user);

      byte[] data = user.toByteArray();
      // 十六进制形式打印
      for (byte b : data) {
         System.out.printf(&#34;%02X&#34;, b & 0xFF);
      }
}
}

查看输出

十六进制输出是：08AC02
对这个进行分析之前，需要了解几个知识点。
MSB

MSB是most significant bit(msb)的缩写。即最高有效位。
表示一个字节8位中，最高位中如果是1表示后面字节是和该字节连续在一起的，也是该数据的一部分。如果是0表示计算终止。
例如：
10001000 00010001
最左边的数（加粗的1）即是最高位，该数据为1，表示后面的字节是该数据一部分。所以整个数据是10001000 00010001。
最高位仅仅表示后面是否还有字节，并不能参与数据存储，所以除了最高位数，后面都参与计算。即该数据为：0001000 0010001。
least significant group first

least significant group first.是指在数据范围后，刚才已经确认10001000 00010001是一个数据，同时最高位不参与计算，则为0001000 0010001。后面字节需要放置在最前面。即0010001 0001000，最终二进制为：100010001000，转换为十进制为2184.
Tag

Protobuf保存消息数据时，是按照[tag-value][tag-value]...的形式进行保存。

不是按照key-value的形式，是因为，tag中既包含了key，也包含了数据类型。
message User {
int32 userId = 1;
}key即是消息定义中的userId = 1的1，数据类型是int32.
计算tag的公式：
(field_number << 3) | wire_typefield_number 即是消息定义中的userId = 1的1.
wire_type是官方定义的种类：

第一列的type即是wire_type。
为什么field_number需要左移3位？
(field_number << 3) | wire_type
上图中type最大为5，5的二进制为101，占用3位。同时位移后又和wire_type做或操作。
所以上面公式的意思就是：将最后3为用来存储wire_type。
十六进制08AC02中的08说明

上面说明了msg，tag的概念。那接下来就根据输出的十六进制进行说明。
在Protobuf中数据的开头始终为varint。
那08的二进制是(十六进制转二进制)：0 8 => 0000 1000
前面提到的msg，即最高有效位，去掉0，即为 0001000.

后三位说明

在tag中说明到，后三位是用来存储wire_type的。后三位为000，即0，对应上面图可以得到int32。

前四位说明

剩下的前4位为 0001.即1，表示该数的field_number，为1.和消息定义中的userId = 1一致。
十六进制08AC02中的AC02说明

在Protobuf中数据的开头始终为varint。那剩下的就是值数据了。
即：AC02。
对应的二进制：AC02 -> 1010 1100 0000 0010. 即：10101100 00000010.

按照msb原则，最高有效位进行处理：10101100的msg是1，表示后面也是数据一部分，00000010的msg是0，表示计算结束。那就是10101100 00000010为一个数据。
确定这是一个数据后，去掉有效位。即：0101100 0000010
按照least significant group first处理。需要将分组进行反转。得到0000010 0101100，即10 0101100 -> 100101100.转换成十进制后为300.

User user = User.newBuilder()
.setUserId(300)
.build();这就是我们构建消息的用户ID 300.

总结

Protobuf中msg最高有效位。最高位是用来判断后面是否是数据的一部分，不用做计算数据。这样在一方面可以更加紧凑的存放数据。但是这样有效的数据位就只有7位，所以Protobuf一个字节表示的数的范围0-128。
Tag生成算法中由于后3位表示数据类型，所以Tag中1-15编号只占用1个字节，所以确保编号中1-15为常用的，减少数据大小。可变长度编码唯一的缺点就是当数很大的时候int32需要占用5个字节，但是从统计学角度来说，一般不会有这么大的数
least significant group first。确定数据后，去掉msg，交互字节位置。

		自动登录	找回密码
密码			立即注册

有人了解protobuf这玩意吗？

本帖子中包含更多资源

本帖子中包含更多资源