有人了解protobuf这玩意吗？

basd

有人了解protobuf这玩意吗？

loveme88

https://juejin.cn/post/7222096611635576891在上篇文章中，我们介绍了如何使用 Redis 存储 Protobuf 格式的数据。本文将介绍在 RPC 中也用上 Protobuf。
在一般项目架构中，前后端交互使用Json格式，后端服务间交互使用Protobuf格式。这样的原因是：

• 前端大多数框架对于Json格式的数据是可以直接渲染的
  
• 而后端数据交互一般是为了序列化和反序列化，考虑更多是并发，带宽等，又由于Google的gRPC框架集成了Protobuf，并且gRPC有跨语言、低带宽、HTTP/2等优点。目前主流的Go语言也是谷歌旗下的，Go+gRPC几乎是不二之选（你要是用thrift，当我在放屁）
  3.Spring Cloud的OpenFeign也是支持HTTP/2+Protobuf的，但是还是不能跨语言，这里就不展开说了。
  

Java版：

• 新建三个模块，login调sms，模拟一个登录发验证码，commons放公共的proto文件
  

<modules>
  <module>grpc-commons</module>
  <module>grpc-login</module>
  <module>grpc-sms</module>
</modules>

• 编写proto，一个SmsService接口、一个SmsRequest消息、一个SmsResponse消息。
  

syntax = "proto3";

import "google/protobuf/timestamp.proto";

option java_package = "com.haowen.common.protobuf";
option java_outer_classname = "SmsProto";

option go_package = "../protobuf";

service SmsService {
    rpc SendSms (SmsRequest) returns (SmsResponse) {}
}

message SmsRequest {
  string phone = 1;
  string msg = 2;
}

message SmsResponse {
  string requestId = 1;
  bool isSuccess = 2;
  google.protobuf.Timestamp sentAt = 3;
}

• 因为要生成gRPC的Service类，所以需要借助protoc-gen-grpc-java插件，在cmomons模块的pom.xml添加插件
  

<dependencies>
  <!-- 用来兼容java17 -->
  <dependency>
    <groupId>jakarta.annotation</groupId>
    <artifactId>jakarta.annotation-api</artifactId>
    <version>1.3.5</version>
  </dependency>
</dependencies>
<build>
  <extensions>
    <extension>
      <groupId>kr.motd.maven</groupId>
      <artifactId>os-maven-plugin</artifactId>
      <version>1.7.1</version>
    </extension>
  </extensions>
  <plugins>
    <plugin>
      <groupId>org.xolstice.maven.plugins</groupId>
      <artifactId>protobuf-maven-plugin</artifactId>
      <version>0.6.1</version>
      <configuration>
        <protocArtifact>com.google.protobuf:protoc:3.21.7:exe:${os.detected.classifier}</protocArtifact>
        <pluginId>grpc-java</pluginId>
        <pluginArtifact>io.grpc:protoc-gen-grpc-java:1.54.1:exe:${os.detected.classifier}</pluginArtifact>
      </configuration>
      <executions>
        <execution>
          <goals>
            <goal>compile</goal>
            <goal>compile-custom</goal>
          </goals>
        </execution>
      </executions>
    </plugin>
  </plugins>
</build>

• 点击编译，编辑会自动执行protoc-gen-grpc-java插件
  

image.png


target目录下就有我们生成的实体类和grpc的service类




image.png

• 接下来编写sms模块（server端），因为我添加了springboot的web，所以这里用@Service的形式来注入
  

@Service
public class SmsServiceImpl extends SmsServiceImplBase {
    @Override
    public void sendSms(SmsRequest request, StreamObserver<SmsResponse> responseObserver) {
        // 请求的参数
        System.out.println(request.getPhone());
        System.out.println(request.getMsg());
        // 返回的东西
        SmsResponse response = SmsResponse.newBuilder()
            .setRequestId(UUID.fastUUID().toString())
            .setIsSuccess(true)
            .setSentAt(Timestamps.fromMillis(System.currentTimeMillis()))
            .build();
        // 塞进去
        responseObserver.onNext(response);
        // 塞完，走吧
        responseObserver.onCompleted();
    }
}启动类，gRPC的通信端口是90
public class GrpcSmsApp {
    private Server server;

    public static void main(String[] args) {
        SpringApplication.run(GrpcSmsApp.class, args);
    }

    /**
     * 启动grpc
     */
    @SneakyThrows
    @PostConstruct
    public void startGrpcServer() {
        server = ServerBuilder.forPort(90).addService(new SmsServiceImpl()).build().start();
    }

    @PreDestroy
    public void stopGrpcServer() {
        if (server != null) {
            server.shutdown();
        }
    }

}

• 接着写login模块（client端），创建连接并使用Bean进行管理。.newBlockingStub是最常用的阻塞请求。如需异步、双工请建立对应的stub
  

@Configuration
public class SmsService {
    @Bean
    SmsServiceGrpc.SmsServiceBlockingStub blockingStub() {
        ManagedChannel channel = ManagedChannelBuilder
                .forAddress("localhost", 90)
                .usePlaintext() // 明文传输，生产用NettyChannelBuilder下的sslContext()
                .build();
        return SmsServiceGrpc.newBlockingStub(channel);
    }
}

• 写一个接口来测试
  

@RestController
@RequiredArgsConstructor
@RequestMapping("login")
public class LoginApi {
private final SmsServiceBlockingStub blockingStub;

    @PostMapping("sendLoginCode")
    String sendLoginCode(String phone) {
        SmsRequest request = SmsRequest.newBuilder()
                .setPhone(phone)
                .setMsg("你的验证码是：sb")
                .build();
        SmsResponse smsResponse = blockingStub.sendSms(request);
        if (!smsResponse.getIsSuccess()) {
            return "发送失败";
        }
        System.out.println("smsResponse = " + smsResponse);
        return smsResponse.getRequestId();
    }
}

• 用postman进行调用，正常发送和返回
  

image.png


login模块（client端）




image.png


sms模块（server端）




image.png



go版

• 保留Java的sms模块，我们用Golang调用试一试，把sms.proto移动到go项目目录下，安装protoc-gen-go-grpc插件来生成Go版本的Service层。
  

syntax = "proto3";

import "google/protobuf/timestamp.proto";

option java_package = "com.haowen.common.protobuf";
option java_outer_classname = "SmsProto";

option go_package = "../protobuf";

service SmsService {
  rpc SendSms (SmsRequest) returns (SmsResponse) {}
}

message SmsRequest {
  string phone = 1;
  string msg = 2;
}

message SmsResponse {
  string requestId = 1;
  bool isSuccess = 2;
  google.protobuf.Timestamp sentAt = 3;
}

// go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
// go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
// protoc --go_out=. --go-grpc_out=.  sms.proto分别执行，安装插件并生成proto的Go文件。
// go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
// go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
// protoc --go_out=. --go-grpc_out=.  sms.proto执行后会生成




image.png

• 接下来编写一个调用方法，同样调用端口是90
  

package main

import (
    "context"
    "fmt"
    "google.golang.org/grpc"
    "google.golang.org/grpc/credentials/insecure"
    "grpc/protobuf"
    "log"
)

/*
go get -u google.golang.org/grpc
go get -u google.golang.org/grpc/credentials
*/

const (
    address = ":90"
)

func main() {
    // 设置一个连接
    conn, err := grpc.Dial(address, grpc.WithTransportCredentials(insecure.NewCredentials()))
    if err != nil {
        log.Fatalf("连接失败: %v", err)
    }
    defer func(conn *grpc.ClientConn) {
        err := conn.Close()
        if err != nil {
            log.Fatalf("关闭连接失败: %v", err)
        }
    }(conn)
    // 创建一个SmsService的客户端
    client := protobuf.NewSmsServiceClient(conn)

    response, err := client.SendSms(context.Background(), &protobuf.SmsRequest{
        Phone: "110",
        Msg:   "哈哈哈",
    })
    fmt.Println(response, err)
}

• 运行main函数，这样就实现了一个简单的跨语言调用
  

image.png

为了显得文章不会特别臃肿，本文省略了模块层级的创建，相信聪明如你已经一看就会啦，如果有好的建议，欢迎在评论区留言。

abc8885

Protobuf生成和使用

• Go使用Protobuf
  

KONENET：Go使用Protobuf

• JAVA使用Protobuf
  

KONENET：JAVA使用ProtobufProtobuf编码官方文档

Encoding  |  Protocol Buffers  |  Google DevelopersProtobuf二进制数据打印

• 定义Protobuf消息协议
  

message User {
  int32 userId = 1;
}

• 构建消息并输出16进制
  

public class PbTest {
    public static void main(String[] args) {
        User user = User.newBuilder()
                .setUserId(300)
                .build();

        System.out.println(user);

        byte[] data = user.toByteArray();
        // 十六进制形式打印
        for (byte b : data) {
            System.out.printf("%02X", b & 0xFF);
        }
    }
}

• 查看输出
  

十六进制输出是：08AC02
对这个进行分析之前，需要了解几个知识点。
MSB

MSB是most significant bit(msb)的缩写。即最高有效位。
表示一个字节8位中，最高位中如果是1表示后面字节是和该字节连续在一起的，也是该数据的一部分。如果是0表示计算终止。
例如：
10001000 00010001
最左边的数（加粗的1）即是最高位，该数据为1，表示后面的字节是该数据一部分。所以整个数据是10001000 00010001。
最高位仅仅表示后面是否还有字节，并不能参与数据存储，所以除了最高位数，后面都参与计算。即该数据为：0001000 0010001。
least significant group first

least significant group first.是指在数据范围后，刚才已经确认10001000 00010001是一个数据，同时最高位不参与计算，则为0001000 0010001。后面字节需要放置在最前面。即0010001 0001000，最终二进制为：100010001000，转换为十进制为2184.
Tag

Protobuf保存消息数据时，是按照[tag-value][tag-value]...的形式进行保存。


不是按照key-value的形式，是因为，tag中既包含了key，也包含了数据类型。
message User {
  int32 userId = 1;
}key即是消息定义中的userId = 1的1，数据类型是int32.
计算tag的公式：
(field_number << 3) | wire_typefield_number 即是消息定义中的userId = 1的1.
wire_type是官方定义的种类：


第一列的type即是wire_type。
为什么field_number需要左移3位？
(field_number << 3) | wire_type
上图中type最大为5，5的二进制为101，占用3位。同时位移后又和wire_type做或操作。
所以上面公式的意思就是：将最后3为用来存储wire_type。
十六进制08AC02中的08说明

上面说明了msg，tag的概念。那接下来就根据输出的十六进制进行说明。
在Protobuf中数据的开头始终为varint。
那08的二进制是(十六进制转二进制)：0 8 => 0000 1000
前面提到的msg，即最高有效位，去掉0，即为 0001000.

• 后三位说明
  

在tag中说明到，后三位是用来存储wire_type的。后三位为000，即0，对应上面图可以得到int32。

• 前四位说明
  

剩下的前4位为 0001.即1，表示该数的field_number，为1.和消息定义中的userId = 1一致。
十六进制08AC02中的AC02说明

在Protobuf中数据的开头始终为varint。那剩下的就是值数据了。
即：AC02。
对应的二进制：AC02 -> 1010 1100 0000 0010. 即：10101100 00000010.

• 按照msb原则，最高有效位进行处理：10101100的msg是1，表示后面也是数据一部分，00000010的msg是0，表示计算结束。那就是10101100 00000010为一个数据。
  
• 确定这是一个数据后，去掉有效位。即：0101100 0000010
  
• 按照least significant group first处理。需要将分组进行反转。得到0000010 0101100，即10 0101100 -> 100101100.转换成十进制后为300.
  

User user = User.newBuilder()
                .setUserId(300)
                .build();这就是我们构建消息的用户ID 300.

总结

• Protobuf中msg最高有效位。最高位是用来判断后面是否是数据的一部分，不用做计算数据。这样在一方面可以更加紧凑的存放数据。但是这样有效的数据位就只有7位，所以Protobuf一个字节表示的数的范围0-128。
  
• Tag生成算法中由于后3位表示数据类型，所以Tag中1-15编号只占用1个字节，所以确保编号中1-15为常用的，减少数据大小。可变长度编码唯一的缺点就是当数很大的时候int32需要占用5个字节，但是从统计学角度来说，一般不会有这么大的数
  
• least significant group first。确定数据后，去掉msg，交互字节位置。