basd 发表于 2023-6-28 09:15

有人了解protobuf这玩意吗？

有人了解protobuf这玩意吗？

loveme88 发表于 2023-6-28 09:16

https://juejin.cn/post/7222096611635576891在上篇文章中，我们介绍了如何使用 Redis 存储 Protobuf 格式的数据。本文将介绍在 RPC 中也用上 Protobuf。
在一般项目架构中，前后端交互使用Json格式，后端服务间交互使用Protobuf格式。这样的原因是：

[*]前端大多数框架对于Json格式的数据是可以直接渲染的
[*]而后端数据交互一般是为了序列化和反序列化，考虑更多是并发，带宽等，又由于Google的gRPC框架集成了Protobuf，并且gRPC有跨语言、低带宽、HTTP/2等优点。目前主流的Go语言也是谷歌旗下的，Go+gRPC几乎是不二之选（你要是用thrift，当我在放屁）
3.Spring Cloud的OpenFeign也是支持HTTP/2+Protobuf的，但是还是不能跨语言，这里就不展开说了。

Java版：

[*]新建三个模块，login调sms，模拟一个登录发验证码，commons放公共的proto文件
<modules>
<module>grpc-commons</module>
<module>grpc-login</module>
<module>grpc-sms</module>
</modules>

[*]编写proto，一个SmsService接口、一个SmsRequest消息、一个SmsResponse消息。
syntax = "proto3";

import "google/protobuf/timestamp.proto";

option java_package = "com.haowen.common.protobuf";
option java_outer_classname = "SmsProto";

option go_package = "../protobuf";

service SmsService {
    rpc SendSms (SmsRequest) returns (SmsResponse) {}
}

message SmsRequest {
string phone = 1;
string msg = 2;
}

message SmsResponse {
string requestId = 1;
bool isSuccess = 2;
google.protobuf.Timestamp sentAt = 3;
}

[*]因为要生成gRPC的Service类，所以需要借助protoc-gen-grpc-java插件，在cmomons模块的pom.xml添加插件
<dependencies>
<!-- 用来兼容java17 -->
<dependency>
    <groupId>jakarta.annotation</groupId>
    <artifactId>jakarta.annotation-api</artifactId>
    <version>1.3.5</version>
</dependency>
</dependencies>
<build>
<extensions>
    <extension>
      <groupId>kr.motd.maven</groupId>
      <artifactId>os-maven-plugin</artifactId>
      <version>1.7.1</version>
    </extension>
</extensions>
<plugins>
    <plugin>
      <groupId>org.xolstice.maven.plugins</groupId>
      <artifactId>protobuf-maven-plugin</artifactId>
      <version>0.6.1</version>
      <configuration>
      <protocArtifact>com.google.protobuf:protoc:3.21.7:exe:${os.detected.classifier}</protocArtifact>
      <pluginId>grpc-java</pluginId>
      <pluginArtifact>io.grpc:protoc-gen-grpc-java:1.54.1:exe:${os.detected.classifier}</pluginArtifact>
      </configuration>
      <executions>
      <execution>
          <goals>
            <goal>compile</goal>
            <goal>compile-custom</goal>
          </goals>
      </execution>
      </executions>
    </plugin>
</plugins>
</build>

[*]点击编译，编辑会自动执行protoc-gen-grpc-java插件




image.png


target目录下就有我们生成的实体类和grpc的service类




image.png


[*]接下来编写sms模块（server端），因为我添加了springboot的web，所以这里用@Service的形式来注入
@Service
public class SmsServiceImpl extends SmsServiceImplBase {
    @Override
    public void sendSms(SmsRequest request, StreamObserver<SmsResponse> responseObserver) {
      // 请求的参数
      System.out.println(request.getPhone());
      System.out.println(request.getMsg());
      // 返回的东西
      SmsResponse response = SmsResponse.newBuilder()
            .setRequestId(UUID.fastUUID().toString())
            .setIsSuccess(true)
            .setSentAt(Timestamps.fromMillis(System.currentTimeMillis()))
            .build();
      // 塞进去
      responseObserver.onNext(response);
      // 塞完，走吧
      responseObserver.onCompleted();
    }
}启动类，gRPC的通信端口是90
public class GrpcSmsApp {
    private Server server;

    public static void main(String[] args) {
      SpringApplication.run(GrpcSmsApp.class, args);
    }

    /**
   * 启动grpc
   */
    @SneakyThrows
    @PostConstruct
    public void startGrpcServer() {
      server = ServerBuilder.forPort(90).addService(new SmsServiceImpl()).build().start();
    }

    @PreDestroy
    public void stopGrpcServer() {
      if (server != null) {
            server.shutdown();
      }
    }

}

[*]接着写login模块（client端），创建连接并使用Bean进行管理。.newBlockingStub是最常用的阻塞请求。如需异步、双工请建立对应的stub
@Configuration
public class SmsService {
    @Bean
    SmsServiceGrpc.SmsServiceBlockingStub blockingStub() {
      ManagedChannel channel = ManagedChannelBuilder
                .forAddress("localhost", 90)
                .usePlaintext() // 明文传输，生产用NettyChannelBuilder下的sslContext()
                .build();
      return SmsServiceGrpc.newBlockingStub(channel);
    }
}

[*]写一个接口来测试
@RestController
@RequiredArgsConstructor
@RequestMapping("login")
public class LoginApi {
private final SmsServiceBlockingStub blockingStub;

    @PostMapping("sendLoginCode")
    String sendLoginCode(String phone) {
      SmsRequest request = SmsRequest.newBuilder()
                .setPhone(phone)
                .setMsg("你的验证码是：sb")
                .build();
      SmsResponse smsResponse = blockingStub.sendSms(request);
      if (!smsResponse.getIsSuccess()) {
            return "发送失败";
      }
      System.out.println("smsResponse = " + smsResponse);
      return smsResponse.getRequestId();
    }
}

[*]用postman进行调用，正常发送和返回




image.png


login模块（client端）




image.png


sms模块（server端）




image.png



go版

[*]保留Java的sms模块，我们用Golang调用试一试，把sms.proto移动到go项目目录下，安装protoc-gen-go-grpc插件来生成Go版本的Service层。
syntax = "proto3";

import "google/protobuf/timestamp.proto";

option java_package = "com.haowen.common.protobuf";
option java_outer_classname = "SmsProto";

option go_package = "../protobuf";

service SmsService {
rpc SendSms (SmsRequest) returns (SmsResponse) {}
}

message SmsRequest {
string phone = 1;
string msg = 2;
}

message SmsResponse {
string requestId = 1;
bool isSuccess = 2;
google.protobuf.Timestamp sentAt = 3;
}

// go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
// go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
// protoc --go_out=. --go-grpc_out=.sms.proto分别执行，安装插件并生成proto的Go文件。
// go install google.golang.org/protobuf/cmd/protoc-gen-go@latest
// go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@latest
// protoc --go_out=. --go-grpc_out=.sms.proto执行后会生成




image.png


[*]接下来编写一个调用方法，同样调用端口是90
package main

import (
    "context"
    "fmt"
    "google.golang.org/grpc"
    "google.golang.org/grpc/credentials/insecure"
    "grpc/protobuf"
    "log"
)

/*
go get -u google.golang.org/grpc
go get -u google.golang.org/grpc/credentials
*/

const (
    address = ":90"
)

func main() {
    // 设置一个连接
    conn, err := grpc.Dial(address, grpc.WithTransportCredentials(insecure.NewCredentials()))
    if err != nil {
      log.Fatalf("连接失败: %v", err)
    }
    defer func(conn *grpc.ClientConn) {
      err := conn.Close()
      if err != nil {
            log.Fatalf("关闭连接失败: %v", err)
      }
    }(conn)
    // 创建一个SmsService的客户端
    client := protobuf.NewSmsServiceClient(conn)

    response, err := client.SendSms(context.Background(), &protobuf.SmsRequest{
      Phone: "110",
      Msg:   "哈哈哈",
    })
    fmt.Println(response, err)
}

[*]运行main函数，这样就实现了一个简单的跨语言调用




image.png

为了显得文章不会特别臃肿，本文省略了模块层级的创建，相信聪明如你已经一看就会啦，如果有好的建议，欢迎在评论区留言。

abc8885 发表于 2023-6-28 09:17

Protobuf生成和使用


[*]Go使用Protobuf
KONENET：Go使用Protobuf

[*]JAVA使用Protobuf
KONENET：JAVA使用ProtobufProtobuf编码官方文档

Encoding|Protocol Buffers|Google DevelopersProtobuf二进制数据打印


[*]定义Protobuf消息协议
message User {
int32 userId = 1;
}

[*]构建消息并输出16进制
public class PbTest {
    public static void main(String[] args) {
      User user = User.newBuilder()
                .setUserId(300)
                .build();

      System.out.println(user);

      byte[] data = user.toByteArray();
      // 十六进制形式打印
      for (byte b : data) {
            System.out.printf("%02X", b & 0xFF);
      }
    }
}

[*]查看输出


十六进制输出是：08AC02
对这个进行分析之前，需要了解几个知识点。
MSB

MSB是most significant bit(msb)的缩写。即最高有效位。
表示一个字节8位中，最高位中如果是1表示后面字节是和该字节连续在一起的，也是该数据的一部分。如果是0表示计算终止。
例如：
10001000 00010001
最左边的数（加粗的1）即是最高位，该数据为1，表示后面的字节是该数据一部分。所以整个数据是10001000 00010001。
最高位仅仅表示后面是否还有字节，并不能参与数据存储，所以除了最高位数，后面都参与计算。即该数据为：0001000 0010001。
least significant group first

least significant group first.是指在数据范围后，刚才已经确认10001000 00010001是一个数据，同时最高位不参与计算，则为0001000 0010001。后面字节需要放置在最前面。即0010001 0001000，最终二进制为：100010001000，转换为十进制为2184.
Tag

Protobuf保存消息数据时，是按照...的形式进行保存。


不是按照key-value的形式，是因为，tag中既包含了key，也包含了数据类型。
message User {
int32 userId = 1;
}key即是消息定义中的userId = 1的1，数据类型是int32.
计算tag的公式：
(field_number << 3) | wire_typefield_number 即是消息定义中的userId = 1的1.
wire_type是官方定义的种类：


第一列的type即是wire_type。
为什么field_number需要左移3位？
(field_number << 3) | wire_type
上图中type最大为5，5的二进制为101，占用3位。同时位移后又和wire_type做或操作。
所以上面公式的意思就是：将最后3为用来存储wire_type。
十六进制08AC02中的08说明

上面说明了msg，tag的概念。那接下来就根据输出的十六进制进行说明。
在Protobuf中数据的开头始终为varint。
那08的二进制是(十六进制转二进制)：0 8 => 0000 1000
前面提到的msg，即最高有效位，去掉0，即为 0001000.

[*]后三位说明
在tag中说明到，后三位是用来存储wire_type的。后三位为000，即0，对应上面图可以得到int32。



[*]前四位说明
剩下的前4位为 0001.即1，表示该数的field_number，为1.和消息定义中的userId = 1一致。
十六进制08AC02中的AC02说明

在Protobuf中数据的开头始终为varint。那剩下的就是值数据了。
即：AC02。
对应的二进制：AC02 -> 1010 1100 0000 0010. 即：10101100 00000010.

[*]按照msb原则，最高有效位进行处理：10101100的msg是1，表示后面也是数据一部分，00000010的msg是0，表示计算结束。那就是10101100 00000010为一个数据。
[*]确定这是一个数据后，去掉有效位。即：0101100 0000010
[*]按照least significant group first处理。需要将分组进行反转。得到0000010 0101100，即10 0101100 -> 100101100.转换成十进制后为300.
User user = User.newBuilder()
                .setUserId(300)
                .build();这就是我们构建消息的用户ID 300.

总结


[*]Protobuf中msg最高有效位。最高位是用来判断后面是否是数据的一部分，不用做计算数据。这样在一方面可以更加紧凑的存放数据。但是这样有效的数据位就只有7位，所以Protobuf一个字节表示的数的范围0-128。
[*]Tag生成算法中由于后3位表示数据类型，所以Tag中1-15编号只占用1个字节，所以确保编号中1-15为常用的，减少数据大小。可变长度编码唯一的缺点就是当数很大的时候int32需要占用5个字节，但是从统计学角度来说，一般不会有这么大的数
[*]least significant group first。确定数据后，去掉msg，交互字节位置。
页: [1]
查看完整版本: 有人了解protobuf这玩意吗？