快速上手go-doudou开发gRPC服务

RecursiveFrog · 发表于 2022-11-25 08:50

image.png

go-doudou从v2版本开始已经支持开发gRPC服务。开发流程跟v1版本是一致的，都是先在svc.go文件里的interface里定义方法，然后执行go-doudou代码生成命令生成代码，最后你再写自定义业务逻辑实现接口。go-doudou的学习曲线非常平滑，对新手极其友好，特别是具有其他编程语言开发背景的开发者，比如从Java、Nodejs或是Python转过来的。go-doudou非常易学，但是却能带来极高的生产力。

本文中我将通过一个小demo来向各位同学展示开发流程是什么样的，同时也提供了一些最佳实践。我们将采用go-doudou开发一个通过最大余额法算法解决计算占比不等于100%的问题的gRPC服务，然后通过测试看一下效果。完整代码托管在github。
准备

安装go

go-doudou仅支持go 1.16及以上版本。
安装gRPC编译器和插件

安装编译器protoc

安装Protobuf编译器protoc，可参考官方文档，这里贴一下常见操作系统下的安装命令：

$ apt install -y protobuf-compiler$ protoc --version # 确保安装v3及以上版本

$ brew install protobuf$ protoc --version # 确保安装v3及以上版本

Windows系统，或者Mac系统安装Homebrew失败，需从github下载安装包，解压后，自行配置环境变量。
Windows系统最新protoc下载地址：https://github.com/protocolbuffers/protobuf/releases/download/v21.7/protoc-21.7-win64.zip
Mac系统Intel最新protoc下载地址：https://github.com/protocolbuffers/protobuf/releases/download/v21.7/protoc-21.7-osx-x86_64.zip
其他安装包请在 github releases 里找。

安装插件

$ go install google.golang.org/protobuf/cmd/protoc-gen-go@v1.28$ go install google.golang.org/grpc/cmd/protoc-gen-go-grpc@v1.2

$ export PATH="$PATH:$(go env GOPATH)/bin"
最新版本号请跳转 https://grpc.io/docs/languages/go/quickstart/ 查找。
安装go-doudou

go get -v github.com/unionj-cloud/go-doudou/v2@v2.0.3

go install -v github.com/unionj-cloud/go-doudou/v2@v2.0.3
推荐采用如下命令下载go-doudou作为项目的依赖
go get -v -d github.com/unionj-cloud/go-doudou/v2@v2.0.3
如果遇到410 Gone error报错，请先执行如下命令，再执行上述的安装命令
export GOSUMDB=off
安装完成后，如果遇到go-doudou: command not found报错，请将$HOME/go/bin配置到~/.bash_profile文件里，例如：
# .bash_profile# Get the aliases and functionsif [ -f ~/.bashrc ]; then . ~/.bashrcfi# User specific environment and startup programsPATH=$PATH:/usr/local/go/binPATH=$PATH:$HOME/go/binexport PATH
我们可以执行以下命令确认一下安装是否成功：
  go-doudou -vgo-doudou version v2.0.3初始化项目

做完准备工作我们就可以开始coding了。首先我们需要初始化项目。
go-doudou svc init go-stats -m go-doudou-tutorials/go-stats
go-stats是项目的根路径，go-doudou会逐层创建文件夹，底层类似执行unix命令mkdir -p 。-m 可以设置模块名，这里是go-doudou-tutorials/go-stats

go-doudou会生成以下的项目结构。
  go-stats git:(master)  tree -L 2.├── Dockerfile├── go.mod├── svc.go└── vo └── vo.go1 directory, 4 files
svc.go文件里已经声明了一个接口，用于定义方法，go-doudou会通过这些方法提供的信息来生成proto文件里的rpc代码。vo包是用来定义go语言结构体的，go-doudou会扫描整个包里声明的所有结构体来生成proto文件里的message代码。
定义服务

下面我们来看一下svc.go文件。
/*** Generated by go-doudou v2.0.3.* You can edit it as your need.*/package serviceimport ( "context" "go-doudou-tutorials/go-stats/vo")//go:generate go-doudou svc http -c//go:generate go-doudou svc grpctype GoStats interface { // You can define your service methods as your need. Below is an example. // You can also add annotations here like @role(admin) to add meta data to routes for    // implementing your own middlewares PageUsers(ctx context.Context, query vo.PageQuery) (data vo.PageRet, err error)}
有两个//go:generate 指令，分别是用来生成RESTful和gRPC服务代码的，主要是为了方便执行代码生成命令。如果你用goland的话，你可以像下面的截图所示那样操作界面执行命令。

image.png

PageUsers是一个示例，我们删掉它写上我们的方法。
/*** Generated by go-doudou v2.0.3.* You can edit it as your need. */package serviceimport ( "context" "go-doudou-tutorials/go-stats/vo")//go:generate go-doudou svc http -c//go:generate go-doudou svc grpc// GoStats is a demo gRPC service developed by go-doudoutype GoStats interface { // LargestRemainder implements Largest Remainder Method https://en.wikipedia.org/wiki/Largest_remainder_method LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error)}
我们还需要在vo包里声明PercentageReqVo和PercentageRespVo这两个vo结构体。需要注意的是，GoStats接口的方法里出现的结构体类型参数必须声明在vo包里，否则go-doudou获取不到字段信息，就无法在proto文件里生成对应的message。
/*** Generated by go-doudou v2.0.3.* You can edit it as your need. */package vo//go:generate go-doudou name --file $GOFILE// request votype PercentageReqVo struct { // key value pairs Data []PercentageVo `json:"data"` // digit number after dot Places int `json:"places"`}// key value pairtype PercentageVo struct { // number for something Value int `json:"value"` // unique key for distinguishing something Key string `json:"key"`}// result votype PercentageRespVo struct { Value int `json:"value"` Key string `json:"key"` Percent float64 `json:"percent"` // formatted percentage PercentFormatted string `json:"percentFormatted"`}
第7行的go-doudou name 命令是go-doudou内置的一个小工具，可以一把生成或更新结构体字段后面的json标签，默认是首字母小写的驼峰命名格式。
生成代码

现在我们可以执行go-doudou svc grpc 命令生成proto文件和gRPC相关的服务端、客户端代码了。执行命令后的项目结构如下所示：
go-stats git:(master) tree -L 3 -a.├── .dockerignore├── .env├── .gitignore├── Dockerfile├── cmd│ └── main.go├── config│ └── config.go├── db│ └── db.go├── go.mod├── svc.go├── svcimpl.go├── transport│ └── grpc│ ├── annotation.go│ ├── gostats.pb.go│ ├── gostats.proto│ └── gostats_grpc.pb.go└── vo └── vo.go13 directories, 16 files
go-doudou为我们生成了一些新的文件夹和文件。

在我们实现接口之前，需要执行 go mod tidy 命令来下载依赖。然后我们启动程序，先看一下是否一切正常。
  go-stats git:(master)  go run cmd/main.go 2022/11/23 11:07:45 maxprocs: Leaving GOMAXPROCS=16: CPU quota undefined                         _                   _                         | |                | |  __ _ ___ ______ __| |  ___ _ _ __| |  ___ _ _ / _` | / _ \ |______| / _` | / _ \ | | | | / _` | / _ \ | | | || (_| || (_) |       | (_| || (_) || |_| || (_| || (_) || |_| | \__, | \___/       \__,_| \___/  \__,_| \__,_| \___/  \__,_|  __/ | |___/2022-11-23 11:07:45 INF ================ Registered Services ================2022-11-23 11:07:45 INF +------------------------------------------+----------------------+2022-11-23 11:07:45 INF |                SERVICE                |       RPC       |2022-11-23 11:07:45 INF +------------------------------------------+----------------------+2022-11-23 11:07:45 INF | grpc.reflection.v1alpha.ServerReflection | ServerReflectionInfo |2022-11-23 11:07:45 INF | go_stats.GoStatsService                | LargestRemainderRpc  |2022-11-23 11:07:45 INF +------------------------------------------+----------------------+2022-11-23 11:07:45 INF ===================================================2022-11-23 11:07:45 INF Grpc server is listening at [::]:500512022-11-23 11:07:45 INF Grpc server started in 1.110168ms
go-doudou依赖了 go.uber.org/automaxprocs 这个包来根据我们给容器做的资源限制来设置处理器P的数量，所以会有第2行的日志输出。

我们再看一下transport/grpc/gostats.proto文件。
/*** Generated by go-doudou v2.0.3.* Don't edit!** Version No.: v20221123*/syntax = "proto3";package go_stats;option go_package = "go-doudou-tutorials/go-stats/transport/grpc";message LargestRemainderRpcResponse {  repeated PercentageRespVo data = 1 [json_name="data"];}// request vomessage PercentageReqVo {  // key value pairs  repeated PercentageVo data = 1 [json_name="data"];  // digit number after dot  int32 places = 2 [json_name="places"];}// result vomessage PercentageRespVo {  int32 value = 1 [json_name="value"];  string key = 2 [json_name="key"];  double percent = 3 [json_name="percent"];  // formatted percentage  string percentFormatted = 4 [json_name="percentFormatted"];}// key value pairmessage PercentageVo {  // number for something  int32 value = 1 [json_name="value"];  // unique key for distinguishing something  string key = 2 [json_name="key"];}service GoStatsService {  // LargestRemainder implements Largest Remainder Method https://en.wikipedia.org/wiki/Largest_remainder_method  rpc LargestRemainderRpc(PercentageReqVo) returns (LargestRemainderRpcResponse);}
如代码所示，所有message里的字段名称都是首字母小写的驼峰命名。其实Protobuf官方给出的规范是下划线分隔单词的蛇形命名。因为我们vo包里的结构体的字段的json标签是首字母小写的驼峰命名，所以我们这里为了保持一致，就没有遵循规范。保持一致的作用是我们后面如果需要将protoc生成的结构体转成vo包里的结构体的时候，可以直接用json序列化反序列化的方式做深拷贝，而无需手工一个个字段去赋值。如果你担心这个办法的性能开销而选择其他办法的话，就无所谓了。

go-doudou在生成proto文件的时候会将方法出参中的除error类型之外的其他类型参数都封装到一个单独的message中，如这里的LargestRemainderRpcResponse。

go-doudou只支持Proobuf v3。
实现接口

下面我们在svcimpl.go文件中编写我们的业务代码。先看一下现在的代码。
/*** Generated by go-doudou v2.0.3.* You can edit it as your need. */package serviceimport ( "context" "go-doudou-tutorials/go-stats/config" pb "go-doudou-tutorials/go-stats/transport/grpc")var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil)type GoStatsImpl struct { pb.UnimplementedGoStatsServiceServer conf *config.Config}func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) { //TODO implement me panic("implement me")}func NewGoStats(conf *config.Config) *GoStatsImpl { return &GoStatsImpl{       conf: conf, }}
var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil) 将*GoStatsImpl类型的nil赋值给pb.GoStatsServiceServer接口类型的_的作用是确保指针类型的GoStatsImpl结构体实例始终都实现pb.GoStatsServiceServer接口。相当于一种约束。

我们可以根据实际需求往GoStatsImpl结构体里声明任何字段来存放各种资源，比如外部服务的客户端，数据库连接，任意的队列或者池等等。这里有一个包级别的工厂方法NewGoStats用来注入各种依赖，创建一个指针类型的GoStatsImpl结构体实例。

接下来我们实现LargestRemainderRpc方法。因为go-doudou不支持grpc-gateway和grpc-web等RESTful转gRPC的转发器，如果需要在一套程序同时支持RESTful服务和gRPC服务，go-doudou提供的解决方案是分别绑定两个端口，启动http服务器和gRPC服务器，复用一套业务逻辑代码，所以如果考虑后期可能需要加上RESTful支持的话，推荐不要直接实现pb.GoStatsServiceServer接口，而是先实现GoStats接口，然后再调用GoStats接口的实现方法去实现pb.GoStatsServiceServer接口。这样就实现了业务逻辑代码的复用。

我个人倾向于不管现在和以后是否需要支持RESTful，都先执行 go-doudou svc http -c 命令生成RESTful相关代码。

image.png

现在的项目结构是这样的：
  go-stats git:(master)  tree -L 3 .├── Dockerfile├── client│ ├── client.go│ ├── clientproxy.go│ └── iclient.go├── cmd│ └── main.go├── config│ └── config.go├── db│ └── db.go├── go.mod├── go.sum├── gostats_openapi3.go├── gostats_openapi3.json├── svc.go├── svcimpl.go├── transport│ ├── grpc│ │ ├── annotation.go│ │ ├── gostats.pb.go│ │ ├── gostats.proto│ │ └── gostats_grpc.pb.go│ └── httpsrv│    ├── handler.go│    ├── handlerimpl.go│    └── middleware.go└── vo └── vo.go8 directories, 21 files
httpsrv包里是http路由以及http请求解析和返回数据序列化相关的代码。我们可以删掉也可以先留着。我们看一下svcimpl.go文件有什么变化。
/*** Generated by go-doudou v2.0.3.* You can edit it as your need.*/package serviceimport ( "context" "go-doudou-tutorials/go-stats/config" pb "go-doudou-tutorials/go-stats/transport/grpc" "go-doudou-tutorials/go-stats/vo" "github.com/brianvoe/gofakeit/v6")var _ GoStats = (*GoStatsImpl)(nil)var _ pb.GoStatsServiceServer = (*GoStatsImpl)(nil)type GoStatsImpl struct { pb.UnimplementedGoStatsServiceServer conf *config.Config}func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) { //TODO implement me panic("implement me")}func NewGoStats(conf *config.Config) *GoStatsImpl { return &GoStatsImpl{       conf: conf, }}func (receiver *GoStatsImpl) LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error) { var _result struct {       Data []vo.PercentageRespVo } _ = gofakeit.Struct(&_result) return _result.Data, nil}
var _ GoStats = (*GoStatsImpl)(nil) 和 LargestRemainder 方法是新生成的代码。var _ GoStats = (*GoStatsImpl)(nil) 的作用是确保指针类型的GoStatsImpl始终实现GoStats接口。LargestRemainder 方法是需要我们实现的打桩代码。

下面我们编写业务逻辑代码：
func (receiver *GoStatsImpl) LargestRemainder(ctx context.Context, payload vo.PercentageReqVo) (data []vo.PercentageRespVo, err error) { if len(payload.Data) == 0 {       return } input := make([]numberutils.Percentage, 0) for _, item := range payload.Data {       input = append(input, numberutils.Percentage{          Value: item.Value,          Data:  item.Key,       }) } numberutils.LargestRemainder(input, int32(payload.Places)) for _, item := range input {       data = append(data, vo.PercentageRespVo{          Value:          item.Value,          Key:             item.Data.(string),          Percent:       item.Percent,          PercentFormatted: item.PercentFormatted,       }) } return}
go-doudou在 github.com/unionj-cloud/go-doudou/v2/toolkit/numberutils 包里提供了一个工具函数LargestRemainder。此处略过具体的算法实现。

现在我们可以通过复用LargestRemainder方法里的代码实现LargestRemainderRpc方法。
func (receiver *GoStatsImpl) LargestRemainderRpc(ctx context.Context, request *pb.PercentageReqVo) (*pb.LargestRemainderRpcResponse, error) { var payload vo.PercentageReqVo copier.DeepCopy(request, &payload) data, err := receiver.LargestRemainder(ctx, payload) if err != nil {       return nil, err } var ret pb.LargestRemainderRpcResponse err = copier.DeepCopy(data, &ret.Data) if err != nil {       return nil, err } return &ret, nil}
我们无需手工编写pb.PercentageReqVo转vo.PercentageReqVo和[]vo.PercentageRespVo转[]*pb.PercentageRespVo的代码，直接用 github.com/unionj-cloud/go-doudou/v2/toolkit/copier 包里的DeepCopy函数做深拷贝即可。
测试服务

因为我们生成了新的代码，导入了新的依赖，所以我们需要再执行一下 go mod tidy 。然后我们启动服务，测试一下效果。
  go-stats git:(master)  go mod tidy && go run cmd/main.go2022/11/23 13:18:13 maxprocs: Leaving GOMAXPROCS=16: CPU quota undefined                         _                   _                         | |                | |  __ _ ___ ______ __| |  ___ _ _ __| |  ___ _ _ / _` | / _ \ |______| / _` | / _ \ | | | | / _` | / _ \ | | | || (_| || (_) |       | (_| || (_) || |_| || (_| || (_) || |_| | \__, | \___/       \__,_| \___/  \__,_| \__,_| \___/  \__,_|  __/ | |___/2022-11-23 13:18:13 INF ================ Registered Services ================2022-11-23 13:18:13 INF +------------------------------------------+----------------------+2022-11-23 13:18:13 INF |                SERVICE                |       RPC       |2022-11-23 13:18:13 INF +------------------------------------------+----------------------+2022-11-23 13:18:13 INF | go_stats.GoStatsService                | LargestRemainderRpc  |2022-11-23 13:18:13 INF | grpc.reflection.v1alpha.ServerReflection | ServerReflectionInfo |2022-11-23 13:18:13 INF +------------------------------------------+----------------------+2022-11-23 13:18:13 INF ===================================================2022-11-23 13:18:13 INF Grpc server is listening at [::]:500512022-11-23 13:18:13 INF Grpc server started in 1.001238ms
我个人倾向于采用 evans 去帮助测试和调试gRPC服务。
  go-stats git:(master)  evans -r repl -p 50051  ______ |  ____| | |__ __ __ __ _ _ __ ___ |  __| \ \ / /  / _. | | '_ \  / __| | |____ \ V /  | (_| | | | | | \__ \ |______| \_/ \__,_| |_| |_| |___/ more expressive universal gRPC clientgo_stats.GoStatsService@127.0.0.1:50051> show service+----------------+---------------------+-----------------+-----------------------------+| SERVICE    |       RPC       |  REQUEST TYPE |       RESPONSE TYPE       |+----------------+---------------------+-----------------+-----------------------------+| GoStatsService | LargestRemainderRpc | PercentageReqVo | LargestRemainderRpcResponse |+----------------+--------------------+-----------------+-----------------------------+go_stats.GoStatsService@127.0.0.1:50051> service GoStatsServicego_stats.GoStatsService@127.0.0.1:50051> call LargestRemainderRpc<repeated> data::value (TYPE_INT32) => 20<repeated> data::key (TYPE_STRING) => apple<repeated> data::value (TYPE_INT32) => 30<repeated> data::key (TYPE_STRING) => banana<repeated> data::value (TYPE_INT32) => 40<repeated> data::key (TYPE_STRING) => pear<repeated> data::value (TYPE_INT32) => places (TYPE_INT32) => 2{  "data": [ {    "key": "apple",    "percent": 22.22,    "percentFormatted": "22.22%",    "value": 20 }, {    "key": "banana",    "percent": 33.33,    "percentFormatted": "33.33%",    "value": 30 }, {    "key": "pear",    "percent": 44.45,    "percentFormatted": "44.45%",    "value": 40 }  ]}
我们输入apple 20kg，banana 30kg，pear 40kg和保留2位小数，然后得到了我们期望的结果：22.22 + 33.33 + 44.45 = 100。
总结

本文我们学到了采用go-doudou微服务框架开发gRPC服务的基本技能，同时我们需要知道go-doudou不仅可以帮助开发者轻松地开发gRPC服务，它还包含了一套完善的服务治理方案帮助开发者打造完整的微服务系统。go-doudou虽然开源时间不长，但是非常有发展潜力，希望越来越多的开发者可以加入进来。

		自动登录	找回密码
密码			立即注册

快速上手go-doudou开发gRPC服务

本帖子中包含更多资源