eKuiper Newsletter 2022-05｜protobuf 编解码支持、可视化 ...

Mecanim · 发表于 2022-6-23 12:48

这个五月，eKuiper 处在 1.6.0 版本新功能开发早期阶段，产品功能开发主要包括 protobuf 编解码支持。针对用户多次提出的用拖拽方式编写数据处理规则需求，我们也在进行原型验证。v1.5.1 的 bug 修复也在进行中，预计于 6 月初发布。
此外，作为边缘流式数据处理软件，eKuiper 还参与了中国信通院发起的《边缘流式数据处理技术能力要求》标准评估，通过后 eKuiper 将成为首个通过此标准认定的产品。
protobuf 编解码支持

目前 source 和 sink 关于编解码的配置属性 format 默认值为 JSON，用户可以通过新增的 protobuf 的选项选用 protobuf 的编解码能力。相比于 JSON，protobuf 编码的数据量更小，有利于节省云边之间传输的带宽。该功能目前已经开发完成但尚未发布，用户可以通过边缘源码的 v1.6.0 分支进行试用。
相比于无模式（schema）的 JSON 格式，protobuf 需要定义 proto 文件作为编解码的 schema。在使用 protobuf 格式之前，用户需要先注册 schema，并通过新增的 schemaId 属性，指定编解码选用的 schema。
Schema 管理

使用 REST API 注册，schema 内容可通过文件路径或者文本提供。
// POST /schemas
{
  &#34;id&#34;:&#34;fileName&#34;,
  &#34;file&#34;:&#34;http://myhost/files/abc.proto&#34;
}或者通过文本内容配置：
// POST /schemas
{
  &#34;id&#34;:&#34;schemaName&#34;,
  &#34;content&#34;:&#34;message Person {
required string name = 1;
required int32 id = 2;
optional string email = 3;
  }&#34;
}无论何种方式，内容会被存储于 etc/schemas/protobuf。
Sink 中使用 protobuf

format，用于指定使用的编码
schemaId，用于指定使用的 schema

{
&#34;mqtt&#34;:{
&#34;server&#34;:&#34;tcp://127.0.0.1:1883&#34;,
&#34;topic&#34;: &#34;result&#34;,
&#34;format&#34;:&#34;protobuf&#34;,
&#34;schemaId&#34;:&#34;schemaName.Person&#34; // protobuf的 ID分为两部分，前面为文件名，后面为message名
}
}Source 中使用 protobuf

FORMAT，支持 protobuf
SCHEMA_ID ，用于指定使用的 schema
CREATE STREAM demo() WITH (TYPE=&#34;NEURON&#34;, FORMAT=&#34;protobuf&#34;, SCHEMA_ID=&#34;schemaName.Person&#34;)可视化拖拽编辑能力

之前 eKuiper 针对流式数据仅支持 SQL 形式编写数据处理规则，有一定门槛，不方便业务人员直接参与规则编写。为了进一步降低使用门槛，eKuiper 准备支持以可视化方式拖拽数据处理单元并进行简单编辑配置，最终将多个数据处理单元连接起来自动形成数据处理规则，方便更多人直接使用 eKuiper 进行业务处理。目前这个方案正在原型设计阶段。

即将到来

下个月我们将完善可视化拖拽编辑，并合并到主分支中。另外，eKuiper 将优化 sink 出错之后的缓存机制，实现内存 + 磁盘的离线存储，并在错误恢复后顺序重发，以支持网络断开情况下更强的恢复能力，缓存更长时间的数据。

版权声明：本文为 EMQ 原创，转载请注明出处。
原文链接：https://www.emqx.com/zh/blog/ekuiper-newsletter-202205

		自动登录	找回密码
密码			立即注册

eKuiper Newsletter 2022-05｜protobuf 编解码支持、可视化 ...

本帖子中包含更多资源