Databend 开源周报 #45

RhinoFreak · 发表于 2022-6-15 16:44

Databend 是一款开源、弹性、可靠的现代云数仓，查询快如闪电，与弹性、易用、低成本的云服务有机结合。

实现 undrop database (#5770)
支持异步插入模式以改善吞吐量 (#5567)
支持变更表的 cluster_key (#5718)

meta

提供回收超过保留时间的 drop 数据接口，以及相关的测试用例 (#5746)
protobuf 信息中保存 MIN_COMPATIBLE_VER (#5785)

functions

支持 timezone() 函数 (#5840)
新增 NULLIF 函数 (#5772)

new planner

引入 InterpreterFactoryV2(#5729)
支持 udf (#5751)
CREATE VIEW (#5816)
CREATE DATABASE (#5804) / DROP DATABASE (#5846)
CREATE USER (#5802) / ALTER USER (#5823) / DROP USER (#5813)

重构位置解析逻辑 (#5790)
显示当前租户的配置 (#5750)
支持 ErrorCode 提示 (#5756)
读 stage 时不再加载凭证 (#5783)
将 Clickhouse HTTP 处理服务移动到独立的端口 (#5797)

new parser

支持交叉连接 (#5730)
展开连接列表 (#5742)

CI 中启用 logic test (#5836)

修复未正确使用压缩 buf (#5727)
支持中止 ProcessorExecutorStream (#5803)
修复缓冲区长度为 0 时的 lz4raw 压缩 (#5806)
修复同步工作 panic 时服务器挂起的问题 (#5814)

每周学习一个关于 Databend 的小知识：Databend 支持异步插入模式
当大量客户端并发插入小批量数据时，每个插入都会按以下路径执行：Parser->Planner->Interpreter->Pipeline考虑到 I/O 深度和缓存局部性，这种方式效率很低。为了解决此问题，将这种少量数据的插入缓存起来，以流水线的方式批量地写入磁盘，减少了磁盘的随机读写，通过牺牲少量的客户端延迟来提升插入的吞吐量。在实现这一改进之后，向同一个表的插入将会被分别独立解析和计划。插入的数据将会转化成DataBlock并缓存。当触发某些条件时，将会解释一次所有缓存的DataBlock，这也对 pipeline 的执行有好处。
阅读下面的材料以了解更多：

RFC | Async Insert Mode：https://databend.rs/doc/contributing/rfcs/async-insert
PR 5567 | Support async insert mode to imporve throughput：https://github.com/datafuselabs/databend/pull/5567/

前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。地址：https://github.com/datafuselabs/databend/releases

非常感谢贡献者们在本周的卓越工作。

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

Databend 文档：https://databend.rs/
Twitter：https://twitter.com/Datafuse_Labs
Slack：https://datafusecloud.slack.com/
Wechat：Databend
GitHub ：https://github.com/datafuselabs/databend

		自动登录	找回密码
密码			立即注册

Databend 开源周报 #45

本帖子中包含更多资源