Databend 开源周报 #45

RhinoFreak

Databend 是一款开源、弹性、可靠的现代云数仓，查询快如闪电，与弹性、易用、低成本的云服务有机结合。

• 实现 undrop database (#5770)
  
• 支持异步插入模式以改善吞吐量 (#5567)
  
• 支持变更表的 cluster_key (#5718)
  

meta

• 提供回收超过保留时间的 drop 数据接口，以及相关的测试用例 (#5746)
  
• protobuf 信息中保存 MIN_COMPATIBLE_VER (#5785)
  

functions

• 支持 timezone() 函数 (#5840)
  
• 新增 NULLIF 函数 (#5772)
  

new planner

• 引入 InterpreterFactoryV2(#5729)
  
• 支持 udf (#5751)
  
• CREATE VIEW (#5816)
  
• CREATE DATABASE (#5804) / DROP DATABASE (#5846)
  
• CREATE USER (#5802) / ALTER USER (#5823) / DROP USER (#5813)
  

• 重构位置解析逻辑 (#5790)
  
• 显示当前租户的配置 (#5750)
  
• 支持 ErrorCode 提示 (#5756)
  
• 读 stage 时不再加载凭证 (#5783)
  
• 将 Clickhouse HTTP 处理服务移动到独立的端口 (#5797)
  

new parser

• 支持交叉连接 (#5730)
  
• 展开连接列表 (#5742)
  

• CI 中启用 logic test (#5836)
  

• 修复未正确使用压缩 buf (#5727)
  
• 支持中止 ProcessorExecutorStream (#5803)
  
• 修复缓冲区长度为 0 时的 lz4raw 压缩 (#5806)
  
• 修复同步工作 panic 时服务器挂起的问题 (#5814)
  

每周学习一个关于 Databend 的小知识：Databend 支持异步插入模式
当大量客户端并发插入小批量数据时，每个插入都会按以下路径执行：Parser->Planner->Interpreter->Pipeline考虑到 I/O 深度和缓存局部性，这种方式效率很低。为了解决此问题，将这种少量数据的插入缓存起来，以流水线的方式批量地写入磁盘，减少了磁盘的随机读写，通过牺牲少量的客户端延迟来提升插入的吞吐量。在实现这一改进之后，向同一个表的插入将会被分别独立解析和计划。插入的数据将会转化成DataBlock并缓存。当触发某些条件时，将会解释一次所有缓存的DataBlock，这也对 pipeline 的执行有好处。
阅读下面的材料以了解更多：

• RFC | Async Insert Mode：https://databend.rs/doc/contributing/rfcs/async-insert
  
• PR 5567 | Support async insert mode to imporve throughput：https://github.com/datafuselabs/databend/pull/5567/
  

前往查看 Databend 每日构建的变更日志，以了解开发的最新动态。地址：https://github.com/datafuselabs/databend/releases


非常感谢贡献者们在本周的卓越工作。












Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式数仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

• Databend 文档：https://databend.rs/
  
• Twitter：https://twitter.com/Datafuse_Labs
  
• Slack：https://datafusecloud.slack.com/
  
• Wechat：Databend
  
• GitHub ：https://github.com/datafuselabs/databend