暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

内存优化、查询提速,全新日志视图功能上线 | Greptime 双周精选

GreptimeDB 2024-12-19
43
 

内容概述


作为一个成长中的开源项目,GreptimeDB 的进展离不开来自全球的社区贡献者们,感谢各位!

最近的内容更新如下:
  • 优化日志高吞吐写入时的内存占用

  • 引入新的跳数索引语法

  • 引入对 PostgreSQL 的 CURSOR 语句支持

  • 减少 last-point 查询时缓存文件大小

  • 通过从对象存储上预取索引文件减少 IO 等待时间

  • 新增日志视图功能




社区贡献者名单


在过去的两周里,GreptimeDB 共合并了 96  PR,其中有 2 位独立贡献者,累计 4  PR 被成功合并,还有很多待合并的 PR。


祝贺以下各位在过去 2 周内成为我们活跃的贡献者:

@linyihai(db#5166 db#5088

@NiwakaDev(db#5165 db#5129

注:按照 GitHub 用户名首字母顺序排列
👏 衷心感谢我们所有的成员和贡献者!是你们的付出让我们的项目得以成功,也是你们让 GreptimeDB 成为一个更优质的产品。让我们一起努力,建立一个更棒的社区!



PR 亮点


性能改善

db#5135 db#5157

减少日志写入时的内存占用

我们最近构建了一次新的日志场景性能测试,并基于测试的分析结果做了一些改进。通过在 compaction 期间避免持有无效缓存和内存表,在高日志写入速率和高频 compaction 的场景下极大程度上减少了内存占用,平均从 5.5GB 降低到了 500MB


db#5095

减少 last-point 查询的缓存文件大小

通过构建新的返回结果而不是一直持有旧的数据,我们在 last-point 查询场景下大幅减少了缓存文件的容量大小。在 TSBS 标准测试结果中缓存文件大小从 1GB 降低到了 8.3MB。


db#5145 db#5146

通过预取索引文件减少查询时 IO 等待时间

我们的索引文件和数据文件都存储在对象存储上。当查询落到对象存储上时,我们使用预取索引文件的方式减少了总计 IO 等待时间,平均从 40ms 降低到了 10ms


新特性

db#5155 db#5177
引入跳数索引语法
除了倒排索引和全文索引,我们正在为文本搜索和匹配开发一种新的跳数索引(通过布隆过滤器实现)。这种新的索引类型会极大减少构建全文索引的成本的同时达到近似相同的查询耗时。
布隆过滤器的实现追踪看这里:
https://github.com/GreptimeTeam/greptimedb/issues/5176


db#5081 db#5094

引入 PostgreSQL 中的 CURSOR 语句

初步支持 PostgreSQL 中的 CURSOR 语句。我们希望通过实现 PostgreSQL 的外部数据包装器(foreign data wrapper)协议来作为 PostgreSQL 的数据源兼容服务端。


db#5172

新增日志视图功能

在最新的 dashbaord 版本中,我们发布了一个新的日志查看和分析工具日志视图(Log View)。Log View 能方便地查看和分析数据库中的日志数据。我们希望通过不停的迭代使 Log View 成为一个强大的日志分析工具。
更多介绍请参考此文:《GreptimeDB Dashboard UI 新增日志视图功能》




邀请大家来做 GreptimeDB 的 Good First Issue 啦!💜
db#5120 实现多种向量运算函数

关键词:Vector

难度:简单


 

点击下方链接🔗关注 GreptimeDB,了解更多技术干货👇




关于 Greptime

Greptime 格睿科技专注于为可观测、物联网及车联网等领域提供实时、高效的数据存储和分析服务,帮助客户挖掘数据的深层价值。目前基于云原生的时序数据库 GreptimeDB 已经衍生出多款适合不同用户的解决方案,更多信息或 demo 展示请联系下方小助手(微信号:greptime)。


欢迎对开源感兴趣的朋友们参与贡献和讨论,从带有 good first issue 标签的 issue 开始你的开源之旅吧~期待在开源社群里遇见你!添加小助手微信即可加入“技术交流群”与志同道合的朋友们面对面交流哦~


Star us on GitHub Now: 

https://github.com/GreptimeTeam/greptimedb


官网:https://greptime.cn/

文档:https://docs.greptime.cn/

Twitter: https://twitter.com/Greptime

Slack: https://greptime.com/slack

LinkedIn: https://www.linkedin.com/company/greptime/


点击下方链接🔗关注 GreptimeDB,了解更多技术干货👇


往期精彩文章:

‍‍


👇 点击下方阅读原文,立即体验 GreptimeDB!

文章转载自GreptimeDB,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论