优化日志高吞吐写入时的内存占用
引入新的跳数索引语法
引入对 PostgreSQL 的 CURSOR 语句支持
减少 last-point 查询时缓存文件大小
通过从对象存储上预取索引文件减少 IO 等待时间
新增日志视图功能
在过去的两周里,GreptimeDB 共合并了 96 个 PR,其中有 2 位独立贡献者,累计 4 个 PR 被成功合并,还有很多待合并的 PR。
@linyihai(db#5166 db#5088)
@NiwakaDev(db#5165 db#5129)
性能改善
db#5135 db#5157
减少日志写入时的内存占用
我们最近构建了一次新的日志场景性能测试,并基于测试的分析结果做了一些改进。通过在 compaction 期间避免持有无效缓存和内存表,在高日志写入速率和高频 compaction 的场景下极大程度上减少了内存占用,平均从 5.5GB 降低到了 500MB。
db#5095
减少 last-point 查询的缓存文件大小
通过构建新的返回结果而不是一直持有旧的数据,我们在 last-point 查询场景下大幅减少了缓存文件的容量大小。在 TSBS 标准测试结果中缓存文件大小从 1GB 降低到了 8.3MB。
db#5145 db#5146
通过预取索引文件减少查询时 IO 等待时间
我们的索引文件和数据文件都存储在对象存储上。当查询落到对象存储上时,我们使用预取索引文件的方式减少了总计 IO 等待时间,平均从 40ms 降低到了 10ms。
新特性
引入跳数索引语法
布隆过滤器的实现追踪看这里:
https://github.com/GreptimeTeam/greptimedb/issues/5176
db#5081 db#5094
引入 PostgreSQL 中的 CURSOR 语句
初步支持 PostgreSQL 中的 CURSOR 语句。我们希望通过实现 PostgreSQL 的外部数据包装器(foreign data wrapper)协议来作为 PostgreSQL 的数据源兼容服务端。
db#5172
新增日志视图功能
在最新的 dashbaord 版本中,我们发布了一个新的日志查看和分析工具日志视图(Log View)。Log View 能方便地查看和分析数据库中的日志数据。我们希望通过不停的迭代使 Log View 成为一个强大的日志分析工具。
更多介绍请参考此文:《GreptimeDB Dashboard UI 新增日志视图功能》
关键词:Vector
点击下方链接🔗关注 GreptimeDB,了解更多技术干货👇
关于 Greptime
Greptime 格睿科技专注于为可观测、物联网及车联网等领域提供实时、高效的数据存储和分析服务,帮助客户挖掘数据的深层价值。目前基于云原生的时序数据库 GreptimeDB 已经衍生出多款适合不同用户的解决方案,更多信息或 demo 展示请联系下方小助手(微信号:greptime)。
欢迎对开源感兴趣的朋友们参与贡献和讨论,从带有 good first issue 标签的 issue 开始你的开源之旅吧~期待在开源社群里遇见你!添加小助手微信即可加入“技术交流群”与志同道合的朋友们面对面交流哦~
Star us on GitHub Now:
https://github.com/GreptimeTeam/greptimedb
官网:https://greptime.cn/
文档:https://docs.greptime.cn/
Twitter: https://twitter.com/Greptime
Slack: https://greptime.com/slack
LinkedIn: https://www.linkedin.com/company/greptime/
往期精彩文章:


👇 点击下方阅读原文,立即体验 GreptimeDB!