暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Greptime 工程师夏锐航受邀参加 CMU-DB 研讨会,分享 Apache DataFusion 数据库实践

GreptimeDB 2024-12-16
95

在数字化时代,数据库技术不仅是信息管理的基石,还深刻影响着企业的数据架构和性能优化。为了探讨数据库技术的最新趋势和挑战,卡内基梅隆大学(CMU)数据库研究小组举办了数据库基础组件系列研讨会。

该活动由 Andy Pavlo, Jignesh Patel, Sam Arch 组织,自 9 月 23 日启动,涵盖了 Apache Arrow DataFusion、Apache Spark、Postgres、生物信息数据库、OpenDAL 等多个技术话题。每场研讨会都邀请了数据库领域的专家,分享他们的研究成果和技术挑战。

Greptime 数据库资深研发工程师夏锐航受邀参加此次研讨会,并于北京时间 2024 年 12 月 10 日早上 5:30 带来题为 Implement, Integrate and Extend a Query Engine 的演讲,详细介绍 Apache DataFusion 项目及如何在 GreptimeDB 中利用 DataFusion 作为框架实现自定义的功能和优化,以提升数据库的查询性能和灵活性。

GreptimeDB 基于 Apache DataFusion 和其他常见构建模块实现。此次演讲将聚焦于如何在时间序列数据库中管理查询。

活动详情

GreptimeDB 使用 Apache DataFusion 和许多其他常见的构建模块来实现其功能。本次演讲将聚焦于如何在时间序列数据库的不同部分管理查询。我们扩展了 DataFusion,实施了 PromQL,增强了 SQL 语法,支持与外部二级索引的协作,并引入了特定领域的优化规则等。上述每个功能都在查询执行的不同阶段进行了扩展。

除了新功能的介绍,我们还探讨了如何使用 DataFusion 和 Arrow 作为框架来实现和优化自定义查询计划。通过这一演讲,你会了解到如何高效地使用这些工具,提升数据库查询的灵活性和性能,满足不同应用场景的需求。

🎤 演讲主题

Implement, Integrate and Extend a Query Engine

🙋 演讲嘉宾

夏锐航,GreptimeDB maintainer, Apache DataFusion PMC member, Arrow Committer, HoraeDB PPMC Member

📅 演讲时间

北京时间 2024 年 12 月 10 日早上 5:30

🔍 演讲亮点

  • 手搓查询引擎的老日子
  • 使用 Apache DataFusion
  • 扩展 Apache DataFusion
    • 功能拓展:PromQL & Elasticsearch query string
    • 性能拓展:Windowed Sort
    • 架构拓展:分布式查询
    • 类型拓展:Geo / Vector / JSON / ...

如何观看

视频回放已上传至 B 站和视频号🔗:https://www.bilibili.com/video/BV1B6q8YmE7T/?spm_id_from=333.999.0.0&vd_source=6ffde096e80566285045e07223aa6c3f

无门槛开放:本次分享适用于所有对开源、数据库技术等感兴趣的听众,欢迎全球数据库技术爱好者参与。

PPT 获取:扫码添加下方小助手微信备注 “演讲 PPT” 获取 PPT 原件。

关于 Apache DataFusion

Apache DataFusion 是一个快速、可扩展的查询引擎,专为使用 Rust 构建高质量的数据密集型系统而设计,并利用了 Apache Arrow 的内存中数据格式。它也提供了 Python 绑定。DataFusion 支持 SQL 和 DataFrame 接口,拥有出色的 性能,内置对 CSV、Parquet、JSON 和 Avro 格式的支持,高度定制化选项,以及活跃的社区。

关于 Greptime

Greptime 格睿科技专注于为可观测、物联网及车联网等领域提供实时、高效的数据存储和分析服务,帮助客户挖掘数据的深层价值。目前基于云原生的时序数据库 GreptimeDB 已经衍生出多款适合不同用户的解决方案,更多信息或 demo 展示请联系下方小助手(微信号:greptime)。


欢迎对开源感兴趣的朋友们参与贡献和讨论,从带有 good first issue 标签的 issue 开始你的开源之旅吧~期待在开源社群里遇见你!添加小助手微信即可加入“技术交流群”与志同道合的朋友们面对面交流哦~

Star us on GitHub Now: https://github.com/GreptimeTeam/greptimedb

官网:https://greptime.cn/
文档:https://docs.greptime.cn/
Slack: https://greptime.com/slack
LinkedIn: https://www.linkedin.com/company/greptime/

往期精彩文章:

点击「阅读原文」,立即体验 GreptimeDB!

文章转载自GreptimeDB,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论