暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Apache SeaTunnel 2.3.10 正式发布 —— 全新功能与多项改进,助力数据集成再升级!

SeaTunnel 2025-04-03
165

亲爱的 Apache SeaTunnel 社区小伙伴们!我们关注到近日由@zhangshenghang
担任发版经理,Apache SeaTunnel 2.3.10 版本已经正式发布!本次版本更新聚焦于部分连接器功能优化及增强、配置项完善和问题修复,进一步提升了数据同步、处理的稳定性和性能,助力企业构建高效、灵活的数据集成平台。

以下是本次版本发布的主要内容摘要:

📥 2.3.10版本下载:https://seatunnel.apache.org/download/

📕 Release Note(原文):https://github.com/apache/seatunnel/blob/2.3.10/release-note.md

新功能及改进

新特性亮点

Connector-V2

新增对 Paimon Connector 中 Between 谓词的下推支持;支持 RocketMQ Source 的消息标签配置;支持单文件模式的文件 Sink;支持多 StarRocks Source;新增可选标识以跳过 RocketMQ Connector 的解析错误等。

Transforms-V2

新增对 LLM 非标准格式响应的处理、支持 Zhipu AI 在 Embedding 与 LLM 模块中的应用、以及对 JSONPath 处理 Map Array 类型的支持。

Config

支持自定义加解密配置键,进一步提升配置灵活性。

其它改进

HBase、Oracle-CDC、Google Sheets、DingTalk、Slack 等 Connector 均有不同程度的优化和新功能加入。

Connector 配置优化

  • 优化了 LocalFile、Web3j、InfluxDB、HTTP、IoTDB、Email 等多个 Connector 的配置选项,提升了用户体验和灵活性。
  • 针对 StarRocks、Jdbc(SQLServer/Dameng)、Iceberg、Redis、Clickhouse、Kafka 等 Connector 进行了功能增强和参数优化。

核心模块优化

  • Zeta 引擎方面,新增定时检查关闭日志文件句柄、分离 classloader 配置、禁用 RESTful API v1 等改进,提升了引擎的稳定性与扩展性。
  • 对 Core 模块支持解析引号作为 Key、统一 Engine 初始化 Connector 逻辑等方面也有进一步优化。

Bug 修复与可靠性提升

本版本修复了大量问题,确保各模块和 Connector 能够在生产环境中更稳定地运行。

部分重点修复包括:

  • 修复了 Milvus SourceReader 中状态检查失误、Kafka 源反复读取、CSV 文件读写异常、部分 Connector 在文件处理和网络请求中存在的错误。
  • 针对 Doris、Mongo-cdc、StarRocks、Hive、SqlServer、Oracle 等多个场景下的问题进行了修复,保障数据同步和任务执行的可靠性。
  • 优化了日志、插件发现机制和 CI 流程中出现的异常,提升了整体系统的健壮性。

文档优化

  • 对多个 Connector(如 FTP、JDBC、S3File、Oracle、Clickhouse 等)的文档进行了修正和优化。

  • 解决了文档中的死链、参数错误等问题,同时新增了部分中文文档翻译,力求让用户更便捷地查阅和使用。

致谢贡献者

感谢zhangshenhang
对本次发版工作的指导和帮助,同时感谢以下社区贡献者的共同努力,让本次发版工作顺利完成:

Github ID
Github ID
Github ID
Aiden
Asish
Cheun99
ChunFuWu
CosmosNi
Daeuk Choi
Daniel Duan
GARVIT THAKRAL
Gemini147258
GoldWater
Guangdong Liu
Jarvis
Jast
Jeremy
JeremyXin
Jesse
Jia Fan
Kang Myeong Gwan
Liujinhui
Polaris
Qifei Wan
Scorpio777888
Sourasish Mondal
THZ
Wanming Shi
chenrj
corgy-w
duzhendi
e-mhui
fcb-xiaobo
hailin0
huangkuilin
iamadamnBoy
joyCurry30
kevin.ren
limin
litiliu
liujiacheng
lyne
mickeyzzm
misi
quicklyfast
shenghang
shirukai
sohurdc
uniding
wgzhao
xiaochen
zhangdonghao
在下uptown

总结

Apache SeaTunnel 2.3.10 版本在功能、性能和稳定性上都实现了显著提升,我们相信这些改进能够为您的数据集成和大数据处理工作带来更多便利。

感谢所有社区成员和贡献者
的辛勤付出!

感兴趣的朋友可以下载最新版试用,体验全新升级的Apache SeaTunnel,让我们一起推动数据集成技术的持续进步!

Apache SeaTunnel

Apache SeaTunnel是一个云原生的高性能海量数据集成工具。北京时间 2023 年 6 月1 日,全球最大的开源软件基金会ApacheSoftware Foundation正式宣布Apache SeaTunnel毕业成为Apache顶级项目。目前,SeaTunnel在GitHub上Star数量已达8k+,社区达到6000+人规模。SeaTunnel支持在云数据库、本地数据源、SaaS、大模型等170多种数据源之间进行数据实时和批量同步,支持CDC、DDL变更、整库同步等功能,更是可以和大模型打通,让大模型链接企业内部的数据。




同步Demo

MySQL→Doris | MySQLCDC | MySQL→Hive | HTTP → Doris  | HTTP → MySQL | MySQL→StarRocks|MySQL→Elasticsearch |Kafka→ClickHouse


新手入门

SeaTunnel 让数据集成变得 So easy!3 分钟入门指南
 0 到 1 快速入门 /初探/深入理解 
  分布式集群部署 | CDC数据同步管道 | Oracle-CDC

最佳实践

OPPO | 清风|天翼云|马蜂窝|孩子王|哔哩哔哩|唯品会|众安保险|兆原数通 | 亚信科技|映客|翼康济世|信也科技|华润置地|Shopee|京东科技|58同城|互联网银行|JPMorgan


测试报告

SeaTunnel VS GLUE |  VS Airbyte |  VS DataX|SeaTunnel 与 DataX 、Sqoop、Flume、Flink CDC 对比

源码解析

Zeta引擎源码解析(一) |(二) |(三)| API 源码解析 |2.1.1源码解析|封装 Flink 连接数据库解析



Apache SeaTunnel





Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台

仓库地址: 
https://github.com/apache/seatunnel
网址:
https://seatunnel.apache.org/
Apache SeaTunnel 下载地址:
https://seatunnel.apache.org/download
衷心欢迎更多人加入!
我们相信,在Community Over Code(社区大于代码)、「Open and Cooperation」(开放协作)、「Meritocracy」(精英管理)、以及「多样性与共识决策」等 The Apache Way 的指引下,我们将迎来更加多元化和包容的社区生态,共建开源精神带来的技术进步!
我们诚邀各位有志于让本土开源立足全球的伙伴加入 SeaTunnel 贡献者大家庭,一起共建开源!
提交问题和建议:
https://github.com/apache/seatunnel/issues
贡献代码:
https://github.com/apache/seatunnel/pulls
订阅社区开发邮件列表 : 
dev-subscribe@seatunnel.apache.org
开发邮件列表:
dev@seatunnel.apache.org
加入 Slack:
https://join.slack.com/t/apacheseatunnel/shared_invite/zt-1kcxzyrxz-lKcF3BAyzHEmpcc4OSaCjQ
关注 Twitter: 
https://twitter.com/ASFSeaTunnel

文章转载自SeaTunnel,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论