暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

PyDolphinScheduler 4.0.0 正式发布

海豚调度 2022-12-28
908

 点亮 ⭐️ Star · 照亮开源之路

https://github.com/apache/dolphinscheduler

版本发布

 2022/12/27 


近日,Apache DolphinScheduler 子项目 PyDolphinScheduler 迎来了独立仓库(Dolphinscheduler-sdk-python)的第一个发布版本 PyDolphinScheduler 4.0.0,此后本仓库开始进行独立维护。


新仓库地址:https://github.com/apache/dolphinscheduler-sdk-python

PyDolphinScheduler 4.0.0 较大的改动包括:
  • 支持了 workflow 执行策略 #9
  • 增加鉴权 token #13
  • 增加支持 DolphinScheduler 版本检测 #47
  • 对工作流 timeout 使用 timedelta 类型 #41
  • 提交工作流只创建一次链接 #16
  • 工作流名称从 process definition 改成 workflow #42




修改


  • [feat] 将执行策略添加到工作流 @zhongjiajie #9
  • [feat] 添加令牌作为 python 网关的身份验证 @zhongjiajie #13
  • [feat][task] 支持 Kubernetes 任务 @tuchg #15
  • [feat] 将工作流超时标记为类型 timedelta @zhongjiajie #41
  • [feat] 将变更日志添加到文档中 @zhongjiajie #44
  • [feat] 对 dolphinscheduler 主包进行版本检查 @zhongjiajie #47




优化


  • [impv] 为提交的单个工作流创建一个连接 @zhongjiajie #16
  • [impv] 在开发版本中不发警告 @zhongjiajie #33
  • [impv] 为工作流和任务添加选项参数 @zhongjiajie #43
  • [test] 任务插件中测试用例优化 @jieguangzhou #46




Bug修复


  • [修复] 资源上传和添加文档 @zhongjiajie #36
  • [修复] 在dev分支上传资源 @zhongjiajie #35




文档


  • [doc] 添加历史和版本兼容性 @zhongjiajie #28




其他


  • [chore] 从主要 repo apache/dolphinscheduler 迁移代码 @zhongjiajie #1
  • [ci] 添加可合并并启用 github issue @zhongjiajie #10
  • [chore] 改进 CI 并修复死链接 @zhongjiajie #11
  • [chore] 合并后启用删除分支 @zhongjiajie #17
  • [chore] 将类名从流程定义更改为工作流 @zhongjiajie #26
  • [ci] 避免调度事件上传太多文件到 codecov @zhongjiajie #29
  • [chore] 更改集成测试行为并添加文档 @zhongjiajie #30
  • [chore] CI python 版本从 3.11-dev 到 3.11 @zhongjiajie in #31
  • [chore] 更正徽章认证并更改下载到 pypy.tech by @zhongjiajie #32
  • [chore] 修复 ubuntu-latest 无法在 github 动作中设置 python的问题 @zhongjiajie #37
  • [chore] 更改网站链接 @zhongjiajie #39
  • [chore] 从 pd 更改工作流实例名称 @zhongjiajie #42




贡献者


zhongjiajie, tuchg, jieguangzhou

感谢所有参与本次版本发布的社区贡献者,以上名单为贡献者 GitHub ID,排名不分先后。其中,@tuchg 和 @jieguangzhou 提交了他们的第一个贡献。




说明

  

为什么要独立维护 PyDolphinScheduler?


PyDolphinScheduler 是 Apache DolphinScheduler 的 Python API,用户可以通过 Python 代码(又名工作流代码)定义工作流。

我们于 2022 年 11 月 7 日将 PyDolphinScheduler 代码库从 Apache dolphinscheduler 代码库中分离,形成独立的仓库。现在代码库位于 Apache dolphinscheduler-sdk-python 中,所有 issue 和 PullRequest 都应提交到此仓库。

新仓库地址:https://github.com/apache/dolphinscheduler-sdk-python

我们独立运维 PyDolphinScheduler 仓库的原因有以下几点:
  • 明确职责:PyDolphinScheduler 的代码库独立于 DolphinScheduler,有独立的用户和开发者,CI 和测试用例,甚至语言也不相同。
  • 发布周期独立:PyDolphinScheduler 是一个 SDK,应该独立于 DolphinScheduler 发布。在从 DolphinScheduler 仓库独立出来之前,每次 DolphinScheduler 更新时我们都需要发布 PyDolphinScheduler。这会带来了两个主要问题:
    • DolphinScheduler 发布周期对于 PyDolphinScheduler 来说过长;
    • 即使没有任何改动,每次 DolphinScheduler 更新时我们都需要发布 PyDolphinScheduler
  • CI 运行更快:PyDolphinScheduler 有自己的 CI,当我们只更改 PyDolphinScheduler 代码时,不需要运行 DolphinScheduler CI,从而使 CI 在两个仓库中运行得更快。

需要特别注意的是,独立维护之后,DolphinScheduler 版本和 PyDolphinScheudler 的版本不再一一对应,可能存在多个 PyDolphinScheudler 版本对应一个 DolphinScheduler 版本的情况。为了让用户知道这是一个特殊的版本,我们特意没有遵循之前的 3.1.x 的版本号,而是使用了特殊的 4.0.0,不仅说明这是一个全新的版本,而且可以让用户通过版本号发现异常,关注到我们的变化。

PyDolphinScheduler 完整说明文档请参考:https://dolphinscheduler.apache.org/python/4.0.0/#history

参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds) 



添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。



< 🐬🐬 >
更多精彩推荐

Apache DolphinScheduler 发布 3.1.2 版本,Python API 实现优化

Apache Dolphinscheduler 任务插件版图再添 Linkis,大幅提高计算治理能力

DolphinScheduler 快速构建 Hugging Face 文本分类工作流,基于工作流的机器学习训练部署太强了!

Apache DolphinScheduler 任务调度3.1.0版本源码剖析

名额已排到10月 | Apache DolphinScheduler Meetup分享嘉宾继续火热招募中

【Meetup讲师】您有一张社区认证讲师证书未领取,点击领取!

Apache DolphinScheduler v2.0.1 Master 和 Worker 执行流程分析系列(三)



我知道你在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论