暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

【第 22 期】Apache DolphinScheduler 每周 FAQ 集锦

海豚调度 2023-09-11
382




点击蓝字 关注我们




答疑人 | 钟嘉杰 张柏强 热心
收集整理 | Debra Chen

摘要

为了让 Apache DolphinScheduler 的广大用户和爱好者对于此项目的疑问得到及时快速的解答,社区特发起此次【每周 FAQ】栏目,希望可以解决大家的实际问题。


关于本栏目的要点:

  1. 本栏目每周将通过腾讯文档(每周更新)从社区微信群收集 10-30 个问答,并在每周五整理具有典型代表意义的问答后发布,供大家参考。

  2. 所有人均可登录文档并提出问题,每人限 2 个提问,提问范围包括:

    1. 关于 Apache DolphinScheduler 的使用问题和技术性问题;

    2. 在实际应用中遇到的瓶颈问题;

    3. 参与社区贡献遇到的困难;

    4. 关于社区发展的疑问。

  3. 资源有限,请勿提问项目无关问题。

  4. 【每周FAQ】是一个社区互助的项目,发起宗旨是鼓励社区成员相互帮助,因此,欢迎大家积极踊跃志愿回答提出的疑问,在腾讯文档中写下答案即可。(高手们都别“潜水”了,出来露一手😜😎)

  5. 在社群里已经提问的问题,请勿在文档中重复提问,节约资源。

  6. 本栏目招募志愿者,有兴趣参与的小伙伴请加微信小助手 Leonard ds 报名。




9月2日-9月8日




DolphinScheduler 如何设置重启不补数?重启会导致 停机这段时间的任务都拉起来跑一遍。

先启动api,将定时都下线看看。

3.1.8 集群安装,都启动了,怎么没有前端呢?是前后的分开部署吗?

API server 启动就行了,不需要额外弄个 Nginx 了。

海豚能部署在ubuntu上吗?

可以。

有sql传递参数的案例吗?(场景:根据上一个sql查询出的结果,作为下一个sql脚本的in参数)

https://dolphinscheduler.apache.org/

zh-cn/docs/3.1.8/guide/parameter/

context 搜索sql 任务。

DolphinScheduler支持热部署吗?开发了新功能上线,如果停止服务在重启,间隔的这段时间很可能丢失任务,逐台重启没有什么问题吧?

逐台重启没问题,只要任务所使用的Wokrer组有Worker存活即可。

执行命令的时候使用 sudo -E 切换租户,为什么要加上 -E呢?

-E可以使其进行编辑文件夹下生成的bash

目前需要二开一个工作流任务节点的告警需求,但发现之后并没有调用告警逻辑,而是将相关信息通过netty发送到指定host, 请问这样信息是发送到哪呢?具体的接收者是谁?接收之后做具体告警动作的类方法入口在哪?

可以参考这个:企业级应用如何用 Apache DolphinScheduler 有针对性地进行告警插件开发?

Window本地部署的环境, 3.1.5版本,... createCommand, mybaisplus  insert返回的result为1, 但实际没有插入成功。MasterSchedulerBootstrap#run方法也一直没有消费到,   表现是启动工作流显示启动成功,  但没有工作流实例. 且重复启动几次总有成功的, 是随缘的。

如果可以,尽量在linux版本下运行3.1.x

版本,3.2.0 可能才会有 windows 比较好的支持 

https://github.com/apache/dolphin

scheduler/commit/c30cca9d9a03

86002437829de9310b592c6d54bb

怎么修改日志的存储路径?

查看config下的logback.xml RollingFileAppender 的 file 节点。

海豚本身没有内置DataX?

海豚是调度,Apache不允许内置任何第三方组件,需要自己装。

pydolphinscheduler 2.0.7这个版本是只能本地上传工作流吗?可以远程上传吗?

是的,这个版本只能本地,如果你可以

修改源码,可以修改这一行代码:https:

//github.com/apache/dolphinschedu

ler-sdk-python/blob/2722c80eb7d

74ae9c960c373c4b6b14fbd8bf83a

/src/pydolphinscheduler/constants.

py#L102。在2.07 的后一个版本,也就是

3.0.0 我们已经支持配置文件修改了:https://github.com/apache

/dolphinschedulersdkpython/blob/7e

d3bf9c44e285bc901ea4d133c7bdcca

a3e0116/src/pydolphinscheduler

/core/default_config.yaml#L22

DolphinScheduler配置调度任务支持循环结构,或者动态参数吗?

支持动态参数。或者看看 320 的 dynamic task 是否符合你你的需求。

admin的密码能在哪里找到,不太清楚哪里改了密码,admin用户上不去了。

数据库t_ds_user  默认采用md5加密。

DS如何限制DataX同步消耗的CPU资源?DataX跑起来,CPU动不动就跑满了。

限制不了,这是 Datax 自己的问题。建议不要用datax,而是利用linux命名管道,既不消耗内存,也不消耗cpu。

参与贡献


随着国内开源的迅猛崛起,Apache DolphinScheduler 社区迎来蓬勃发展,为了做更好用、易用的调度,真诚欢迎热爱开源的伙伴加入到开源社区中来,为中国开源崛起献上一份自己的力量,让本土开源走向全球。


参与 DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。


社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689


非新手问题列表:https://github.com/apache/dolphinscheduler/issues?q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22


如何参与贡献链接:https://dolphinscheduler.apache.org/zh-cn/community/development/contribute.html


来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的。


参与开源可以近距离与各路高手切磋,迅速提升自己的技能,如果您想参与贡献,我们有个贡献者种子孵化群,可以添加社区小助手微信(Leonard-ds) ,手把手教会您( 贡献者不分水平高低,有问必答,关键是有一颗愿意贡献的心 )。

添加社区小助手微信(Leonard-ds,好友申请注明“入交流群+姓名+公司+职位信+是否是用户”,群里是实名制,仅用于验证身份) 



如果想参与贡献,添加小助手微信时请说明想参与贡献。


来吧,开源社区非常期待您的参与。

< 🐬🐬 >
更多精彩推荐

Apache DolphinScheduler 支持使用 OceanBase 作为元数据库啦!

实操教程 | 触发器实现 Apache DolphinScheduler 失败钉钉自动告警

又一轮优秀用户案例有奖征集,快来投稿!

☞去年办了这么多场Meetup都没有你,2023年赶紧安排起来!

3.2.0 终极预告!云原生支持新增 Spark on k8S 支持

3.2.0 版本预告!远程日志解决 Worker 故障获取不到日志的问题



点击阅读转发在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论