暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Apache DolphinScheduler 支持 Flink 吗?

海豚调度 2024-04-29
977

点击蓝字

关注我们

转载自笨羊羊
随着大数据技术的快速发展,很多企业开始将Flink引入到生产环境中,以满足日益复杂的数据处理需求。而作为一款企业级的数据调度平台,Apache DolphinScheduler也跟上了时代步伐,推出了对Flink任务类型的支持。
Flink是一个开源的分布式流处理框架,具有高吞吐量、低延迟和准确性等特点,广泛应用于实时数据分析、机器学习等场景。通过DolphinScheduler的Flink任务类型,用户可以轻松地将Flink作业纳入到整个数据调度流程中,大大提高了数据处理的效率和可靠性。本文将介绍如何在DolphinScheduler中支持Flink节点,包括任务创建、设置等。

01

Flink节点


Flink 任务类型,用于执行 Flink 程序。对于 Flink 节点:
  • 当程序类型为 Java、Scala 或 Python 时,worker 使用 Flink 命令提交任务 flink run。
  • 当程序类型为 SQL 时,worker 使用sql-client.sh 提交任务。

02

创建任务


  • 点击项目管理-项目名称-工作流定义,点击“创建工作流”按钮,进入 DAG 编辑页面;
  • 拖动工具栏的 任务节点到画板中。

03

任务参数

04

任务样例

执行 WordCount 程序
本案例为大数据生态中常见的入门案例,常应用于 MapReduce、Flink、Spark 等计算框架。主要为统计输入的文本中,相同的单词的数量有多少。

1.在 DolphinScheduler 中配置 Flink 环境

若生产环境中要是使用到 flink 任务类型,则需要先配置好所需的环境。配置文件如下:bin/env/dolphinscheduler_env.sh。

2.任务流程

  • 上传主程序包
在使用 Flink 任务节点时,需要利用资源中心上传执行程序的 jar 包。
当配置完成资源中心之后,直接使用拖拽的方式,即可上传所需目标文件。

  • 配置 Flink 节点
根据上述参数说明,配置所需的内容即可。

  • 执行 FlinkSQL 程序
根据上述参数说明,配置所需的内容即可。

05

注意事项


  • Java 和 Scala 只是用来标识,没有区别,如果是 Python 开发的 Flink 则没有主函数的 class,其余的都一样。
  • 使用 SQL 执行 Flink SQL 任务,目前只支持 Flink 1.13及以上版本。
原文链接:https://blog.csdn.net/zhengzaifeidelushang/article/details/136687233

< 🐬🐬 >
精彩推荐

用户实践案例
奇富科技  蜀海供应链 联通数科 拈花云科
蔚来汽车 长城汽车 集度 长安汽车
思科网讯 生鲜电商 联通医疗 联想
新网银行 消费金融  腾讯音乐 自如
有赞 伊利 当贝大数据
联想 传智教育 Bigo
通信行业  作业帮


迁移实践
Azkaban   Ooize   
Airflow (有赞案例) Air2phin(迁移工具)
Airflow迁移实践
Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程


新手入门
选择Apache DolphinScheduler的10个理由
Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏!
Apache DolphinScheduler 如何实现自动化打包+单机/集群部署?
Apache DolphinScheduler-3.1.3 版本安装部署详细教程
Apache DolphinScheduler 在大数据环境中的应用与调优
< 🐬🐬 >
参与社区
参与Apache DolphinScheduler 社区有非常多的参与贡献的方式,包括:


贡献第一个PR(文档、代码) 我们也希望是简单的,第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表:https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表:https://github.com/apache/dolphinscheduler/issues?
q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

参与社区贡献:https://dolphinscheduler.apache.org/zh-cn/community

来吧,DolphinScheduler开源社区需要您的参与,为中国开源崛起添砖加瓦吧,哪怕只是小小的一块瓦,汇聚起来的力量也是巨大的!


我知道你在看

文章转载自海豚调度,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论