70. dolphinscheduler 定时任务编写详细教程

大数据技能圈 2023-04-17

586

1. 项目管理

1.1 创建项目

点击"项目管理"进入项目管理页面，点击“创建项目”按钮，输入项目名称，项目描述，点击“提交”，创建新的项目。

1.2 项目首页

在项目管理页面点击项目名称链接，进入项目首页，如下图所示，项目首页包含该项目的任务状态统计、流程状态统计、工作流定义统计。这几个指标的说明如下

•任务状态统计：在指定时间范围内，统计任务实例中状态为提交成功、正在运行、准备暂停、暂停、准备停止、停止、失败、成功、需要容错、kill、等待线程的个数

•流程状态统计：在指定时间范围内，统计工作流实例中状态为提交成功、正在运行、准备暂停、暂停、准备停止、停止、失败、成功、需要容错、kill、等待线程的个数

•工作流定义统计：统计用户创建的工作流定义及管理员授予该用户的工作流定义

2. 任务定义

2.1 批量任务定义

批量任务定义允许您在基于任务级别而不是在工作流中操作修改任务。再此之前，我们已经有了工作流级别的任务编辑器，你可以在工作流定义
单击特定的工作流，然后编辑任务的定义。当您想编辑特定的任务定义但不记得它属于哪个工作流时，这是令人沮丧的。所以我们决定在任务菜单下添加任务定义视图。

在该视图中，您可以通过单击操作列中的相关按钮来进行创建、查询、更新、删除任务定义。最令人兴奋的是您可以通过通配符进行全部任务查询，当您只
记得任务名称但忘记它属于哪个工作流时是非常有用的。也支持通过任务名称结合使用任务类型或工作流程名称进行查询。

2.2 实时任务定义

实时任务定义在工作流定义中创建，在任务定义页面可以进行修改和执行。

点击实时任务执行，检查执行参数后点击确认，即可提交实时任务。

3. 任务实例

3.1 批量任务实例

•点击项目管理->工作流->任务实例，进入任务实例页面，如下图所示，点击工作流实例名称，可跳转到工作流实例DAG图查看任务状态。

•查看日志：点击操作列中的“查看日志”按钮，可以查看任务执行的日志情况。

3.2 实时任务实例

•切换到实时任务实例页面，如下图所示：

•SavePoint：点击操作列中的SavePoint按钮，可以进行实时任务的SavePoint。

•Stop：点击操作列中的Stop按钮，可以停止该实时任务。

4. 工作流定义

4.1 创建工作流定义

•点击项目管理->工作流->工作流定义，进入工作流定义页面，点击“创建工作流”按钮，进入工作流DAG编辑页面，如下图所示：

•工具栏中拖拽到画板中，新增一个Shell任务,如下图所示：

•添加 Shell 任务的参数设置：

‍填写“节点名称”，“描述”，“脚本”字段；
“运行标志”勾选“正常”，若勾选“禁止执行”，运行工作流不会执行该任务；
选择“任务优先级”：当 worker 线程数不足时，级别高的任务在执行队列中会优先执行，相同优先级的任务按照先进先出的顺序执行；
超时告警（非必选）：勾选超时告警、超时失败，填写“超时时长”，当任务执行时间超过超时时长，会发送告警邮件并且任务超时失败；
资源（非必选）：资源文件是资源中心->文件管理页面创建或上传的文件，如文件名为 test.sh，脚本中调用资源命令为 sh test.sh。注意调用需要使用资源的全路径；
自定义参数（非必填）；
点击"确认添加"按钮，保存任务设置。‍

•配置任务之间的依赖关系： 点击任务节点的右侧加号连接任务；如下图所示，任务 Node_B 和任务 Node_C 并行执行，当任务 Node_A 执行完，任务 Node_B、Node_C 会同时执行。

•实时任务的依赖关系： 若DAG中包含了实时任务的组件，则实时任务的关联关系显示为虚线，在执行工作流实例的时候会跳过实时任务的执行

•删除依赖关系： 点击右上角"箭头"图标，选中连接线，点击右上角"删除"图标，删除任务间的依赖关系。

•保存工作流定义： 点击”保存“按钮，弹出"设置DAG图名称"弹框，如下图所示，输入工作流定义名称，工作流定义描述，设置全局参数（选填），点击"添加"按钮，工作流定义创建成功。

•执行策略

•并行：如果对于同一个工作流定义，同时有多个工作流实例，则并行执行工作流实例。

•串行等待：如果对于同一个工作流定义，同时有多个工作流实例，则串行执行工作流实例。

•串行抛弃：如果对于同一个工作流定义，同时有多个工作流实例，则抛弃后生成的工作流实例并杀掉正在跑的实例。

•串行优先：如果对于同一个工作流定义，同时有多个工作流实例，则按照优先级串行执行工作流实例。

4.2 工作流定义操作功能

点击项目管理->工作流->工作流定义，进入工作流定义页面，如下图所示:

工作流定义列表的操作功能如下：

•编辑： 只能编辑"下线"的工作流定义。工作流DAG编辑同创建工作流定义。

•上线： 工作流状态为"下线"时，上线工作流，只有"上线"状态的工作流能运行，但不能编辑。

•下线： 工作流状态为"上线"时，下线工作流，下线状态的工作流可以编辑，但不能运行。

•运行： 只有上线的工作流能运行。运行操作步骤见运行工作流

•定时： 只有上线的工作流能设置定时，系统自动定时调度工作流运行。创建定时后的状态为"下线"，需在定时管理页面上线定时才生效。定时操作步骤见工作流定时

•定时管理： 定时管理页面可编辑、上线/下线、删除定时。

•删除： 删除工作流定义。在同一个项目中，只能删除自己创建的工作流定义，其他用户的工作流定义不能进行删除，如果需要删除请联系创建用户或者管理员。

•下载： 下载工作流定义到本地。

•树形图： 以树形结构展示任务节点的类型及任务状态，如下图所示：

4.3 运行工作流

•点击项目管理->工作流->工作流定义，进入工作流定义页面，如下图所示，点击"上线"按钮，上线工作。

•点击”运行“按钮，弹出启动参数设置弹框，如下图所示，设置启动参数，点击弹框中的"运行"按钮，工作流开始运行，工作流实例页面生成一条工作流实例。

工作流运行参数说明：

•失败策略：当某一个任务节点执行失败时，其他并行的任务节点需要执行的策略。”继续“表示：某一任务失败后，其他任务节点正常执行；”结束“表示：终止所有正在执行的任务，并终止整个流程。

•通知策略：当流程结束，根据流程状态发送流程执行信息通知邮件，包含任何状态都不发，成功发，失败发，成功或失败都发。

•流程优先级：流程运行的优先级，分五个等级：最高（HIGHEST），高(HIGH),中（MEDIUM）,低（LOW），最低（LOWEST）。当 master 线程数不足时，级别高的流程在执行队列中会优先执行，相同优先级的流程按照先进先出的顺序执行。

•Worker 分组：该流程只能在指定的 worker 机器组里执行。默认是 Default，可以在任一 worker 上执行。

•通知组：选择通知策略||超时报警||发生容错时，会发送流程信息或邮件到通知组里的所有成员。

•启动参数: 在启动新的流程实例时，设置或覆盖全局参数的值。

•补数：指运行指定日期范围内的工作流定义，根据补数策略生成对应的工作流实例，补数策略包括串行补数、并行补数 2 种模式。

日期可以通过页面选择或者手动输入，日期范围是左关右关区间(startDate <= N <= endDate)

–串行补数：指定时间范围内，从开始日期至结束日期依次执行补数，依次生成多条流程实例；点击运行工作流，选择串行补数模式：例如从7月 9号到7月10号依次执行，依次在流程实例页面生成两条流程实例。

–并行补数：指定时间范围内，同时进行多天的补数，同时生成多条流程实例。手动输入日期：手动输入以逗号分割日期格式为 yyyy-MM-dd HH:mm:ss 的日期。点击运行工作流，选择并行补数模式：例如同时执行7月9号到7月10号的工作流定义，同时在流程实例页面生成两条流程实例(执行策略为串行时流程实例按照策略执行)。

–并行度：是指在并行补数的模式下，最多并行执行的实例数。例如同时执行7月6号到7月10号的工作流定义，并行度为2，那么流程实例为：

–依赖模式：是否触发下游依赖节点依赖到当前工作流的工作流实例的补数（要求当前补数的工作流实例的定时状态为已上线，只会触发下游直接依赖到当前工作流的补数）。

–日期选择：

1. 通过页面选择日期：2. 手动输入：–补数与定时配置的关系：

1. 未配置定时或已配置定时并定时状态下线：根据所选的时间范围结合定时默认配置(每天0点)进行补数，比如该工作流调度日期为7月7号到7月10号，流程实例为：2. 已配置定时并定时状态上线：根据所选的时间范围结合定时配置进行补数，比如该工作流调度日期为7月7号到7月10号，配置了定时（每日凌晨5点运行），流程实例为：