6、大数据Hadoop之——Flink中的Window API+时间语义+Watermark.docx
10墨值下载
大数据
Hadoop
之——
Flink
中的
Window API+
时间
语义
+Watermark
一、
概念
窗口（
）是处理无限流的核心。窗口将流分割成有限大小的“桶”，我们可以在
桶上应用计算。本文档重点介绍如何在
Flink
中执行窗口操作，以及程序员如何从其提
供的功能中获得最大的好处。
一个有窗口的
Flink
程序的一般结构如下所示。第一个片段指的是键控流，而第二个片
段指的是非键控流。可以看到，唯一的区别是
调用键流，而
调用非键流的
。这也将作为页面其余部分的路标。
stream
.keyBy(...) <- keyed versus non-keyed windows
.window(...) <- required: "assigner"
[.trigger(...)] <- optional: "trigger" (else
default trigger)
[.evictor(...)] <- optional: "evictor" (else no
evictor)
[.allowedLateness(...)] <- optional: "lateness" (else
zero)
[.sideOutputLateData(...)] <- optional: "output tag" (else
no side output for late data)
.reduce/aggregate/apply() <- required: "function"
[.getSideOutput(...)] <- optional: "output tag"
stream
.windowAll(...) <- required: "assigner"
[.trigger(...)] <- optional: "trigger" (else
default trigger)
[.evictor(...)] <- optional: "evictor" (else no
evictor)
[.allowedLateness(...)] <- optional: "lateness" (else
zero)
[.sideOutputLateData(...)] <- optional: "output tag" (else
no side output for late data)
.reduce/aggregate/apply() <- required: "function"
[.getSideOutput(...)] <- optional: "output tag"
一般真实的流都是无界的，怎样处理无界的数据？
在自然环境中，数据的产生原本就是流式的。无论是来自
Web
服务器的事件数据，证
券交易所的交易数据，还是来自工厂车间机器上的传感器数据，其数据都是流式的。但
是当你 分析数据时，可以围绕 有界流（
bounded
）或 无界流（
unbounded
）两种
模型来组织处理数据，当然，选择不同的模型，程序的执行和处理方式也都会不同。
上面图片来源：
https://nightlies.apache.org/ink/ink-docs-release-
1.14/zh/docs/learn-ink/overview/
可以把无限的数据流进行切分，得到有限的数据集进行处理 —— 也
就是得到有界流
窗口（
window
）就是将无限流切割为有限流的一种方式，它会将流
数据分发到有限大小的桶（
bucket
）中进行分析
二、 时间窗口（
）
官方文档
）滚动窗口（
）
翻转窗口赋值器将每个元素赋值给一个指定窗口大小的窗口。滚动的窗口有固定的尺寸，
而且不重叠。例如，如果您指定一个大小为
5
分钟的滚动窗口，则当前窗口将被评估，
并每
5
分钟启动一个新窗口，如下图所示：
of 38
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
最新上传
相关文档
评论