Flink中的时间和窗口-CSDN博客

Flink中的时间和窗口

在传统的批处理系统中我们可以等到一批数据全部都到齐了之后对其做相关的计算但是在实时处理系统中数据是源源不断的正常情况下我们就得来一条处理一条。那么我们应该如何统计某个实时数据源中最近一段时间内的数据呢
在Flink的观念中引入了“窗口”的概念。所谓的“窗口”一般就是划定的一段时间范围也就是“时间窗”对在这范围内的数据进行处理就是所谓的窗口计算。所以窗口和时间往往是分不开的。

一、窗口Window

1.正确的理解窗口

简单来说Flink是一个流式计算引擎主要用来处理无界数据流的数据源源不断、无穷无尽想要方便高效的处理这种无界数据流一种方式就是将这种无界数据划分为多个有界的"数据块"这其实就是窗口(Window)。
Flink中的窗口并不是提前创建好了的而是动态创建的当有落在这个窗口区间范围 的数据达到时才创建对应的窗口。另外这里我们认为到达窗口结束时间时窗口就触发计算并关闭事实上“触发计算”和“窗口关闭”两个行为也可以分开。

2.窗口的分类

1按照驱动类型分
窗口本身是截取有界数据的一种方式所以窗口一个非常重要的信息其实就是“怎样截取数据”。换句话说 就是以什么标准来开始和结束数据的截取我们把它叫作窗口的“驱动类型”。
1时间窗口Time Window
时间窗口以时间点来定义窗口的开始start和结束end所以截取出的就是某一时间段的数据。到达结束时间时窗口不再收集数据触发计算输出结果并将窗口关闭销毁。
2计数窗口Count Window
计数窗口基于元素的个数来截取数据到达固定的个数时就触发计算并关闭窗口。每个窗口截取数据的个数 就是窗口的大小。

通过上面的图我们可以看到时间窗口的时间固定计数窗口的计数固定。
其实到这里我们可以进一步正确的理解窗口在Flink中窗口其实并不是一个“框”它更加像一个“桶”在Flink中窗口可以把流切割为有限大小的多个“存储桶”bucket流中的每一个数据都会进入到对应的桶中当窗口的结束时间到达时就会关闭桶并且对桶中的数据进行收集计算也就是所谓的窗口计算。
2按照窗口分配数据的规则分类
根据分配数据的规则窗口的具体实现可以分为 4 类滚动窗口Tumbling Window、 滑动窗口Sliding Window、会话窗口Session Window以及全局窗口Global Window。
滚动窗口Tumbling Window
滚动窗口可以基于时间定义也可以基于数据个数定义需要的参数只有一个 就 是 窗 口 的 大 小 window size。比如我们可以定义一个长度为1小时的滚动时间窗口 那么每个小时就会进行一次统计或者定义一个长度为10的滚动计数窗口就会每10个数进行一次统计。
可以看出滚动窗口的应用非常广泛它可以对每个时间段的数据做统计计算。

滑动窗口Sliding Window
滑动窗口的大小也是固定的。但是窗口之间并不是首尾相接的而是可以“错开”一定的位置。 定义滑动窗口的参数有两个除去窗口大小window size之外还有一个“滑动步长”window slide 它其实就代表了窗口计算的频率。窗口在结束时间触发计算输出结果那么滑动步长就代表了计算频率。
当滑动步长小于窗口大小时滑动窗口就会出现重叠 这时数据也可能会被同时分配 到多个窗口中。而具体的个数 就由窗口大小和滑动步长的比 值size/slide来决定。 滚动窗口也可以看作是一 种特殊的滑动窗口——窗口大小等于滑动步长size = slide。 滑动窗口适合计算结果更新 频率非常高的场景。
相比滚动窗口而言滚动窗口可以做每个时间段的计算滑动窗口就更适合做最近一个时间段的计算。

会话窗口Session Window
会话窗口是基于“会话”session来来对数据进行分组的。会话窗口只能基于时间来定义。 会话窗口中最重要的参数就是会话的超时时间也就是两个会话窗口之间的最小距离。如果相邻两个数据到来的时间间隔Gap小于指定的大小size那说明还在保持会话它们就属于同一个窗口如果gap大于size 那么新来的数据就应该属于新的会话窗口而前一个窗口就应该关闭了。
会话窗口的长度不固定 起始和结束时间也是不确定 的各个分区之间窗口没有 任何关联。会话窗口之间一 定是不会重叠的而且会留 有至少为size的间隔session gap。在一些类似保持会话的场 景下可以使用会话窗口来进 行数据的处理统计。

全局窗口Global Windows
“全局窗口”这种窗口全局有效会把相同key的所有数据都分配到同一个窗口中。这种窗口没有结束的时候 默认是不会做触发计算的。如果希望它能对数据进行计算处理还需要自定义“触发器”Trigger。
全局窗口没有结束的 时间点所以一般在希望 做更加灵活的窗口处理时 自定义使用。Flink中的计数窗口Count Window 底层就是用全局窗口实现的。

二、时间语义

到底是以那种时间作为衡量标准就是所谓的“时间语义”。
在实际应用中事件时间语义会更为常见。一般情况下业务日志数据中都会记录数据生成的时间戳timestamp它就可以作为事件时间的判断基础。 在 Flink 中由于处理时间比较简单早期版本默认的时间语义是处理时间而考虑到事件时间在实际应用中更为广泛从 Flink1.12 版本开始Flink 已经将事件时间作为默认的时间语义了。