flink学习笔记（4）-状态和一致性模型

状态

1. 有状态算子：传入事件+内部状态=算输出（新的内部状态）

2. 注意问题：内部状态无限增长

3. 限制状态大小方式

    （1）一个数值

    （2）一个累加值

    （3）全部事件的抽样

    （4）一个窗口缓存

    （5）某些有价值的值等

    4.之前处理方式

    （1）将流处理进行小批处理，状态写入持久化存储

    （2）一个作业结束，所有状态将不存在

    5.现在处理方式

    （1）状态管理，高效管理状态，保证不受并发影响

    （2）状态划分

• 结果需要同时依赖事件和内部状态

• 很多情况可以按照键值进行划分

    （3）状态恢复

• 最大挑战

• 有状态算子需要保证状态可以恢复

• 即使出现故障也能保证结果正确

欢迎大家关注、点赞、收藏！分享知识！

奇迹的出现往往就在再坚持一下的时候！