Flink 源码编译

Ollama 简介及安装部署

Spark 源码 | 脚本分析总结

本文从API层面学习总结Spark RPC,暂不涉及源码分析。

学习Spark源码绕不开通信，Spark通信是基于Netty实现的，所以先简单学习总结一下Netty。

本文总结源码 tag/tagLocation ，对应功能：根据索引信息判断记录是否存在，如果不存在，代表是新增数据，如果记录存在则代表是更新数据，需要找到并设置 currentLocation。

本文将介绍索引 API，并探讨各种类型的索引。

Parquet布隆过滤器写入过程

1. 主要为之前总结的源码文章补充流程图。 2. 总结一下整体流程

主要总结 Flink 重启策略

研究总结 Hudi extraMetadata ，记录研究过程。

Hudi CLI 安装配置总结

总结 Hudi Spark Sql Procedures Rollback

记录一个 Hudi HBase 依赖冲突问题及解决方案

之前很少用MOR表，现在来学习总结一下。首先总结一下 compaction 遇到的问题。

Spark Client 配置

记录总结一下 Hive 表如何添加新的字段以及遇到的问题。

在多台服务器上并发执行相同命令

平时工作中主要用 YARN 模式，最近进行TPC测试用到了 Standalone 模式，便记录总结一下

Linux 批量添加 known_hosts

Apache Hudi 0.14.0 标志着一个重要的里程碑，具有一系列新功能和增强功能

总结一下 Flink 项目代码打印日志的配置

Flink源码分析 | 读取HBase配置

对于Flink中各个组件（JobMaster、TaskManager、Dispatcher等），其底层RPC框架基于Akka实现，本文着重分析Flink中的Rpc框架实现机制及梳理其通信流程。

总结 Flink 读写 HBase

前面的 文章 我们介绍了 StreamGraph 的生成，这个实际上只对应 Flink 作业在逻辑上的执行计划图。Flink 会进一步对 StreamGraph 进行转换，得到另一个执行计划图，即 JobGraph。

本文主要总结 Flink 的 Transformation、StreamOperator, 写Hudi与 Transformation、StreamOperator的关系， StreamGraph 和 JobGraph 的生成构建过程。

本文主要介绍Function 被调用的流程以及对应的方法如何被调用的

Flink StreamGraph 的生成

记录几个Hudi Flink使用问题，学习和使用Hudi Flink有一段时间，虽然目前用的还不够深入，但是目前也遇到了几个问题，现在将遇到的这几个问题以及解决方式记录一下

杭州的朋友看这里，这里有场活动邀请你参加

对大部分用户来说，为 Flink 算子配置合适的并行度并不是一件容易的事。对于批作业，小的并行度会导致作业运行时间长，故障恢复慢，而不必要的大并行度会导致资源浪费，任务部署和数据 shuffle 开销也会变大。

本着学习hudi-flink源码的目的，利用之前总结的文章Hudi Flink SQL代码示例及本地调试中的代码进行调试,记录调试学习过程中主要的步骤及对应源码片段

FlinkSQL的字段血缘解决方案

总结Flink读写Kafka

Hudi Flink SQL代码示例及本地调试

前言 总结Flink通过DataStream API读写Hudi Demo示例，主要是自己备忘用

结合官网文档和自定义实现一个flink-http-connector，来学习总结Flink用户自定义连接器（Table API Connectors）

数据湖知识体系解析

学习总结Flink MySQL CDC，主要目的是同步MySQL数据至其他数据源如Hudi、MySQL等，本文主要以 MySQL2Hudi、MySQL2MySQL两个场景进行示例验证

Apache Hudi 0.13.0 版本引入了许多新功能，包括 Metaserver[1]、变更数据捕获[2]、新的 Record Merge API[3]、Deltastreamer支持新数据源[4]等。

学习总结Flink SQL Checkpoint的使用，主要目的是为了验证Flink SQL流式任务挂掉后，重启时还可以继续从上次的运行状态恢复

本文主要叙述下如何将 Apache Hudi Metrics 接入 Prometheus，开发人员通过对监控指标的观察能够预判可能出现的问题，从而对潜在的不确定因素进行优化，使我们的数据湖任务运行更加健康。

今天继续给大家分享Docker实战，Centos8环境下安装nginx并配置SSL

你曾经是否有构建一个开源数据湖[1]来存储数据以进行分析需求？数据湖包括哪些组件和功能？

前面总结了Spark SQL增量查询Hudi表和Hive增量查询Hudi表。最近项目上也有Flink SQL增量查询Hudi表的需求，正好学习总结一下

今天继续给大家分享Docker实战，Centos8环境下安装nginx并配置SSL

本篇描述并实践了如何通过 Hint 将 hudi relation 使用的参数传递给指定的表，而不使用类似时间旅行的语法增强的方式将 hudi 的功能 sql 化，也可以达到表级别的参数设置