实时数仓项目新增模拟数据生成平台

嘿，朋友们，最近我已经开始第二轮实时数仓数据湖项目更新工作了，今天我要介绍的是最近刚开发完成的数据生成平台。

该数据生成平台是一款专为实时数仓和数据湖环境设计的模拟数据生成工具。该平台能够根据用户定义的模板，自动生成符合业务场景的模拟数据，并将其写入到各种数据存储系统中，如Kafka消息队列或关系型数据库。通过这种方式，开发人员和数据分析师可以在没有真实数据的情况下，进行系统测试、性能评估和数据分析模型验证。

一、功能点介绍

目前该平台支持MySQL、Oracle、Kafka三种数据源（其他数据源还在开发中）作为目标数据源来进行模拟数据的生成写入。

1.数据源管理

在数据源管理目前可以添加Mysql,Oracle，Kafka三种数据源，用来作为后续模拟数据写入的目标库。

2. 任务管理

在任务管理模块，可以进行数据库类型、数据表或者Kafka主题的选择，同时可以指定生成数据条数，以及生产频率等信息。

3. 执行记录

在执行记录模块，可以看到任务的运行情况

二、数据生成效果查看

1.  MySQL数据库模拟数据生成效果

2. Kafka 模拟数据生成效果

欢迎添加作者交流          加入星球获取源码

推荐阅读系列文章

• 建议收藏 | Dinky系列总结篇 
• 建议收藏 | Flink系列总结篇 
• 建议收藏 | Flink CDC 系列总结篇 
• 建议收藏 | Doris实战文章合集
• 建议收藏 | Paimon 实战文章总结
• 建议收藏 | Fluss 实战文章总结
  
• 建议收藏 | Seatunnel 实战文章系列合集 
• 建议收藏 | 实时离线输数仓（数据湖）总结篇 
• 建议收藏 | 实时离线数仓实战第一阶段总结
• 超700star！电商项目数据湖建设实战代码 ，拿来即用！
• 从0到1建设电商项目数据湖实战教程
• 推荐一套开源电商项目数据湖建设实战代码