一种跨Kafka集群的数据转换系统和方法_CN111262915B_东方金信.pdf

波风水门

10页

0次

2024-02-29

免费下载

(19)中华人民共和国国家知识产权局

(12)发明专利

(10)授权公告号

(45)授权公告日

(21)申请号 202010025376.3

(22)申请日 2020.01 .10

(65)同一申请的已公布的文献号

申请公布号 CN 111262915 A

(43)申请公布日 2020.06 .09

(73)专利权人北京东方金信科技有限公司

地址 100062 北京市东城区白桥大街15号

嘉禾国信大厦9层

(72)发明人赵宇　

(74)专利代理机构北京纪凯知识产权代理有限

公司 11245

代理人冀志华

(51)Int.Cl.

H04L

29/08

(2006 .01)

(56)对比文件

CN 106776715 A ,2017 .05 .31

CN 109800259 A ,2019 .05 .24

CN 108255913 A ,2018 .07 .06

CN 110362544 A ,2019 .10 .22

CN 109388677 A ,2019 .02 .26

CN 109684370 A ,2019 .04 .26

CN 107391719 A ,2017 .11 .24

CN 106777141 A ,2017 .05 .31

CN 108833443 A ,2018 .11 .16

US 2018181583 A1 ,2018 .06 .28

CN 105718507 A ,2016 .06 .29

悟寰轩-叶秋 .kafka跨集群同步方案——

kafka内置的MirrorMaker工具 .《cnblogs.con/

sunxucool/p/3913131 .html》.2014 ,

哥不是小萝莉 .kafka数据迁移.

《cnblogs.com/smartloli/p/10551165.html》

.2019 ,

审查员龙云璐

(54)发明名称

一种跨Kafka集群的数据转换系统和方法

(57)摘要

本发明涉及一种跨Kafka集群的数据转换系

统和方法，包括以下步骤：1)搭建跨Kafka集群的

数据转换系统，包括数据转换模块、第一集群和

第二集群，第一集群和第二集群均包括生产者和

消费者，令第一集群的生产者生产数据，第二集

群的生产者接收数据；2)启动第一集群和第二集

群的Kafka服务，在第一集群的生产者中生产数

据；3)第一集群的消费者从第一集群的生产者中

提取消息数据块；4)对提取的消息数据进行格式

转换，得到符合第二集群数据格式要求的数据；

5)将符合第二集群格式要求的数据发送到第二

集群的生产者，供第二集群Kafka服务的消息流

转使用。本发明可以广范应用于Kafka数据传输

领域。

权利要求书3页说明书5页附图1页

CN 111262915 B

2020.09.22

CN 111262915 B

1 .一种跨Kafka集群的数据转换系统，其特征在于：其包括：

数据转换模块，所述数据转换模块与需要进行数据交换、且数据格式不同的第一集群

和第二集群相连；

所述第一集群包括第一生产者端和第一消费者端，所述第一生产者端用于生产消息数

据；所述第一消费者端用于对所述第一生产者端生产的消息数据进行提取，并发送到所述

数据转换模块；

所述数据转换模块用于对接收到的消息数据进行数据格式转换，生成满足所述第二集

群数据格式要求的消息数据后发送到所述第二集群；

所述第二集群包括第二生产者端和第二消费者端，所述第二生产者端用于接收所述数

据转换模块发送的消息数据，并在所述第二消费者端进行消息流转；

所述数据转换模块包括分类模块、过滤模块、映射关系建立模块和格式转换模块；

所述分类模块用于根据数据格式类型对数据进行分类，分为关键值、属性值和消息体

三类；

所述过滤模块用于对所述第一集群的第一消费者端提取的消息数据进行过滤，得到所

述消息数据的关键值、属性值和消息体数据；

所述映射关系建立模块用于根据所述第一集群和第二集群的数据格式要求，建立所述

第一集群和第二集群中关键值和属性值的对应关系，并发送到所述格式转换模块；

所述格式转换模块用于根据所述第一集群和第二集群中关键值和属性值的对应关系，

将所述消息数据的消息体数据与所述第二集群对应的关键值和属性值进行组合，得到满足

所述第二集群数据格式要求的消息数据。

2.如权利要求1所述的一种跨Kafka集群的数据转换系统，其特征在于：所述过滤模块

包括关键值识别模块、属性值识别模块和消息体读取模块；

所述关键值识别模块用于对所述第一消费者端提取的消息数据进行关键值提取，并将

得到的关键值发送到所述消息体读取模块；

所述属性值识别模块用于对所述第一消费者端提取的消息数据进行属性值提取，并将

得到的属性值发送到所述消息体读取模块；

所述消息体读取模块用于根据确定的关键值和属性值从所述第一消费者端提取的消

息数据中提取消息体数据。

3 .如权利要求1所述的一种跨Kafka集群的数据转换系统，其特征在于：所述格式转换

模块包括消息体数据复制模块、关键值转换模块以及属性值转换模块；

所述消息体数据复制模块用于将所述过滤模块得到的消息体数据复制到所述第二集

群的第二生产者端；

所述关键值转换模块用于根据所述第一集群和第二集群中关键值映射关系，将所述第

一集群的关键值转换为所述第二集群的关键值，并将得到的第二集群的关键值与所述消息

体数据进行组合，得到初始消息数据；

所述属性值转换模块用于根据所述第一集群和第二集群中属性值映射关系，将所述第

一集群的属性值转换为所述第二集群的属性值，并将得到的所述第二集群的属性值与所述

初始消息数据进行组合，得到符合所述第二集群数据格式要求的数据。

4 .如权利要求1所述的一种跨Kafka集群的数据转换系统，其特征在于：所述数据转换

权　利　要　求　书

1/3 页

CN 111262915 B

模块还包括数据加密模块和数据解密模块，所述数据加密模块设置在所述第一集群的第一

消费者端，用于对所述第一集群的第一消费者端提取的消息数据进行加密；所述数据解密

模块设置在所述第二集群的第二生产者端，用于对所述第二集群中的第二生产者端接收到

的消息数据进行解密。

5 .一种跨Kafka集群的数据转换方法，其特征在于包括以下步骤：

1)搭建跨Kafka集群的数据转换系统，其包括数据转换模块以及与数据转换模块相连

的数据格式不同的第一集群和第二集群，所述第一集群和第二集群均包括生产者和消费

者，且令第一集群的生产者用于生产数据，第二集群的生产者用于接收数据；

2)启动第一集群和第二集群的Kafka服务，在第一集群的生产者中生产数据；

3)第一集群的消费者从第一集群的生产者中提取消息数据，并发送到数据转换模块；

4)数据转换模块根据第二集群的数据格式要求，对提取出的消息数据进行格式转换，

得到符合第二集群数据格式要求的数据；

所述步骤4)中，数据转换模块根据第二集群的数据格式要求，对提取出的消息数据进

行格式转换，得到符合第二集群数据格式要求的数据的方法，包括以下步骤：

4 .1)根据数据格式类型不同，将数据分为关键值、属性值和消息体三类；

4 .2)根据第一集群和第二集群的数据格式要求，建立第一集群和第二集群中关键值和

属性值的对应关系；

4 .3)对第一集群的消费者提取的消息数据进行过滤，得到所述消息数据的关键值、属

性值和消息体数据；

4 .4)根据第一集群和第二集群中关键值和属性值的对应关系，将第一集群的关键值和

属性值转换为第二集群的关键值和属性值，并将转换后的关键值和属性值与消息数据的消

息体数据进行组合，得到满足第二集群数据格式要求的消息数据；

5)将符合第二集群格式要求的数据发送到第二集群的生产者，供第二集群Kafka服务

的消息流转使用。

6 .如权利要求5所述的一种跨Kafka集群的数据转换方法，其特征在于：所述步骤4 .3)

中，对第一集群的消费者提取的消息数据进行过滤，得到所述消息数据的关键值、属性值和

消息体数据的方法，包括以下步骤：

4 .3 .1)对第一集群的消费者提取出的消息数据进行格式识别，得到所述消息数据的关

键值和属性值；

4 .3 .2)根据得到的消息数据的关键值和属性值，确定所述消息数据的消息体数据。

7 .如权利要求5所述的一种跨Kafka集群的数据转换方法，其特征在于：所述步骤4 .4)

中，根据第一集群和第二集群中关键值和属性值的对应关系，将第一集群的关键值和属性

值转换为第二集群的关键值和属性值，并将转换后的关键值和属性值与消息数据的消息体

数据进行组合，得到满足第二集群数据格式要求的消息数据的方法，包括以下步骤：

4 .4 .1)对第一集群的消息体数据进行遍历，将过滤模块得到的消息体数据复制到第二

集群的第二生产者端；

4 .4 .2)根据第一集群和第二集群中关键值映射关系，将第一集群的关键值转换为第二

集群的关键值，并将得到的第二集群的关键值与消息体数据进行组合，得到初始消息数据；

4 .4 .3)根据第一集群和第二集群中属性值映射关系，将第一集群的属性值转换为第二

权　利　要　求　书

2/3 页

CN 111262915 B

of 10

免费下载

相关文档

评论