暂无图片
有什么免费好用,易配置的从MYSQL 同步数据 到 (MYSQL,REDIS,CLICKHOUSE,ES)的?
我来答
分享
暂无图片 匿名用户
有什么免费好用,易配置的从MYSQL 同步数据 到 (MYSQL,REDIS,CLICKHOUSE,ES)的?

不需要学习JAVA, LUA等什么配置语法

我来答
添加附件
收藏
分享
问题补充
2条回答
默认
最新
大大刺猬

有免费的, 好不好用我就不知道了… 使用PYTHON写的开源的数据同步工具, 支持从mysql同步到mysql/oracle, 到其它库需要自己写接口
项目地址: https://github.com/ddcw/ddcw/tree/master/python/%E6%95%B0%E6%8D%AE%E5%90%8C%E6%AD%A5

原理

producer 通过日志把数据抽取到 kafka. partition 0 记录数据, partition1 记录当前的日志号

然后consumer把kafka里面的数据 拼接成sql 写入数据库. 并记录已写入的事务,方便下次继续.目前是每个事务都flush一次, 后面可以用参数控制(按时间, 事务数量, 系统自动刷新).

暂无图片 评论
暂无图片 有用 1
打赏 0
Willson_Li

ai回答的

SymmetricDS:支持从 MySQL 到多个其他数据库(包括 Redis、ClickHouse、Elasticsearch)的同步,具有可视化界面和易于使用的配置。

mysql-to-redis:一款用于将 MySQL 数据同步到 Redis 的脚本,支持增量同步和定时任务等功能。

Mydumper+mysql2redis:一个开源项目,可以将 MySQL 数据库导出为 CSV 文件,然后使用 mysql2redis 工具将其转换为 Redis 数据库中的键值对。

Clickhouse-JDBC-Driver:这是一个基于 JDBC 驱动程序的 ClickHouse 数据源,可以与 MySQL 数据库一起使用,并提供了一些方便的功能,如自动表模式匹配和 SQL 兼容性等。

ElasticSync:一个基于 Logstash 的开源工具,可实现 MySQL、Redis、Elasticsearch 等多种数据源之间的实时数据同步。它具有高度可扩展性和容错能力,并提供了多种插件和过滤器来满足不同的同步需求。

暂无图片 评论
暂无图片 有用 0
打赏 0
回答交流
Markdown


请输入正文
提交
相关推荐
MySQL 定时器能和触发器一起使用吗?
回答 1
可以啊。event与trigger完全可以一起使用。但这两个功能都不推荐生产环境使用。event可以应用程序调度实现trigger也可以由应用程序触发。
mysql中有子事务吗?
回答 1
好像没有这个概念
关于autoextend说明
回答 1
只有最后一个是自动扩容的从语法角度看是只有ibdata2是自动扩容,毕竟和ibdata1是使用分号隔开的.
想请问下各位大佬,我在monitor里show tables看不到mysql_server_connect_log这个表,但是select * from monitor.mysql_server_connect_log limit 1;却有值,怎么回事?
回答 2
hikevin:您好!是的重启之后就能看到了,谢谢。(不知道原因,但是不影响后边的测试了)
MySQL 表数据才五万不到,根据字段匹配更新两千条数据很慢,怎么处理?
回答 1
1、看下执行计划2、看下执行时候的cpu、内存、io情况。
向各位请教:mysql运行需要多少内存和cpu,在官网上有指导建议吗?我没找到呢!
回答 2
这个明确没有说明。但目前使用场景来看。操作系统基本要预留2G4G的内存。MySQL设置多少内存和cpu,需要看下实际需要是什么样的。一般最低配置4C,4G/4C8G/。。。32C128G等。sysbe
MySQL事务的ACID是怎么保证的?
回答 2
已采纳
MySQL事务的ACID,其中(C)一致性是最终目的。保证一致性的措施有:A原子性:靠undolog来保证(异常或执行失败后进行回滚)。D持久性:靠redolog来保证(保证当MySQL宕机或停电后,
mysql表里的数据统计功能如何实现?
回答 2
已采纳
怎么统计都离不开要执行SQL。框架也是对SQL进行包装的吧。
本来mysql这个字段有值,更新为null,这个时候同步到elasticsearch, es数据没有变化, 自动忽略了为null值的更新,应该怎么处理?
回答 1
已采纳
mysql这个字段有值,更新为null–>可以改为空串'',而不用null
mysql 查询库里所有大小大于15G 或 记录数大于1千万的单表
回答 2
大于15G的表:selectsum(datalengthindexlengthdatafree)/1024/1024/1024,tablerows,tablenamefrominformationsc