暂无图片
MySQL同步到clickhouse,有方案的相关资料吗?
我来答
分享
暂无图片 匿名用户
MySQL同步到clickhouse,有方案的相关资料吗?

MySQL同步到clickhouse,有方案的相关资料吗?

我来答
添加附件
收藏
分享
问题补充
3条回答
默认
最新
watson

《ClickHouse单机部署以及从MySQL增量同步数据》https://www.modb.pro/db/24940

可以参考下。

暂无图片 评论
暂无图片 有用 2
打赏 0
yBmZlQzJ
暂无图片 评论
暂无图片 有用 2
打赏 0
刚阿德

clickhouse官方文档提到的两个,也就是2楼  yBmZIQzJ提到的,都不好用:

1、MySQL引擎:https://clickhouse.com/docs/zh/engines/database-engines/mysql

2、MaterializedMySQL引擎:https://clickhouse.com/docs/zh/engines/database-engines/materialized-mysql

开源工具,类dts工具,cloudcanal,有saas和社区版:

https://www.clougence.com/cloudcanal

这个工具业务和我们运维都在用。业务侧,主要是1)同步部分表到es,缓解线上mysql库读压力;2)同步部分表到ck,ck接入到grafana,利用alert功能,告警推送到企业微信。运维侧,主要是实时同步告警历史表和其它存在mysql的数据,展示成报表


上面主要是实时同步。离线数据的话,比如mysql库表空间统计信息、索引统计信息等,我们是通过python+crontab,每天定时拉取mysql information_schema数据到ck。


希望对你有所启发

暂无图片 评论
暂无图片 有用 0
打赏 0
回答交流
Markdown


请输入正文
提交
相关推荐
mysql中的show variables可以用select语句实现相同的效果么?
回答 2
相同,只是showvariables分全局和会话。以及select可以带where条件进行分组。不是说show不能用,只是不如select写的SQL方便。
有什么mysql合适的增量数据同步工具
回答 1
已采纳
XtraBackup开源免费的;
MySQL 8.0 怎么修改root密码?
回答 2
mysql8的密码验证方式变了,可以试下这个语法来修改密码:alteruser'root'@'localhost'identifiedwithmysqlnativepasswordby'123abc'
如何不进入MySQL客户端,执行一条SQL命令,账号User,密码Passwd,库名DBName,SQL为SELECT sysdate();?
回答 1
已采纳
采用e选项,命令为:mysqluUserpPasswdDDBNamee"SELECTsysdate();"。
MySQL可以自定义变参存储函数吗?
回答 3
已采纳
mysql支持自定义函数,可带0N个参数。使用时,和系统函数的用法一样。
mysql导入2.4g的sql文件花费了一上午,还没还原,有什么好办法吗?
回答 1
如果您的sql文件内容是insertinto这种方式的,那就只能等着了。如果能重新导出,建议做成txt纯数据格式。例如:使用loaddata或mysqlimport工具,百度一下或参考https://
为什么mysql每次重启都要手动登录下local才能用?
回答 2
mysql版本是5.7还是8.0是不是显示的localhost,如果是的话,说明只支持本地访问,不允许远程访问。1、授权root用户的所有权限并设置远程访问CREATEUSER‘root’@’%’ID
Mysql建不了用户,报错1819,怎么解决?
回答 3
5.7setglobalvalidatepasswordpolicy0;setglobalvalidatepasswordlength0;setglobalvalidatepasswordnumber
各位大佬,请教个问题,大事务是如何去定义并且监控的?
回答 1
我觉得大事务就是一个事务里执行语句了多条语句并且执行时间很长,导致操作一直没有commit或rollback
mysql怎么自定义执行时长?
回答 2
selectsleep(n)fromtable?  值得注意的是。这个执行时间 是n记录数。