2023-07-31
greenplum数据迁移至clickhouse
目前有20T的数据需要从gp导入至clickhouse,目前想到的方案有
1、导出csv,然后导入
2、使用外部表
3、用python读出数据，然后插入至clickhouse
还有其他更好的方案吗？
我来答
添加附件
收藏
分享
问题补充
1条回答
默认
最新
4、使用clickhouse自带的数据导入工具clickhouse-client,通过命令行将数据从gp导入至clickhouse。
5、使用第三方工具，如Apache Nifi、Apache Kafka等，将数据从gp传输到clickhouse。
6、使用分布式文件系统(如HDFS)将数据从gp传输到clickhouse。
评论
有用 0 打赏 0
回答交流
Markdown
请输入正文
提交
相关推荐
greenplum节点宕机，pg_stat_activity卡了一堆进程杀不掉
回答 4
已采纳
补充下sql进程：(打马赛克的都是master节点)
greenplum 6集群扩容后如何将新节点加入gpcc监控中
回答 3
谢谢你的回复，此问题我是这样解决的。gpdb扩容完成后，重新部署gpcc即可，这应该是比较正确的做法吧。
greenplum日志提示：process (PID XXXXX) was terminated by signal X，节点频繁宕掉
回答 2
考虑下SSH设置，并发高的话，SSH超阀值是一种可能
clickhouse ddl阻塞
回答 2
还没执行完成
greenplum提示could not fork new process for connection: Cannot allocate memory
回答 1
60GB指的是free?还是free available?
有人用过docker来安装greenplum么？有参考资料可以提供下吗？
回答 1
其实和其他都差不多。我举例一下dockerpullpostgres拉取dockerrundnamepg1p15432:5432v/data/pg1:/var/lib/postgresql/dataeP
greenplum 基于docker跨主机搭建 mirror只有在同宿主机的才初始化成功
回答 2
cat/home/gpadmin/config/gpinitsystemconfig这是我的初始化文件ARRAYNAME"Greenplum"MACHINELISTFILE/home/gpadmin/
clickhouse副本集重复数据的疑问
回答 1
查了资料，insert的幂等性,SETinsertdeduplicate0就可以了，开始没找到
clickhouse查询跟删除表卡主
回答 1
使用rename table方式解决，咨询clickhouse GitHub 建议使用升级版本
greenplum和hive，各有什么特点，哪个适合做数据仓库呢？
回答 1
greenplum是pg的延伸，是列式数据库适合分析。hive其实不适合，他mapreduce的时候和磁盘交互。所以才有了impala全部内存处理。greenplum可以单机，hiveimpala几乎
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签，敬请期待~~
