暂无图片
clickhouse 500亿数据
我来答
分享
暂无图片 匿名用户
clickhouse 500亿数据

clickhouse集群中,新需求有两种实现方案:

1 三千个字段,但是后期可能要添加字段,5千万行数据,有删改需求

2 300亿数据,5个字段,有删改需求

两种方案 字段*行数的结果一样

请教一下这两种实现方案,更倾向于哪一种,原因是什么

我来答
添加附件
收藏
分享
问题补充
1条回答
默认
最新
mocking

在这种情况下,更倾向于选择第二种方案:300亿数据,5个字段,有删改需求。原因如下:

  1. 数据规模控制: 第一种方案虽然有更多的字段,但是字段数目较多并且后期可能要添加字段,这可能导致数据结构更为复杂,维护和管理成本会增加。相比之下,第二种方案的字段数目较少,更容易维护和管理。

  2. 性能考量: 虽然两种方案的字段*行数结果相同,但是在实际操作中,第二种方案的数据量更大,可能需要更大的存储空间和计算资源。但是,ClickHouse作为一个面向OLAP场景的数据库,在处理亿级数据量时表现较好,相对来说更适合处理第二种方案中规模更大的数据量。

  3. 需求变更: 考虑到后期可能会有字段的添加、删改需求,第一种方案需要频繁修改表结构,而第二种方案只需在原来的基础上进行数据的更新,对于数据库的维护和更新会更为方便。

总的来说,综合考虑数据规模、维护成本、性能等因素,第二种方案更适合在ClickHouse集群中实现。

暂无图片 评论
暂无图片 有用 0
打赏 0
回答交流
Markdown


请输入正文
提交
相关推荐
两个不同的数据库,但是实例名是一样的,这两个实例能做主从同步吗?
回答 1
已采纳
单机可以做主从,但是意义不大,仅限于测试环境学习。
数据库连接池对象要套Arc吗?
回答 1
数据库连接池对象和Arc是两个不同的概念,它们没有必然的关联。数据库连接池是一种用于管理数据库连接的技术,它可以在应用程序启动时创建一组数据库连接,并在需要时分配这些连接给应用程序使用。这样可以减少数
数据库服务器如何做冗余?
回答 1
数据库服务器的冗余可以通过以下几种方式实现:主从复制:使用主从复制技术,将一个数据库服务器指定为主服务器,其余服务器作为从服务器。主服务器负责接收写操作并将其复制到从服务器,从服务器负责读操作。这样可
clickhouse查询跟删除表卡主
回答 1
使用rename table方式解决,咨询clickhouse GitHub 建议使用升级版本
一个亿的数据,做了分区 然后释放空间 我只知道truncate 有更好的方法吗?
回答 1
truncatepartition可以释放。还有droppartition
整理脚本用什么笔记?
回答 3
OneNote
数据库测试tpcc性能一般多少个比较好?
回答 2
这与服务器的磁盘、网络都有关系,数据库的性能会受这些的影响
redis日志 ,以下图片中为什么没显示年份时间?
回答 1
redis的日志只是记录事件和错误信息,默认是不记录年份的时间如果想显示年份,可以在配置文件中更改一下日志级别,比如:loglevelnotice然后重启一下redis服务
跨系统一张2亿数据表怎么快速同步?
回答 1
感觉缺少一些前提条件;简单操作可以可以先逻辑导出导入,然后通过创建dblink方式通过查询差异列数据,进行增量插入数据;或者用高级的ogg?adg方式
执行存过的时候电脑蓝屏了,需要重新执行存过吗?
回答 1
你说的是执行存储过程吗?如果没提交,那么就等于没做。