暂无图片
大数据量的存储查询方案
我来答
分享
暂无图片 匿名用户
大数据量的存储查询方案

目前羡慕的初始化300条,日增100w,面对这样的数据量的增长如何设计一款软硬件架构来处理这些数据,做到快速查询处理

我来答
添加附件
收藏
分享
问题补充
2条回答
默认
最新
舒悦

根据数据的内容进行处理,举例按照数据的时间轴,或者地域人名进行处理对数据进行分类;同时中间件对于数据的查询做相应的记录,对三个月内数据查询条件做一个排行处理,然后按照排行进行新的nosql进行分类,在数据库层面做这些;

同时在中间件用java或者pythonc进行对数据的查询分类进行处理,用户登录界面有查询条件选择,一个是默认的数据的分类类似上面的时间轴,或者地域人名,或者年龄段都可以;其次的条件就是三个月的查询排行榜的前五或者前三的条件,指向新的数据源nosql

这样应该可以得到快速查询数据库可以采用物联网数据库因为数据量的采集和增长都非常巨大: InfluxDB 和 TimescaleDB 

开源数据库mysql集群pg数据库也可以。

暂无图片 评论
暂无图片 有用 2
打赏 0
雪狼sunny

可以采用处理物联网日增长100万条数据的平台的解决方案:

  1. 数据存储和处理:选择合适的数据库或数据存储方案,例如分布式数据库、时序数据库等,以满足高并发的数据写入和读取需求。

  2. 数据采集和传输:使用稳定可靠的数据采集工具和协议,确保设备数据能够安全、高效地传输到数据存储平台。

  3. 数据处理和分析:设计合适的数据处理流程和数据分析模型,以便从海量数据中提取有用的信息,并支持实时或批处理分析需求。

  4. 可视化和监控:建立数据可视化和监控平台,以便实时监控设备状态、数据趋势和异常情况。

  5. 扩展性和性能:确保平台具备良好的扩展性和性能,能够应对数据量的持续增长,保持系统稳定和高效运行。

  6. 安全和隐私:重视数据安全和隐私保护,采取必要的安全措施来保护设备数据不被未授权访问和篡改。

  7. 故障恢复和备份:建立完善的故障恢复和数据备份机制,以确保数据的完整性和可用性。

以上是类似物联网日增长100万条数据的平台时需要考虑的一些关键方面。针对具体需求,还需要更详细的技术架构设计和实施方案。

目前国内的物联网主要是政府牵头一些大型的有实力的企业协助的方式进行组合,关键问题还是对数据的分片处理,机遇需求的两者结合,方案仅供参考。

暂无图片 评论
暂无图片 有用 1
打赏 0
回答交流
Markdown


请输入正文
提交
相关推荐
如果数据丢失是由于未提交的事务导致的,可以尝试回滚事务以恢复数据?
回答 1
已采纳
是的,如果数据丢失是由于未提交的事务导致的,可以尝试回滚事务以恢复数据。在OpenGauss中,你可以使用以下命令来回滚一个未提交的事务:这将回滚当前会话中的未提交事务。如果你知道导致数据丢失的具体事
为什么在postgresql数据库中,要规定最新的和最旧的txid不能超过21亿,从无符号2的32次方转为有符号2的31次方?
回答 4
是的,从判断事务ID判断式((int32)(id1id2))<0可知,只要左边是负数,id1就比id2小。因为有int32转换,所以前提是最新的和最旧的txid不能超过21亿,假设事务id没有出
求楼主联系方式
回答 1
怎么被攻击的?
Oracle中,除了ROLLBACK,什么情况会导致事务回滚?
回答 2
在Oracle数据库中,除了显式调用ROLLBACK指令以外,还有以下情况会导致事务回滚:程序异常当程序在事务执行过程中遇到未处理的异常(如数据库连接断开、查询语法错误),事务会自动回滚。死锁(Dea
数据库中事务的基本作用是什么?
回答 8
已采纳
数据库中事务的基本作用是将数据库从一种一致状态转变为另一种一致状态。ISOSQL标准指定了多种事务隔离级别(transactionisolationlevel),这些隔离级别定义了一个事务对其他事务作
没有事务控制的 DML 操作会加锁吗
回答 3
为了保持数据的一致性,这个肯定会加锁啦