暂无图片
暂无图片
暂无图片
暂无图片
暂无图片
分布式计算验证方案 -南京云创.doc
426
11页
0次
2021-02-22
50墨值下载
分布式计算验证
1.
方案描述
方案设置 许继电气
.
张展国
执行人
1.1
硬件情况
1.1.1
硬件配置
配置细节 数量 作用
刀片服务器
CPU
3.2G 8
32
线程
内存:
32G
4 DataNode
刀片服务器
1 NameNode
1.1.2
软件
说明
cStore
云创自主软件
dataCute
云创自主软件
Hadoop System Hadoop 2.2
1.2
档案数据格式
1.
用户信息
(1000w
)
属性名 数值类型 说明 建立索引
用户
ID number(15)
用户名
Varchar(50)
变压器
ID number(15)
用户所属变压器的
ID
计量点
ID number(15)
用户所在量测点的
ID
冗余字段 随意
10
段,
是不能为空
2.
变压器信息
(50w
)
属性名 数值类型 说明 建立索引
变压器
ID number(15)
安装位置
Varchar(50)
可以简化为一个线路代号
冗余字段 随意
15
段,
是不能为空
1.3
量测数据格式
(30000w
)
属性名 数值类型 说明 建立索引
数据
ID
唯一
ID
计量点
ID number(15)
数据日期
date
或者
number(8)
时序
mumber(2)
取值范围
0-96
15
钟间每天
96
点,
1-96
表示
0
表示日冻结
用电量冻
mumber(13,2)
数据召测
datetime
或者
number(17)
随机时间
冗余字段 随意
10
机,但是不能为空
1.4
数据组织策略
数据域 组织策略 数据规模
用户信息
随机产生
数据约束规则:
其变压器
ID
和变压器表
ID
多对
计量
ID
量测数据
ID
一对多
1
千万
变压器信息 随机产生
数据约束规则:
压器和用户具有一对多关系均
分布
50
200
用户
5000
50
5000
线线
100
台变压器
量测数据
户每
97
产生
2014
4
2014
9
6
据。
有技术困难,可修改数据产生
件为:
500
1
点(时序值为
0
),取
2
个月
字段“用电量冻结值”
的产生规则:
共计
15
位,
第一位是“
3
,接着
10
位是“用户信息:
ID
),接着
4
位为
月份值和日期值,如“
0401
1
万用
×
97
×
180
共计
2000
亿左右
量测数据最小值
500
×
1
× 60
共计
3
亿左右
2.
数据录入
2.1
录入前记录服务器磁盘使用情况
服务器 磁盘使用(
df
截图)
2.2
录入过程
描述使用什么工具,以及开始结束时间
Datacube
客户端
jdbc
语句:
upsert into BYQINFO006 values(….);
upsert into USERINFO006 values(….);
upsert into DATAINFO006 values(….);
用户信息表
单线程入库
1000w
用时
1683
变压器信息
单线程入库
50w
用时
106.7
数据信息表
双线程入库
30000w
用时
45378
of 11
50墨值下载
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文档的来源(墨天轮),文档链接,文档作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。