暂无图片
GreatDB数据库使用load data 有哪些关键参数?
我来答
分享
画笔不画你
2020-11-18
GreatDB数据库使用load data 有哪些关键参数?

GreatDB数据库使用load data 有哪些关键参数?

我来答
添加附件
收藏
分享
问题补充
1条回答
默认
最新
李嫄

1. load-analysis-num
GreatDB用于处理一条 load data 请求数据包解析的工作线程数。
全局参数。可以动态修改
默认值 = 3。参数值范围 >=1

注意:
当load data导入数据的瓶颈在dbscale解析数据包处时,调大该参数可以显著提高load data的性能。但当该值大于1时,数据实际导入后端 mysql 的顺序将可能与文件中的顺序不一致,通常这是可以忽 略的。

2. max-load-analysis-wait-size

GreatDB 用于处理load data数据包解析的 analysis节点的处理队列最大长度。
全局参数。可以动态修改
默认值 = 30。参数值范围 >=2

注意:

GreatDB对analysis节点进行数据包填充时,总是填充到max-load-analysis-wait-size指定的大小,并且analysis节点在待处理的数据包数量小于该值的一半时会唤醒父线程进行数据包填充。
建议该值使 用默认值或适当调高,如果需要导入的数据量非常的大时。
另外如果该值过大,会导致GreatDB缓存过多的数据包,将会导致GreatDB在load data过程中对机器内存的消耗过多,极端情况下可能会OOM。

3. max-load-ready-packets

GreatDB 处理load data时,每个后端数据包发送 线程缓存的最大待发送数据包的数量。
全局参数。可以动态修改
默认值 = 64。参数值范围 >=10

注意:

GreatDB往后端发送的LOAD DATA数据包每个是16M,默认值64即1G。每个后端partition对应一个数据包发送线程。当后端mysql处理过慢时可能导致数据包在数据包发送线程上堆积,但堆积的量达 到max-load-ready-packets时,GreatDB将挂起该load data任务直到堆积的量小于max-load-ready- packets。

4. max-load-once-packet-num

GreatDB 向后端执行一次load的数据包数目。
会话级别参数。可以动态修改
默认值 = 64。参数值范围 >=10

注意:

对于分片表场景,如果一张表load数据量过大,一次load会导致主从延时巨大。此时可以调整本参数,设置每load一定包数就提交一次。
但是这么设置会有一定风险:
 
就是如果load过程中报错,那么之前load的数据会已经进入数据库,所以此时数据库会有部分脏数据,并且无法确认脏数据量。
一个数据包的大小取决与认证节点的 max_packet_size , 默认值为 0 ,表示不启用该功能,整个load只提交一次。

暂无图片 评论
暂无图片 有用 0
打赏 0
回答交流
Markdown


请输入正文
提交
相关推荐
万里开源进入华为鲲鹏生态了吗?
回答 1
进入华为鲲鹏生态了,2019年11月的时候,万里开源成为了华为云鲲鹏凌云伙伴,产品GreatDB兼容华为鲲鹏生态,而且他们的全资子公司拓林思还基于华为的OpenEuler发布了操作系统。
万里开源和创意信息技术股份有限公司是什么关系?
回答 1
万里开源是创意信息控股的子公司,创意信息技术股份有限公司(股票代码:300366)成立于1996年,2014年在深交所创业板上市,是国内领先的大数据产品及综合解决方案提供商,已形成数据采集汇聚、数据处
如何保障现有业务向万里开源数据库产品数据迁移顺利进行?
回答 1
采用数据库适配迁移工具迁移服务的整体迁移方案。万里开源数据库已经适配了Oracle的部分特性功能,再结合迁移工具GreatDBMigration能够实现库表结构、数据和对象的迁移,并结合迁移服务技术支
分布式数据库适用场景
回答 1
万里云数据库服务平台GreatDBRDS主要适用以下应用场景:租户隔离场景大量小业务数据库整合场景,提高资源利用率,便捷运维数据库资源池场景
国内哪家做MySQL运维服务比较好?
回答 4
小云同学应该不错
如何检查GreatDB数据库集群状态?
回答 1
通过分布式数据库>集群实例>详情>SQL语句执行进入集群执行SQL界面,输入dbscaleshowdataservers;和dbscaleshowdatasourcetyperepl
GreatDB数据库分片表自增值有哪些使用限制?
回答 1
目前GreatDB所支持的自增字段数据必须是正整数或者0/NULL,以及可以明确转化为这些值的字符串,GreatDB暂不支持除这些类型之外的其他自增字段值。例如:0,NULL,“NULL”,123,“
“万里开源”的名称由来?(其数据库产品名称为GreatDB)
回答 1
名字是前董事长李汉生先生起的。缘起是:万里开源的原始团队都是来源于turbolinux公司,又是MYSQLAB公司的中国研发中心,开发的数据库又是MYSQL生态圈。
万里开源数据库产品GreatDB是通过什么形式来实现、确保数据的强一致的?
回答 1
数据副本强一致:基于类raft增强一致性同步协议实现数据副本间的数据强一致,任意故障切换RPO0分布式事务强一致:提供数据库ACID分布式事务强一致保证,任意故障不会出现分布式事务部分提交,确保事务数
单机MySQL数据库怎么做成分布式数据库集群?
回答 2
可以采用开源的MyCat解决方案,优点是免费,缺点是出现问题可能要自己解决或者去社区寻找解决方案;也可以采用北京万里开源软件有限公司的集群解决方案,后端使用开源的MySQL存储数据,优点是有任何问题他
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~