暂无图片
GreatDB数据库使用load data 有哪些关键参数?
我来答
分享
李嫄
2020-08-21
GreatDB数据库使用load data 有哪些关键参数?

GreatDB数据库使用load data 有哪些关键参数?
请提供关键参数供参考谢谢!

我来答
添加附件
收藏
分享
问题补充
1条回答
默认
最新
万里数据库
  1. load-analysis-num
    GreatDB用于处理一条 load data 请求数据包解析的工作线程数。
    全局参数。可以动态修改
    默认值 = 3。参数值范围 >=1

注意:
当load data导入数据的瓶颈在dbscale解析数据包处时,调大该参数可以显著提高load data的性能。但当该值大于1时,数据实际导入后端 mysql 的顺序将可能与文件中的顺序不一致,通常这是可以忽 略的。

  1. max-load-analysis-wait-size

GreatDB 用于处理load data数据包解析的 analysis节点的处理队列最大长度。
全局参数。可以动态修改
默认值 = 30。参数值范围 >=2

注意:

GreatDB对analysis节点进行数据包填充时,总是填充到max-load-analysis-wait-size指定的大小,并且analysis节点在待处理的数据包数量小于该值的一半时会唤醒父线程进行数据包填充。
建议该值使 用默认值或适当调高,如果需要导入的数据量非常的大时。
另外如果该值过大,会导致GreatDB缓存过多的数据包,将会导致GreatDB在load data过程中对机器内存的消耗过多,极端情况下可能会OOM。

  1. max-load-ready-packets

GreatDB 处理load data时,每个后端数据包发送 线程缓存的最大待发送数据包的数量。
全局参数。可以动态修改
默认值 = 64。参数值范围 >=10

注意:

GreatDB往后端发送的LOAD DATA数据包每个是16M,默认值64即1G。每个后端partition对应一个数据包发送线程。当后端mysql处理过慢时可能导致数据包在数据包发送线程上堆积,但堆积的量达 到max-load-ready-packets时,GreatDB将挂起该load data任务直到堆积的量小于max-load-ready- packets。

  1. max-load-once-packet-num

GreatDB 向后端执行一次load的数据包数目。
会话级别参数。可以动态修改
默认值 = 64。参数值范围 >=10

注意:

对于分片表场景,如果一张表load数据量过大,一次load会导致主从延时巨大。此时可以调整本参数,设置每load一定包数就提交一次。
但是这么设置会有一定风险:

就是如果load过程中报错,那么之前load的数据会已经进入数据库,所以此时数据库会有部分脏数据,并且无法确认脏数据量。
一个数据包的大小取决与认证节点的 max_packet_size , 默认值为 0 ,表示不启用该功能,整个load只提交一次。

暂无图片 评论
暂无图片 有用 0
打赏 0
回答交流
Markdown


请输入正文
提交
相关推荐
GreatDB数据库使用load data 有哪些关键参数?
回答 1
1.loadanalysisnumGreatDB用于处理一条loaddata请求数据包解析的工作线程数。全局参数。可以动态修改默认值3。参数值范围>1注意:当loaddata导入数据的瓶颈在db
GreatDB数据库调度节点故障切换原理是什么?
回答 1
调度节点故障切换分为两种,一种为单调度节点故障切换,另一种为多调度节点故障切换。单调度节点故障切换即HA架构的调度切换,详见第二部分。多调度节点故障切换即多调度集群基于zookeeper的多活架构切换
GreatDB建表过程中报“Not support multiple stmt”错是什么原因?
回答 1
这种情况下,通常就是客户端一次性发了多条SQL语句给集群。如果是业务程序,那只能是让修改程序逻辑,如果是工具,则需要换一个工具。例如navicat的脚本执行功能就是一次性发多条sql给后端数据库,可以
万里开源产品GreatDB是否存在供应链风险?
回答 1
不存在,主要理由:1)产品架构角度。产品自研率高,不依赖国外产品及技术支撑。2)开发工具绝大部分采用自研工具,部分采用开源工具。有可替代计划。3)采用老版本开源组件。依据国际惯例,开源软件仅闭源最新版
万里开源GreatDB在国家电网自主可控数据库应用占比?
回答 1
目前自主可控数据库占比较低,不到10%。自主可控数据库中,万里开源占比70%以上
如何评估GreatDB数据库集群的故障切换时间,有哪些参数影响?
回答 1
monitorinterval(默认值5秒)管理连接监控后端数据库实例状态的时间间隔monitornettimeout(默认值15秒)通过管理连接对后端数据服务器进行状态监控操作的超时时间connec
GreatSQL 和 GreatDB 有啥区别?
回答 3
请问开源社区版上开发的应用可以直接移植到商业版吗?接口是否完全兼容?
GreatDB数据库在HA架构的单调度集群模式下如何手动后台启停?
回答 1
(1)启动GreatDB数据库启动时需要注意先启动后端数据库,待所有数据库启动并验证可以登录后,再启动集群。启动数据库启动所有服务器上的mysql实例,启动之前psef|grepmysql确认mysq
“万里开源”的名称由来?(其数据库产品名称为GreatDB)
回答 1
名字是前董事长李汉生先生起的。缘起是:万里开源的原始团队都是来源于turbolinux公司,又是MYSQLAB公司的中国研发中心,开发的数据库又是MYSQL生态圈。
万里开源分布式数据库产品GreatDB主要特点(优势)?
回答 1
1)支持数据sharding和分布式部署;2)支持动态扩展和数据在线重分布;3)支持故障自动切换保证高可用;4)提供分布式事务ACID强一致性支持;5)提供企业级数据安全特性;6)完美适配MySQL,
问题信息
请登录之后查看
邀请回答
暂无人订阅该标签,敬请期待~~