执行完成后，会输出集群的部署信息。根据上面示例所示。

事务的并发问题可以通过两阶段封锁协议或者多版本并发控制等方法解 决，这类方法也同样适用于索引的并发访问控制。但是由于索引访问更加频繁，更容易触达性能瓶颈，导致低并发度。对事务而言，对一个索引查找两次，并在查找期间发现索引结构发生变化，这是完全可以接受的，只要索引查找返回正确的元组集。因此，只要维护索引的准确性，对索引进行非可串行化并发存取是可接受的。AntDB 分布式内存数据库为了避免在获取另一个节点的锁的时候还占有当前节点的锁，对 B+ 树进行改进，在每个 B+ 树节点，包括叶子节点和内部节点都维护一个指向右兄弟节点的指针，这个指针的作用是，当一个节点正在分裂时可以在查到该节点的同时查找到其兄弟节点。在节点内部增加一个字段 high key，在查询时如果目标值超过该节点的 high key，就需要循着 link pointer 继续往后继节点查找。通过以空间换时间的设计， 通过在每个中间节点增加后继指针来避免在树结构调整时全局加锁而带来的整体性能衰退。

AntDB 分布式内存数据库支持全内存态的运行模式，将热数据常驻内存。但内存存在易失性的特点，需要一种机制去保障这部分数据的高可以用。通常在实际使用过程中会配置多个数据副本来保障数据分片的高可用。同时 AntDB 分布式内存数据库提供一种 CP方案，将当前内存中的数据持久化到磁盘，形成以时间轴为连接线的基数文件备份体系，使用者可以选取时间轴上任意点的备份文件进行数据恢复。既不能包含某些事务的部分更新，也不能缺少小于当前事务的数据。所以CP的方案中，针对溢出页，主要考虑数据是否能够恢复一致。如图 4-5 所示为 AntDB 分布式数据库一个完整的 CP 的整体过程。在 CP 过程中，加 DB 锁之后，会记录当前未完成的事务，这些事务的部分 undo 数据需要覆盖掉 restore 信息。

AntDB 分布式内存数据库的架构基于标准的 Shared-nothing 设计，包括驱动组件，管理节点和数据分片三部分。其中每个数据分片可以包含多个副本， 每个副本都具备独立的 SQL 引擎与存储引擎。如图 4-1 所示是一个标准 AntDB 分布式内存库集群的示例架构图。分布式集群中每个数据节点可以包含多个数据副本，通常部署不少于 3 个副本，以满足 Raft 算法的选主要求。驱动组件部分，对标准的 JDBC、ODBC 驱动进行了优化，加入了连接重定向能力，由管理节点负责分配连接至哪个数据分片，驱动层根据系统元数据将连接定向至被分配的数据分片，这一过程对应用无感。通过 Raft 协议保证分布式强一致性。RDMA，AntDB 分布式内存库集群内部可配置使用 RDMA 的通信模式。主从事务 binlog 日志复制、主从选举、心跳，跨节点数据访问，管理中心节点和数据节点之间心跳、数据下发、数据上报等通信全部采用 RDMA 的方式通信， 利用RDMA 的零拷贝、内核旁路、无CPU 干预等优势，使用更高带宽、更低时延的网络来进一步提升分布式内存数据库性能。

分层存储可以概括为将数据分为高频访问的热数据和低频访问的冷数据， 并分别存储在热数据层和冷数据层，以达到性能与成本的平衡。这种情况在磁盘库上可能问题不太明显，但是在全内存态运行的数据库中就显得尤为棘手，毕竟内存的成本是相对高昂的，用内存去存储这类冗余数据显得不划算。这就需要内存数据库可以支持在多种存储介质上对数据进行迁移，并且这个过程必须是无感的、自动完成的，以免对应用层造成影响。内存包括通用的 DDR 内存，以及近年涌现的 PMEM 持久内存。AntDB 分布式内存数据库可以通过建表语句指定表单数据的存储介质，目前支持的枚举包括“HOT”和“COLD”两种，从业务视角区分数据的冷、热程度以及存储方式。AntDB 分布式内存数据库在支持多种存储引擎的同时， 可以支持表单级的跨存储切换。针对这一类场景 AntDB 分布式内存数据库可以指定“表单 + 条件”的切换策略，如 trans_ yyyymmdd 类的交易流水表，以时间轴为条件，定期进行存储的切换。

交互式安装有三处可以自定义，如下图所示。可以选择默认值。

执行完成后，会输出集群的部署信息。

在行业发展的初期阶段，打破国外产品与技术垄断是产业发展的重点与难点。面对行业难题，亚信科技在2008年组建AntDB数据库团队，自主研发了AntDB数据库，支持通信行业的信息化工作。AntDB数据库，诞生于我国通信行业的初期阶段，参与并见证了行业20多年的变迁与发展。2000年，中国移动、中国联通两大通信公司正式挂牌，中国2G网络建设进入高潮。在1亿用户的加持下，中国人每天发送的短信量超过了十亿条。数据库，即数据管理系统，犹如一个电子化的文件柜，是存储、组织、管理各种信息系统不可或缺的基石。2007年，3G的通信标准大战拉开帷幕。与此同时，我国开发自己的操作系统、芯片以及数据库的诉求日益强烈。面临着移动互联网的压力，运营商在计费等关键业务系统着手建设新一代的通信网络的核心。在国产数据库的大荒原时代，AntDB数据库团队针对计费系统的处理性能和存储机制进行了一系列的优化设计工作，并自主研发了AntDB数据库。

2019年，国家相关部委提出，要“两年内基本取消高速公路省界收费站”；同年，《交通强国建设纲要》指出要“大力发展智慧交通”，数字交通、智慧交通是未来发展的重要趋势。云南公路联网收费管理有限公司按照交通运输部、省政府及省交通运输厅《关于整合资源加快联网收费统一管理的实施方案》的统筹安排及部署，以清分统一、收费软件和密钥统一、账户发票统一、卡签管理统一等“四个统一”为目标，努力推进云南省高速公路联网收费工作稳步发展，成为全国首个实现全省高速清分结算系统国产化目标的单位。

作为一款国产数据库，AntDB数据库从研发开始，就投身于国产化的时代浪潮之中。AntDB数据库自2008研发面世以来，不断提高自主研发能力，为中国企业提供更加适配，更加符合中国企业应用场景需求的数据服务。从一开始深耕于通讯行业，到现在广泛应用于通信、金融、交通、能源、物联网等行业，AntDB数据库一直在国产化适配的道路上乘风破浪，砥砺前行。未来，AntDB数据库将继续不断提高数据库技术的研发应用，为更多的企业提供更优质，更便捷的数据库服务。这个问题早已在AntDB数据库的发展历程中得到了回答。面对国外传统数据库无法满足我国通讯行业业务量暴涨的数据管理需求的情况，AntDB数据库团队在2008年自主研发了AntDB数据库，并在通信运营商核心系统应用。近十年，AntDB数据库保障通信核心交易系统持续平稳运行。AntDB通过智能化的数据分析评估、一键迁移解决方案，帮助业务快速上线，有效地促进了国产数据库的全面应用推广。

AntDB 提供了hot-standby的能力，并且通过流复制的方式，大大的缩短了备份库与主库的事务间隔。AntDB基于PG内核的流复制机制上实现了使用分布式跨平台内存级的流复制协议进行异构计算，通过流式事务处理机制可实现在高并发极限压力下主从节点间数据毫秒级同步延时，为业务的持续可用创造了底层有利条件。传统流复制分为同步和异步两种模式。AntDB参考Oracle最大保护，最大性能，最大可用之间的自适应切换设计原则，也提供了自适应流复制的内核实现，实现了同步备节点异常后业务依然可持续。当用户连接进行数据操作，产生对应的WAL日志记录后，walwriter会周期性地把产生的WAL page刷新到磁盘中，如果配置了备库，则walsender会不断将WAL page发给备库的walreceiver进程，walreceiver进程会把对应WAL page直接写到本地磁盘，同时slave上的startup辅助进程会不断地应用xlog日志，改变本地数据，实现与主库之间的数据同步。

把数据拆分到多个节点上,在多个节点上进行存储和处理，这种技术叫做数据分区也称为数据分片。AntDB提供四种数据分片方式，分别是：Hash分片、Mod取模分片、Random随机分片及复制表。用户可以在建表语句CREATE TABLE中使用 DISTRIBUTE BY 关键字来指定分片方式。比如Hash分片的原理是使用新写入数据的某个键值 —— 比如客户 ID、客户端 IP、ZIP 码等等 —— 通过哈希函数决定保存的数据节点。insert into T36CE5 select i,'test' from generate_series i;insert into T253DD select i % 25, i % 20 , i % 30from generate_series i;-- execute direct on 'select * from T5E620;';

AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。近年来，随着5G、云计算、人工智能、物联网等新技术的发展，使得更高效、更快捷的数据处理，成为各行业数字化、网络化、智慧化发展的迫切需要。分布式数据库的改造，已成为企业数字化转型的关键。AntDB是一款可扩展、多租户、高可用、高性能、国产自主的分布式数据库产品，旨在为 OLTP 、 OLAP 场景提供一站式的解决方案，具备自动高可用、在线弹性扩容、内核级读写分离等特性，支持SQL2016标准，提供高并发、高吞吐、低时延的PB级数据处理能力，方便应用平滑地从Oracle迁移到AntDB。

AntDB与Oracle数据库高度兼容，使得企业现有的基于Oracle数据库开发的应用程序无需做任何修改或只做少量的修改便可以运行在AntDB平台之上，由此降低了程序迁移的风险，减少了重写应用的成本，从而实现高效快捷的应用迁移。AntDB与Oracle数据库的兼容性包括两个大的方面:多模态SQL解析引擎和语法的兼容性。基于高度的兼容特性，可以实现AntDB和Oracle的异构数据库容灾,以达到异构数据库并行的目的。任何一个系统都存在发生各种意外故障的可能性，AntDB提供了完整的集群自愈方案来保证秒级自动故障切换实现业务的连续性，并且确保数据的完整性和强一致性。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

AntDB采用share-nothing的MPP架构，支持分布式并行计算，可高效处理PB级别的、高质量的结构化数据，支撑亿级用户，具有横向可扩展，秒级在线扩容的能力，是一款高度兼容Oracle、DB2、MySQL等语法的多模型产品。高度兼容Oracle特性的新一代分布式数据库系统AntDB的推出解决了即满足海量数据的处理能力还满足应用平滑迁移的难题。掌握核心技术，符合企业数字转型长远战略目标。目标是为OLTP、OLAP场景提供一站式的解决方案，方便应用可以平滑的从Oracle迁移到AntDB。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

通信行业核心业务系统已经与某款国外成熟商业数据库深度捆绑多年，为改变这一现状，实现数据库“自主可控”的目标，某省经过多轮调研选型与评测最终选择AntDB分布式内存数据库进行核心产生系统账务库的国产化替代。扩大AntDB分布式内存数据库的使用范围，解决数据库连接数瓶颈同时完成国产数据库在核心支撑系统内的应用试点。新的内存数据库集群具备平滑扩展、同构数据库数据同步、数据备份、备份恢复、高可用及容灾、高性能高吞吐等关键能力。AntDB分布式内存数据库上线后，业务视角最终数据证明，在关键业务流程耗时、峰值关键业务接口响应时延等指标都达到国外同类产品水平，在部分指标如连接数限制数据更是又数十倍的提升。证明了AntDB分布式内存数据库具备优秀的高可用能力。系统负荷下降****33%以上****，发挥AntDB分布式内存数据库的优势，有效支撑低时延、高并发场景下的高频交易业务。

AntDB可以部署和运行在Intel x86-64架构的64位通用硬件服务器平台、ARM架构的硬件服务器平台，支持主流的Linux操作系统环境。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

生产环境强烈推荐使用更高的配置。生产环境中的 coordinator和 datanode可以部署和运行在同一台服务器上。SSD 盘推荐使用 NVME 接口以保证读写更快。磁盘建议做 RAID10，至少也要做 RAID5。AntDB的安装包是rpm包，根据用户的系统和需求，请交付人员提供对应的安装包。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地

AntDB以其高度的数据安全性、可靠性、平滑的数据移植能力、线性的性能提升能力，能够完全适应电信级别的系统。AntDB在通讯行业实际生产环境应用表现：一键化迁移，降低了割接难度；应用几乎 “零”改造，长期运行相当平稳；毫秒级响应且资源还有充分盈余，和原IOE架构相比用极低的成本产生了巨大的经济效益。AntDB产品具备大规模产业化的可行性，目前已在国内一些重要行业得到验证。亚信科技的AntDB即满足扩展性也具备高度的插件化能力支持时序特性。AntDB具有自主知识产权，可对党政军关键领域的数据库进行替换，确保信息安全。在PB级数据规模下，AntDB可以完全胜任分析型应用场景。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

将交付人员提供的RPM包上传到ADBMGR所在主机的服务器上，然后在root或者具有sudo权限的用户下安装。RPM包安装完成后，ADB_HOME这个变量的值要么是/opt/app/antdb,要么是您自定义的目录。接下来需要修改目录权限：。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

在root用户下执行：useradd antdb进行antdb用户的创建。保存文件后，执行su - antdb切换到antdb用户，执行ulimit -a检查是否生效。在安全允许的条件下，建议给antdb用户加上sudo权限。root用户执行visudo进行编辑界面，找到Allow root to run any commands anywhere所在行，在行下面添加：。如果是离线环境，建议在主机上通过操作系统的镜像文件搭建本地yum源，方便依赖的安装。其他操作系统请更换安装命令即可，依赖包名称不变。libssh2 可以仅在adbmgr所在主机上安装。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

grubby --update-kernel=ALL --args="numa=off " # 该命令修改的是这个文件：/etc/grub2.cfg grub2-mkconfig. 这种方式修改后，重启主机生效。透明大页的使用可能会引起性能问题，因此建议关闭。如果结果是[always] madvise never，则透明大页是开启状态，需要关闭；检查所有服务器操作系统时区是否为中国时区，服务器之间时间是否一致。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

如果有使用python连接postgres的经验，那在AntDB中操作是完全一样的。首先需要import psycopg2，然后使用psycopg2提供的conn方法创建连接即可。

psql到adbmgr上，可以对集群进行启停操作。执行完命令后，可以执行monitor all命令查看各个节点的状态。

AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

尽管网络堆栈在很大程度上是自我优化的。但是在网络数据包处理过程中，以下方面可能会成为瓶颈并降低性能：。如果除第三列的其他列的数值在增长，则应适度调大net.core.netdev\_budget或net.core.dev\_weight值，使 softirq 可以获得更多的 CPU 时间。除此之外，也需要检查 CPU 使用情况，确定哪些任务在频繁占用 CPU，能否优化。除此之外，也要考虑能否优化应用层的架构，降低读取套接字的间隔。可通过ethtool -c ${NIC_DEV_NAME}命令检查，ethtool -C ${NIC_DEV_NAME}命令开启。此队列可缓存的最大 packets 数量为netdev\_max\_backlog。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

ADBMgr 是通过主机上的agent进程来管理节点的，所以ADBMgr 也有管理agent的功能，主要包括：agent的部署和agent的启停。AntDB数据库采用无共享架构，数据分布在网络上多个互联的节点上，这样做有多种好处：。存储节点DN是AntDB集群用来真正存储业务数据的组件。AntDB提供四种数据分片方式，分别是：Hash分片、Mod取模分片、Random随机分片及复制表。AntDB 提供了hot-standby的能力，并且通过流复制的方式，大大的缩短了备份库与主库的事务间隔。全局事务管理节点是AntDB的核心组件。为了解决这个问题，AntDB做了以下优化：。AntDB设计了coordinator从本地就可以获取到全局快照的算法，避免了频繁向GTM请求快照的操作。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

AntDB 与Oracle数据库高度兼容，使得企业现有的基于Oracle数据库开发的应用程序无需做任何修改或只做少量的修改便可以运行在AntDB平台之上，由此降低了程序迁移的风险，减少了重写应用的成本，从而实现高效快捷的应用迁移。AntDB与Oracle数据库的兼容性包括:Oracle语法兼容、函数兼容、系统表/视图兼容、存储过程和触发器兼容、数据类型兼容、 OCI和JDBC调用接口兼容、管理包兼容、 rowid/rownum和dual虚表等。基于高度的兼容特性，可以实现AntDB和Oracle的异构数据库容灾实现上线初期两套数据库并行运行一段时间。AntDB支持使用oracle兼容模式进行数据库访问，支持服务器级别、会话级别和语句级别来切换兼容开关。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

传统的分布式集群存储扩容方案中，需要进行数据迁移，而数据迁移时是禁止对数据进行操作。数据量大的时候，迁移时间就会比较长，这样就影响了数据库的可用性。AntDB提供了hot expasion扩容方案，将数据原有的数据迁移分成数据同步和路由切换两个阶段，从而解决了这个问题。锁住集群，暂停集群对外服务，等待并确认源节点与新增节点数据一致后，修改访问路由，最后解锁集群，恢复集群对外服务。AntDB分布式内存数据库可以通过建表语句指定表单数据的存储介质，目前支持的枚举包括“HOT”和“COLD”两种，从业务视角区分数据的冷、热程度以及存储方式。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔电信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

cpufreq 是一个动态调整 CPU 频率的模块，可支持五种模式。为保证服务性能应选用 performance 模式，将 CPU 频率固定工作在其支持的最高运行频率上，不进行动态调节，操作命令为cpupower frequency-set --governor performance。确定需要平衡中断的设备，从 CentOS 7.5 开始，系统会自动为某些设备及其驱动程序配置最佳的中断关联性。目前已知的有使用be2iscsi驱动的设备，以及 NVMe 设置；为尽可能的避免跨 NUMA 访问内存，可以通过设置线程的 CPU 亲和性来实现 NUMA 绑核。对于普通程序，可使用numactl命令来绑定。对于数据库应用，不推荐使用 THP，因为数据库往往具有稀疏而不是连续的内存访问模式，且当高阶内存碎片化比较严重时，分配 THP 页面会出现较大的延迟。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

导出的数据文件为copy命令的sql文件，可以直接使用psql -f参数执行。但是在文件数量比较多的时候，建议采用脚本封装的方式，可控的进行数据导入。

WHERE expire_date >= to_date and expire_date < to_date. WHERE 指定了导出时候对数据的过滤条件，如果需要全表数据导出，则去掉该参数。import_done 存放各个用户下，导入完成后的sql文件。在迁移涉及到的表数量比较多的时候，建议采用表的方式来记录迁移表的信息，方便查询表的迁移状态。字段is_export的值在初始化的时候设置为0，需要更新该字段为1或者更新其他字段，则通过update语句来操作：。# sh ora2pg_export.sh configfile username tablename logdir tablecnt. set heading off feedback off pagesize 0 verify off echo off. ora2pg -c $configfile -n $tableowner -a"$t" -d > ${logdir}/"ora2pg_"$tableowner_$t.log 2>&1 &

Ora2Pg是一个开源的迁移转换工具，它可以连接Oracle数据库并进行扫描，自动提取结构或数据，然后生成可加载到AntDB数据库中的SQL脚本。本文介绍使用Ora2Pg工具先搬迁数据表及数据搬迁到AntDB。conf 存放导出对象和数据时候需要使用的配置文件。data存放导出的数据。log 存放导出导入进程产生的日志。建议配置文件放在 ora2pg/conf 目录下。对象稽核主要是看两端数据库中在迁移范围内，表数量和索引数量是否一致。set heading off feedback off pagesize 0 verify off echo off

数据库系统的主机、单节点集群的被监测指标达到告警阀值时，AMOPS就会产生告警并展示在告警分类页面上。告警分类页面提供告警搜索查看功能，用户可以指定监控项、集群、事件级别、时间范围和告警对象对告警进行搜索。查询的告警数据分为未处理告警和已处理告警。登录到AMOPS，选择顶部导航-，即可进入告警历史查询页面。告警管理中会初始化一部分监控项，通过数据库SQL和SHELL命令采集监控指标，并根据设置的阈值进行不同级别的告警设置。新建告警监控项：输入“监控项”，“检测脚本”，“告警规则”，“备注”后，点击“提交”生成自定义告警"。配置告警通知对象组：输入联系组名，选择联系人，备注。操作列“编辑”按钮，弹出编辑联系组弹窗，可修改联系组名，联系人，备注。

自动创建并管理主备流复制集群，并且通过api接口往dcs读取以及更新键值来维护集群的状态。Raft是一个共识算法。所谓共识，就是多个节点对某个事情达成一致的看法，即使是在部分节点故障、网络延时、网络分割的情况下。这些年最为火热的加密货币就需要共识算法，而在分布式系统中，共识算法用于提高系统的容错性，比如分布式存储中的复制集。当antdb集群出现网络异常时，此时patroni不会改变其管理下的antdb集群状态，此时patroni将自己置为暂停状态，并允许antdb提供只读服务。当数据库hangup或者出现out-of-memory异常等原因，导致antdb单节点的实例处于僵死状态时，此时patroni支持watchdog 看门狗软件，当在指定时间内未返回心跳信息后，watchdog 是一款内核自带的系统监控工具。

数据的存在价值，在于其被使用的程度，即被查询或更新的频率。在不同的业务系统中，人们对处于不同时期的数据有着不同的使用需求。针对这样一些业务场景，我们将数据按照时间纬度划分为二个阶段：Hot、Cold。区分冷热数据的根本目的，在于控制成本。目前比较常见的冷热分离方案是将冷热数据分离到两套不同的系统，这两套系统拥有不同的存储特性、访问方式等，从而在保证热数据访问性能的同时，将冷数据的成本降低下来。酬金项目建议使用冷热分离同构系统。)，AntDB的迁移效率要快的多。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

某省电信大数据分析平台，需要对BSS的三户、订单、实例等近10TB级的数据进行快速分析统计，每次分析的数据量最高达到5亿级别，同时需要向其它厂商开放这种实时的数据分析能力，前期这种数据分析是通过大数据平台Hadoop+Hive的框架进行支撑，但这种框架存在几个不足：1）需要hive脚本将BSS的关系型数据导入到大数据平台的文件中2）需要用Hadoop体系非SQL的MapReduce脚本进行统计，在技术实现上不满足数据分析能力的快速开放，在性能上不能实时返回统计分析数据，在“去O”的大趋势下，却又带来了新的难题与挑战。

AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

AntDB 可与异构数据库进行互联，基于外部数据源封装和数据库连接 特性， 支持与 Oracle、PostgreSQL、DB2、SQL Server、MySQL、Sybase 等数据源互联和连接查询，以及系统文件的直接访问。

数据库集群安装完成后，其数据存储容量是预先规划并确定的。随着时间的推移以及业务量的增加，数据库集群中的可用存储空间不断减少，面临数据存储容量扩充的需求。传统的在线扩容的流程大致如下。在集群中加入新的 Datanode Master 节点。由于在创建 Hash 表和复制表时，将表分布的节点写入表定义，因此新增 Datanode Master 节点后，新建表会使用新增节点，而之前建立的表不会使用新增节点， 从而不会影响表的访问。由此， AntDB 提出了hot expasion 扩容方案，将扩容对集群可用性的影响限制在秒 级别。对于分区表，要根据记录的分区字段取值确定该记录所在的数据节点。由于 Hash 算法基于节点数目取模，无法做到 DB1 数据不动，仅增加 DB2’节点，对 DB2 扩容，如图 3-24 所示。为克服以上问题，hot expasion 扩容方案采用 HashMap 路由算法。节点进入 clean 状态后，自动启动清除进程。

面对日益增加的系统访问量，读写分离可以充分利用备机资源，有效地提升数据库的吞吐量。AntDB 通过在 Coordinator 组件的 SQL 解析路由层增加对读写流量的精确访问控制且对应用透明，做到强一致性的数据访问体验。针对写少读多、数据实时性要求不那么高的分析业务场景，可以通过读写分离有效地提升主从机器资源的使用率，如图 3-26 所示。下面描述如何使用读写分离特性以及使用注意事项。用户连接 Coordinator，执行 SQL 语句，最终数据的修改和查询都会访问Datanode。一般情况下，Datanode 有同步或者异步备节点。AntDB 从内核层面实现了读写分离，打开读写分离的开关，就可以实现， 执行读操作访问备节点，写操作访问主节点，对应用层完全透明，有效提升主从机器资源的使用率，增加数据库的吞吐量。

扩容前，DB1 处理 SLOTX 和 SLOY，扩容目标是将 DB1 的数据扩容到DB5。扩容后 DB1 处理 SLOTX，DB2 处理 SLOTY。扩容流程如图 3-25 所示。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

AntDB 内置分布式并行执行引擎，在多个数据节点之间组网传输数据，利用多节点并发处理数据，可以使聚集、排序、关联等操作获得倍数级的性能提升， 随着节点数的增加，性能也会线性增长。在图 3-21 中 Reduce 是 Datanode 之间用于数据传输的机制。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

数据库集群安装完成后，其数据存储容量是预先规划并确定的。随着时间的推移以及业务量的增加，数据库集群中的可用存储空间不断减少，面临数据存储容量扩充的需求。通过增加数据节点，扩充集群数据容量，必然需要对已有数据重新分布， 即将已有数据迁移到其他数据节点。传统的分布式集群存储扩容方案中，数 据迁移时，禁止对数据进行访问，而数据迁移时间较长，从而影响了可用性。AntDB 提供的 hot expasion 扩容方案中，将原有的数据迁移分成数据同步和路由切换两个阶段。锁住集群，暂停集群对外服务，等到并确认源节点与新增节点数据一致后，修改访问路由，最后解锁集群，恢复集群对外服务。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

AntDB 提供了 hot-standby 的能力，功能与 Oracle 11g 的active standby 类似。并且通过流复制的方式，大大地缩短了备份库与主库的事务间隔。AntDB 在同步异步流复制基础上新增一种自适应流复制模式：采用同步模式时，当备机故障后，主备机之间自动切换成异步流复制模式不会造成主节点宕机。AntDB 如何做到满足金融行业需要，达到 RTO 为 14 秒左右所做的系统设计，主要有如下几个方面。AntDB 内核在流复制基础上实现了分布式跨平台内存级的流复制协议，以进行异构计算，通过流式事务处理机制可实现在高并发极限压力下主从节点间数据毫秒级同步延时，为业务的持续可用创造了底层有利条件，如图 3-10 所示。在 AntDB 内核实现中，当同步 slave 节点出现异常后，主节点接收不到备机的确认消息会导致主节点无响应，一直不返回消息，造成客户端无法为业务继续提供写服务，不符合业务连续性保障的设计。

水平分表方式即将一个数据表内的数据，按合适分布策略分散存储在多 个节点内，AntDB 支持表 3-3 所示的数据分布策略。用户可在创建表时增加DISTRIBUTE BY 参数，来对指定的表应用数据分布功能。自定义数据分片是 AntDB 支持的多种数据分片形式中的一种，并且比较特殊，分片函数是用户自定义的，而非系统自带。在支持 Hash、modulo、random、replication 四种分区方式的基础上增加了自定义函数的方式进行分片，大大提升了数据灵活分片的能力，如图 3-8 所示。AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

AntDB数据库始于2008年，在运营商的核心系统上，为全国24个省份的10亿多用户提供在线服务，具备高性能、弹性扩展、高可靠等产品特性，峰值每秒可处理百万笔通信核心交易，保障系统持续稳定运行近十年，并在通信、金融、交通、能源、物联网等行业成功商用落地。

单台机器很难处理海量的数据或者很高的并发查询，需要把数据拆分到多个节点上，在多个节点上进行存储和处理，这种技术叫作数据分区，也称为数据分片。数据分片的主要目的是提高可扩展性，使数据分散到多个节点上，如果对单个分区进行查询，每个节点都只对自己所在的节点进行独立查询。AntDB 提供 Hash 分片、Mod 取模分片、Random 随机分片及复制表等多种分片方式。AntDB 数据分片的 Hash 技术也是基于这个思想，即按照数据的某一特征来计算哈希值，并将哈希值与系统中的节点建立映射关系，从而将哈希值不同的数据分布到不同的节点上。但 Hash 分片方式的缺点也非常明显：当加入或者删除一个节点的时候， 大量的数据需要移动。因此，当前 AntDB 新增加数据节点的情况下，原本表的分布节点不会主动发生变化。在 AntDB 数据库中， 为了减少迁移的数据量，在线热扩容技术里节点的数目均是成倍增长，这样最多有 50% 的数据发生迁移。

AntDB 的集群架构包括，一个 GTM、多个Coordinator、多个 Datanode。其中 GTM 负责给其他的 DN 和CN 分发集群全局唯一的事务号和集群当前判断可见性的 SnapShot。CN 为计算节点，负责接收客户端连接，并且做词法、语法和语义分析，还会判断语句或者执行计划需要发送到哪些 DN。DN 为存储节点，负责存储最终的数据信息。AntDB 采用与 PGXC 一样的 2PC 两阶段协议来保证分布式数据库一致性。假设用户A 向用户 B 转账，用户A 需要转账 50 元给用户B。用户 A 的数据分片在 DN1 上，用户 B 的数据分片在 DN2 上。Paxos 协议用于解决多个副本之间的一致性问题。当前 AntDB 还尚未引入 Paxos 协议，下一步考虑使用 Paxos 协议来实现分布式模式下“一主多备”的高可用。2PC 流程在 AntDB 内部流程如图 3-6 所示。

整个兼容评估过程包括四个大的环节，下面分别进行介绍。对需要迁移的系统，若没有工具自动采集数据进行评估，靠人工的方式 一定会不可避免地出现遗漏或考虑不到的地方。通过 AntDB 数据采集并汇总Oracle 数据库信息，包含环境信息、对象信息、SQL 信息、空间信息、性能信息、事务信息六大部分，全面覆盖数据库实际运行状况。该工具对应用代码无注入行干扰，可以作为一个旁路设备对 Oracle 的实际运行情况进行采集，对采集的数据会统一记录在文件中。通过自动化的数据采集，并在 AntDB 的真实环境中进行模拟重演，得出准确的兼容度分析报告。通过 AntDB 提供的专业采集工具，连接到源 Oracle 数据库中，采集一定的数据库对象结构与 SQL 数据，并将其打包成一个完整的数据包。据此参考，结合目前 AntDB 在一些系统配置下的运行性能，可以得出目标 AntDB 数据库的推荐系统配置。AntDB 的迁移工具可以做到百分百同步，确保数据和Oracle 中无一点偏差。