暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Redis-集群原理

董源龙 2021-10-05
238

API地址

    https://redis.io/topics/replication

旧版复制时同步

新版2.8+复制时同步

    PSYNC

        完整重同步(full resynchronization)

            初次复制

                同SYNC

                主服务器创建并发送RDB文件

                向从服务器发送保存在缓冲区里面的写命令进行同步

        部分重同步(partial resynchronization)

            用于处理断线后重复制情况

                从服务器在断线后重新连接主服务器时,如果条件允许,主服务器可以将主从服务器连接断开期间执行的写命令发送给从服务器,从服务器只要接收并执行这些写命令,就可以将数据库更新至主服务器当前所处的状态。

            解决了旧版复制功能在处理断线后重复制时出现的低效情况

            构成

                主服务器的复制偏移量(replication offset)和从服务器的复制偏移量

                    主服务器每次向从服务器传播N个字节的数据时,就将自己的复制偏移量的值加上N。

                    从服务器每次收到主服务器传播来的N个字节的数据时,就将自己的复制偏移量的值加上N。

                    偏移量一致

                        主从处于一致状态

                    偏移量不一致

                        主从未处于一致状态

                主服务器的复制积压缓冲区

                    replication backlog

                    由主服务器维护的一个固定长度(fixed-size)先进先出(FIFO)队列

                        默认1MB

                    流程

                        流程-主服务器

                            主服务器的复制积压缓冲区里面会保存着一部分最近传播的写命令

                            复制积压缓冲区会为队列中的每个字节记录相应的复制偏移量

                        流程-从服务器

                            从服务器重新连上主服务器时,从服务器会通过PSYNC命令将自己的复制偏移量offset发送给主服务器

                        流程-主服务器

                            主服务器会根据这个复制偏移量来决定对从服务器执行同步操作

                                如果offset偏移量之后的数据(也即是偏移量offset+1开始的数据)仍然存在于复制积压缓冲区里面

                                    主服务器将对从服务器执行部分重同步操作

                                如果offset偏移量之后的数据已经不存在于复制积压缓冲区

                                    主服务器将对从服务器执行完整重同步操作

                    计算缓冲区大小

                        second*write_size_per_second

                        其中second为从服务器断线后重新连接上主服务器所需的平均时间(以秒计算)

                        而write_size_per_second则是主服务器平均每秒产生的写命令数据量(协议格式的写命令的长度总和)

                        eg

                            如果主服务器平均每秒产生1 MB的写数据,而从服务器断线之后平均要5秒才能重新连接上主服务器,那么复制积压缓冲区的大小就不能低于5MB

                        安全起见

                            2*second*write_size_per_second

                                保证绝大部分断线情况都能用部分重同步来处理

                        修改方法

                            repl-backlog-size选项的说明

                服务器的运行ID

                    run ID

                    定义

                        每个Redis服务器,不论主服务器还是从服务,都会有自己的运行ID。

                        运行ID在服务器启动时自动生成,由40个随机的十六进制字符组成,例如53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3。

                    流程

                        从服务器对主服务器进行初次复制

                            主服务器会将自己的运行ID传送给从服务器

                            从服务器则会将这个运行ID保存起来

                        从服务器断线并重新连上一个主服务器

                        从服务器将向当前连接的主服务器发送之前保存的运行ID

                            从服务器保存的运行ID和当前连接的主服务器的运行ID相同

                                从服务器断线之前复制的就是当前连接的这个主服务器,主服务器可以继续尝试执行部分重同步操作

                            从服务器保存的运行ID和当前连接的主服务器的运行ID并不相同

                                从服务器断线之前复制的主服务器并不是当前连接的这个主服务器

                                主服务器将对从服务器执行完整重同步操作

                    EG

                        假设从服务器原本正在复制一个运行ID为53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3的主服务器,那么在网络断开,从服务器重新连接上主服务器之后,从服务器将向主服务器发送这个运行ID,主服务器根据自己的运行ID是否53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3来判断是执行部分重同步还是执行完整重同步

        命令实现

            调用方法

                如果从服务器以前没有复制过任何主服务器,或者之前执行过SLAVEOF no one命令,那么从服务器在开始一次新的复制时将向主服务器发送PSYNC ? -1命令,主动请求主服务器进行完整重同步(因为这时不可能执行部分重同步)

                如果从服务器已经复制过某个主服务器,那么从服务器在开始一次新的复制时将向主服务器发送PSYNC <runid> <offset>命令:其中runid是上一次复制的主服务器的运行ID,而offset则是从服务器当前的复制偏移量,接收到这个命令的主服务器会通过这两个参数来判断应该对从服务器执行哪种同步操作

            接收到PSYNC命令的主服务器会向从服务器返回以下三种回复的其中一种

                如果主服务器返回+FULLRESYNC <runid> <offset>回复,那么表示主服务器将与从服务器执行完整重同步操作:其中runid是这个主服务器的运行ID,从服务器会将这个ID保存起来,在下一次发送PSYNC命令时使用;而offset则是主服务器当前的复制偏移量,从服务器会将这个值作为自己的初始化偏移量。

                如果主服务器返回+CONTINUE回复,那么表示主服务器将与从服务器执行部分重同步操作,从服务器只要等着主服务器将自己缺少的那部分数据发送过来就可以了。

                如果主服务器返回-ERR回复,那么表示主服务器的版本低于Redis 2.8,它识别不了PSYNC命令,从服务器将向主服务器发送SYNC命令,并与主服务器执行完整同步操作。

            完整的复制——网络中断——重复制EG

                首先,假设有两个Redis服务器,它们的版本都是Redis 2.8,其中主服务器的地址为127.0.0.1:6379,从服务器的地址为127.0.0.1:12345。

                如果客户端向从服务器发送命令SLAVEOF 127.0.0.1 6379,并且假设从服务器是第一次执行复制操作,那么从服务器将向主服务器发送PSYNC ?-1命令,请求主服务器执行完整重同步操作。

                主服务器在收到完整重同步请求之后,将在后台执行BGSAVE命令,并向从服务器返回+FULLRESYNC53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3 10086回复,其中53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3是主服务器的运行ID,而10086则是主服务器当前的复制偏移量。

                假设完整重同步成功执行,并且主从服务器在一段时间之后仍然保持一致,但是在复制偏移量为20000的时候,主从服务器之间的网络连接中断了,这时从服务器将重新连接主服务器,并再次对主服务器进行复制。

                因为之前曾经对主服务器进行过复制,所以从服务器将向主服务器发送命令PSYNC 53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3 20000,请求进行部分重同步。

                主服务器在接收到从服务器的PSYNC命令之后,首先对比从服务器传来的运行ID53b9b28df8042fdc9ab5e3fcbbbabff1d5dce2b3和主服务器自身的运行ID,结果显示该ID和主服务器的运行ID相同,于是主服务器继续读取从服务器传来的偏移量20000,检查偏移量为20000之后的数据是否存在于复制积压缓冲区里面,结果发现数据仍然存在。

                确认运行ID相同并且数据存在之后,主服务器将向从服务器返回+CONTINUE回复,表示将与从服务器执行部分重同步操作,之后主服务器会将保存在复制积压缓冲区20000偏移量之后的所有数据发送给从服务器,主从服务器将再次回到一致状态。

复制实现

    step1 设置主服务器的地址和端口

        客户端向从服务器发送命令

            SLAVEOF <master_ip> <master_port>

        从服务器

            将客户端给定的主服务器IP地址127.0.0.1以及端口6379保存到服务器状态的masterhost属性和masterport属性里面

        注

            SLAVEOF命令是一个异步命令,在完成masterhost属性和masterport属性的设置工作之后,从服务器将向发送SLAVEOF命令的客户端返回OK,表示复制指令已经被接收,而实际的复制工作将在OK返回之后才真正开始执行。

    step2 建立套接字连接

        在SLAVEOF命令执行之后,从服务器将根据命令所设置的IP地址和端口,创建连向主服务器的套接字连接

        从服务器创建的套接字能成功连接(connect)到主服务器,那么从服务器将为这个套接字关联一个专门用于处理复制工作的文件事件处理器,这个处理器将负责执行后续的复制工作,比如接收RDB文件,以及接收主服务器传播来的写命令

        主服务器在接受(accept)从服务器的套接字连接之后,将为该套接字创建相应的客户端状态,并将从服务器看作是一个连接到主服务器的客户端来对待,这时从服务器将同时具有服务器(server)和客户端(client)两个身份:从服务器可以向主服务器发送命令请求,而主服务器则会向从服务器返回命令回复

        注

            从服务器是主服务器的客户端

    step3+ 以从服务器向主服务器发送命令请求的形式来进行

    step3 发送PING命令

        从服务器成为主服务器客户端后 发送一个PING命令

        作用

            先检查套接字的读写状态是否正常

                虽然主从服务器成功建立起了套接字连接,但双方并未使用该套接字进行过任何通信

            检查主服务器能否正常处理命令请求

                复制工作接下来的几个步骤都必须在主服务器可以正常处理命令请求的状态下才能进行

        返回结果

            如果主服务器向从服务器返回了一个命令回复,但从服务器却不能在规定的时限(timeout)内读取出命令回复的内容,那么表示主从服务器之间的网络连接状态不佳,不能继续执行复制工作的后续步骤。当出现这种情况时,从服务器断开并重新创建连向主服务器的套接字

            如果主服务器向从服务器返回一个错误,那么表示主服务器暂时没办法处理从服务器的命令请求,不能继续执行复制工作的后续步骤。当出现这种情况时,从服务器断开并重新创建连向主服务器的套接字。比如说,如果主服务器正在处理一个超时运行的脚本,那么当从服务器向主服务器发送PING命令时,从服务器将收到主服务器返回的BUSY Redisis busy running a script.You can only callSCRIPT KILL or SHUTDOWN NOSAVE.错误

            如果从服务器读取到"PONG"回复,那么表示主从服务器之间的网络连接状态正常,并且主服务器可以正常处理从服务器(客户端)发送的命令请求,在这种情况下,从服务器可以继续执行复制工作的下个步骤

    step4 身份验证

        服务器设置了masterauth选项,那么进行身份验证

            从服务器将向主服务器发送一条AUTH命令,命令的参数为从服务器masterauth选项的值

        从服务器没有设置masterauth选项,那么不进行身份验证

        从验证身份遇到情况

            如果主服务器没有设置requirepass选项,并且从服务器也没有设置masterauth选项,那么主服务器将继续执行从服务器发送的命令,复制工作可以继续进行。

            如果从服务器通过AUTH命令发送的密码和主服务器requirepass选项所设置的密码相同,那么主服务器将继续执行从服务器发送的命令,复制工作可以继续进行。与此相反,如果主从服务器设置的密码不相同,那么主服务器将返回一个invalid password错误。

            如果主服务器设置了requirepass选项,但从服务器却没有设置masterauth选项,那么主服务器将返回一个NOAUTH错误。另一方面,如果主服务器没有设置requirepass选项,但从服务器却设置了masterauth选项,那么主服务器将返回一个no password is set错误。

            发生错误时

                所有错误情况都会令从服务器中止目前的复制工作,并从创建套接字开始重新执行复制,直到身份验证通过,或者从服务器放弃执行复制为止

    step5 发送端口信息

        从服务器将执行命令REPLCONF listening-port <port-number>,向主服务器发送从服务器的监听端口号

        主服务器在接收到这个命令之后,会将端口号记录在从服务器所对应的客户端状态的slave_listening_port属性中

            slave_listening_port属性目前唯一的作用就是在主服务器执行INFOreplication命令时打印出从服务器的端口号

    step6 同步

        从服务器将向主服务器发送PSYNC命令,执行同步操作,并将自己的数据库更新至主服务器数据库当前所处的状态

            同步操作执行之前,只有从服务器是主服务器的客户端

            执行同步操作之后,主服务器也会成为从服务器的客户端

                如果PSYNC命令执行的是完整重同步操作,那么主服务器需要成为从服务器的客户端,才能将保存在缓冲区里面的写命令发送给从服务器执行。

                如果PSYNC命令执行的是部分重同步操作,那么主服务器需要成为从服务器的客户端,才能向从服务器发送保存在复制积压缓冲区里面的写命令。

        同步操作执行之后,主从服务器双方都是对方的客户端,它们可以互相向对方发送命令请求,或者互相向对方返回命令回复

    step 7

        命令传播

            当完成了同步之后,主从服务器就会进入命令传播阶段,这时主服务器只要一直将自己执行的写命令发送给从服务器,而从服务器只要一直接收并执行主服务器发来的写命令,就可以保证主从服务器一直保持一致了

心跳检测

    命令传播阶段,从服务器默认会以每秒一次的频率,向主服务器发送命令

        REPLCONF ACK <replication_offset>

        replication_offset是从服务器当前的复制偏移量

    发送REPLCONF ACK命令对于主从服务器有三个作用

        检测主从服务器的网络连接状态

            发送/接收REPLCONF ACK命令

            超过1秒

                主服务器定位连接异常连接异常

            INFO replication

                lag

                    最后一次发送REPLCONF ACK命令距离现在过了多少秒

                    0-1之间跳动

        辅助实现min-slaves选项

            min-slaves-to-write

                3

                从服务器<3

            min-slaves-max-lag

                10

                3个从服务器lag值>=10

            防止主服务器非安全-执行写命令

        检测命令丢失

            接收从服务器ACK命令

            从偏移量<主偏移量

            主服务器复制从偏移量

                复制挤压缓冲区内从服务器缺少数据

            从新发送给从服务器

            version 2.8+


复制

主节点

处理槽

从节点

复制某个主节点

被复制主节点下线后,代替下线主节点继续接收请求

主节点down,其他主节点选从节点

向从节点发送命令

CLUSTER REPLACEMENT <node_id>



Redis集群最大节点个数是多少

16384

参考书

《Redis 设计与实现》


文章转载自董源龙,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论