Redis主从复制深度解析

概述

Redis的主从复制（Master - Slave Replication）是实现数据备份、读写分离以及水平扩展的关键机制之一。借助主从复制，一个主节点能够将数据同步至多个从节点，并且从节点还能级联创建自身的从节点，从而构建出树状结构。需要注意的是，Redis的主从复制是达成高可用的基础，但它本身并非等同于高可用。

Redis主从复制的作用

数据冗余

主从复制实现了数据的热备份，这是除持久化之外的另一种数据冗余方式。

故障恢复

当主节点出现状况时，可由从节点提供服务，进而实现快速的故障恢复，这实际上是一种服务层面的冗余。

负载均衡

在主从复制的基础上，结合读写分离，能让主节点负责写服务，从节点负责读服务（即写Redis数据时应用连接主节点，读数据时连接从节点），以此分担服务器的负载；尤其在写少读多的场景下，通过多个从节点分担读负载，可大幅提升Redis服务器的并发量。

读写分离

可用于实现读写分离，主库进行写操作，从库进行读操作，读写分离不仅能提高服务器的负载能力，还能根据需求的变化调整从库的数量。

高可用根基

除上述作用外，主从复制是哨兵和集群得以实施的前提，所以主从复制是Redis高可用的基础。

Redis主从复制的搭建

搭建主服务器

可参考文章：Redis6.2.x版本安装

搭建从服务器

可参考上述Redis6.2.x版本安装文章。需留意从服务器配置文件的修改情况：

# 第75行，修改远程访问地址
75:bind 0.0.0.0
# 第98行，修改端口号
98:port 6379
# 第259行，守护进程运行，默认是前台运行，需修改为yes
259:daemonize yes
# 第304行，指定redis的日志
304:logfile "/var/log/redis/redis.log"
# 第329行，指定数据库的数量，默认是16个
329:databases 16
# 第433行，持久化的文件
433:dbfilename dump.rdb
# 第456行，设置redis的数据目录，要和之前创建的路径保持一致
456:dir /data00/data/redis/
# 第903行，设置密码，建议不要使用弱密码
903:requirepass 123456

# 第479行，主库的IP和端口
479:replicaof 127.0.0.1 6379
# 第486行，如果主服务器设置了密码，需要配置认证
486:masterauth !Xinxin123

# 其它配置
# 从服务器是否可写（默认只读）
replica-read-only yes
# 复制缓冲区大小
repl-backlog-size 1mb
# 复制超时时间（秒）
repl-timeout 60
# 当主从断开时，从服务器是否继续提供服务
replica-serve-stale-data yes

启动主库后再启动从库：

[root@node01 ~]# redis-server /data00/data/redis/redis.conf

[root@node01 ~]# ss -lntup | grep 6379
tcp   LISTEN 0      511                          127.0.0.1:6379       0.0.0.0:*    users:(("redis-server",pid=1001533,fd=6))
tcp   LISTEN 0      511                              [::1]:6379          [::]:*    users:(("redis-server",pid=1001533,fd=7))

验证主从复制是否成功

在主从分别执行INFO REPLICATION命令：

# 主库执行
127.0.0.1:6379> INFO REPLICATION
# Replication
role:master
connected_slaves:1
slave0:ip=10.37.99.63,port=6379,state=online,offset=98,lag=0
master_failover_state:no-failover
master_replid:2f61b8be8cbf19e45882f77bea61b55862bf74e5
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:98
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:98

# 从库执行
127.0.0.1:6379> INFO REPLICATION
# Replication
role:slave
master_host:10.37.97.56
master_port:6379
master_link_status:up
master_last_io_seconds_ago:4
master_sync_in_progress:0
slave_read_repl_offset:238
slave_repl_offset:238
slave_priority:100
slave_read_only:1
replica_announced:1
connected_slaves:0
master_failover_state:no-failover
master_replid:2f61b8be8cbf19e45882f77bea61b55862bf74e5
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:238
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:238

验证主库写入数据，从库是否能获取到：

# 主库写入数据
127.0.0.1:6379> set rep rep
OK

# 从库查询数据
127.0.0.1:6379> get rep
"rep"

验证从库写数据，预期会报错：

127.0.0.1:6379> set slave 1
(error) READONLY You can't write against a read only replica.

Redis主从复制原理

主从复制过程大致分为3个阶段：连接建立阶段（即准备阶段）、数据同步阶段、命令传播阶段。

当从节点执行slaveof命令后，复制过程便启动，通过下图可看出复制过程大致分为6个步骤。

1. 保存主节点信息
   执行slaveof后Redis会打印出如下日志：
   

2. 从节点与主节点建立网络连接
   从节点内部通过每秒运行的定时任务维护复制相关逻辑，当定时任务发现有新的主节点时，会尝试与该节点建立网络连接。
   

从节点会建立一个socket套接字，专门用于接收主节点发送的复制命令。从节点连接成功后会打印出如下日志：

若从节点无法建立连接，定时任务会无限重试，直到连接成功或执行slaveofnoone取消复制。

通过info replication查看master_link_down_since_seconds指标可了解连接失败情况，从节点连接主节点失败时会每秒打印日志以便发现问题：

1. 发送ping命令
   连接建立成功后从节点发送ping请求进行首次通信，ping请求的目的是：
2. 检测主从之间网络套接字是否可用；
3. 检测主节点当前是否能接受并处理命令。

若发送ping命令后从节点未收到主节点的pong回复或超时，会断开复制连接，下次定时任务会重连。

从节点发送的ping命令成功返回时，Redis会打印日志并继续后续复制流程：

1. 权限验证
   若主节点设置了requirepass参数，需进行密码验证，从节点必须配置masterauth参数保证与主节点密码相同才能通过验证，验证失败则复制终止，从节点重新发起复制流程。

2. 同步数据集
   主从复制连接正常通信后，首次建立复制时主节点会将持有的数据全部发送给从节点，此操作耗时较长。

3. 命令持续复制
   主节点将当前数据同步给从节点后完成复制建立流程，接下来主节点持续向从节点发送写命令，保证主从数据一致。

主从复制数据同步原理

Redis支持主从复制，主从结构可采用一主多从或级联结构，主从复制可根据是否全量分为全量同步和增量同步。下图为级联结构。

全量同步阶段

Redis全量同步一般发生在Slave初始化阶段，此时Slave需复制Master上的所有数据，具体步骤如下：
- 从服务器配置主服务器连接信息（slaveof属性）；
- 从服务器连接主服务器，发送SYNC命令；
- 主服务器判断是否全量复制，若是则进入下一步，否则查看增量复制子流程；
- 主服务器接收到SYNC命令后，执行BGSAVE命令生成RDB文件并记录此后执行的写命令；
- 主服务器BGSAVE执行完后，向从服务器发送快照文件并记录发送期间的写命令；
- 从服务器收到快照文件后丢弃旧数据，载入快照；
- 主服务器发送完快照后向从服务器发送缓冲区中的写命令；
- 从服务器完成快照载入，接收命令请求并执行缓冲区中的写命令；

增量同步阶段

Redis增量复制是Slave初始化后主服务器写操作同步到从服务器的过程，主服务器每执行一个写命令就向从服务器发送相同命令，从服务器接收并执行。

开启无磁盘同步

Redis与从数据库复制初始化时不将快照存磁盘，而是直接通过网络发送，避免IO性能差问题。

启动无磁盘复制：

repl-diskless-sync yes