2021年最新Redis面试题汇总(3)_Redis

1、redis 怎么保证高可用、有哪些集群模式

主从复制、哨兵模式、集群模式。

2、主从复制

在当前最新的 redis 6.0 中，主从复制的完整过程如下：

1）开启主从复制

通常有以下三种方式：

在 slave 直接执行命令：slaveof <masterip> <masterport>
在 slave 配置文件中加入：slaveof <masterip> <masterport>
使用启动命令：--slaveof <masterip> <masterport>

注：在 redis 5.0 之后，slaveof 相关命令和配置已经被替换成 replicaof，例如 replicaof <masterip> <masterport>。为了兼容旧版本，通过配置的方式仍然支持 slaveof，但是通过命令的方式则不行了。

2）建立套接字（socket）连接

slave 将根据指定的 ip 地址和端口，向 master 发起套接字（socket）连接，master 在接受（accept） slave 的套接字连接之后，为该套接字创建相应的客户端状态，此时连接建立完成。

3）发送ping命令

slave 向 master 发送一个 ping 命令，以检査套接字的读写状态是否正常、 master 能否正常处理命令请求。

4）身份验证

slave 向 master 发送 auth password 命令来进行身份验证。

5）发送端口信息

在身份验证通过后后， slave 将向 master 发送自己的监听端口号， master 收到后记录在 slave 所对应的客户端状态的 slave_listening_port 属性中。

6）发送ip地址

如果配置了 slave_announce_ip，则 slave 向 master 发送 slave_announce_ip 配置的 ip 地址， master 收到后记录在 slave 所对应的客户端状态的 slave_ip 属性。

该配置是用于解决服务器返回内网 ip 时，其他服务器无法访问的情况。可以通过该配置直接指定公网 ip。

7）发送capa

capa 全称是 capabilities，这边表示的是同步复制的能力。slave 会在这一阶段发送 capa 告诉 master 自己具备的（同步）复制能力， master 收到后记录在 slave 所对应的客户端状态的 slave_capa 属性。

8）数据同步

slave 将向 master 发送 psync 命令， master 收到该命令后判断是进行部分重同步还是完整重同步，然后根据策略进行数据的同步。

9）命令传播

当完成了同步之后，就会进入命令传播阶段，这时 master 只要一直将自己执行的写命令发送给 slave ，而 slave 只要一直接收并执行 master 发来的写命令，就可以保证 master 和 slave 一直保持一致了。

以部分重同步为例，主从复制的核心步骤流程图如下：

2021年最新Redis面试题汇总(3)

3、哨兵

哨兵（sentinel）是 redis 的高可用性解决方案：由一个或多个 sentinel 实例组成的 sentinel 系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器。

sentinel 可以在被监视的主服务器进入下线状态时，自动将下线主服务器的某个从服务器升级为新的主服务器，然后由新的主服务器代替已下线的主服务器继续处理命令请求。

1）哨兵故障检测

检查主观下线状态

在默认情况下，sentinel 会以每秒一次的频率向所有与它创建了命令连接的实例（包括主服务器、从服务器、其他 sentinel 在内）发送 ping 命令，并通过实例返回的 ping 命令回复来判断实例是否在线。

如果一个实例在 down-after-miliseconds 毫秒内，连续向 sentinel 返回无效回复，那么 sentinel 会修改这个实例所对应的实例结构，在结构的 flags 属性中设置 sri_s_down 标识，以此来表示这个实例已经进入主观下线状态。

检查客观下线状态

当 sentinel 将一个主服务器判断为主观下线之后，为了确定这个主服务器是否真的下线了，它会向同样监视这一服务器的其他 sentinel 进行询问，看它们是否也认为主服务器已经进入了下线状态（可以是主观下线或者客观下线）。

当 sentinel 从其他 sentinel 那里接收到足够数量（quorum，可配置）的已下线判断之后，sentinel 就会将服务器置为客观下线，在 flags 上打上 sri_o_down 标识，并对主服务器执行故障转移操作。

2）哨兵故障转移流程

当哨兵监测到某个主节点客观下线之后，就会开始故障转移流程。核心流程如下：

发起一次选举，选举出领头 sentinel领头 sentinel 在已下线主服务器的所有从服务器里面，挑选出一个从服务器，并将其升级为新的主服务器。领头 sentinel 将剩余的所有从服务器改为复制新的主服务器。领头 sentinel 更新相关配置信息，当这个旧的主服务器重新上线时，将其设置为新的主服务器的从服务器。

4、集群模式

哨兵模式最大的缺点就是所有的数据都放在一台服务器上，无法较好的进行水平扩展。

为了解决哨兵模式存在的问题，集群模式应运而生。在高可用上，集群基本是直接复用的哨兵模式的逻辑，并且针对水平扩展进行了优化。

集群模式具备的特点如下：

采取去中心化的集群模式，将数据按槽存储分布在多个 redis 节点上。集群共有 16384 个槽，每个节点负责处理部分槽。
使用 crc16 算法来计算 key 所属的槽：crc16(key,keylen) & 16383。
所有的 redis 节点彼此互联，通过 ping-pong 机制来进行节点间的心跳检测。
分片内采用一主多从保证高可用，并提供复制和故障恢复功能。在实际使用中，通常会将主从分布在不同机房，避免机房出现故障导致整个分片出问题，下面的架构图就是这样设计的。
客户端与 redis 节点直连，不需要中间代理层（proxy）。客户端不需要连接集群所有节点，连接集群中任何一个可用节点即可。

集群的架构图如下所示：

2021年最新Redis面试题汇总(3)

5、集群选举

故障转移的第一步就是选举出新的主节点，以下是集群选举新的主节点的方法：

1）当从节点发现自己正在复制的主节点进入已下线状态时，会发起一次选举：将 currentepoch（配置纪元）加1，然后向集群广播一条 clustermsg_type_failover_auth_request 消息，要求所有收到这条消息、并且具有投票权的主节点向这个从节点投票。

2）其他节点收到消息后，会判断是否要给发送消息的节点投票，判断流程如下：

当前节点是 slave，或者当前节点是 master，但是不负责处理槽，则当前节点没有投票权，直接返回。
请求节点的 currentepoch 小于当前节点的 currentepoch，校验失败返回。因为发送者的状态与当前集群状态不一致，可能是长时间下线的节点刚刚上线，这种情况下，直接返回即可。
当前节点在该 currentepoch 已经投过票，校验失败返回。
请求节点是 master，校验失败返回。
请求节点的 master 为空，校验失败返回。
请求节点的 master 没有故障，并且不是手动故障转移，校验失败返回。因为手动故障转移是可以在 master 正常的情况下直接发起的。
上一次为该master的投票时间，在cluster_node_timeout的2倍范围内，校验失败返回。这个用于使获胜从节点有时间将其成为新主节点的消息通知给其他从节点，从而避免另一个从节点发起新一轮选举又进行一次没必要的故障转移
请求节点宣称要负责的槽位，是否比之前负责这些槽位的节点，具有相等或更大的 configepoch，如果不是，校验失败返回。

如果通过以上所有校验，那么主节点将向要求投票的从节点返回一条 clustermsg_type_failover_auth_ack 消息，表示这个主节点支持从节点成为新的主节点。

3）每个参与选举的从节点都会接收 clustermsg_type_failover_auth_ack 消息，并根据自己收到了多少条这种消息来统计自己获得了多少个主节点的支持。

4）如果集群里有n个具有投票权的主节点，那么当一个从节点收集到大于等于n/2+1 张支持票时，这个从节点就会当选为新的主节点。因为在每一个配置纪元里面，每个具有投票权的主节点只能投一次票，所以如果有 n个主节点进行投票，那么具有大于等于 n/2+1 张支持票的从节点只会有一个，这确保了新的主节点只会有一个。

5）如果在一个配置纪元里面没有从节点能收集到足够多的支持票，那么集群进入一个新的配置纪元，并再次进行选举，直到选出新的主节点为止。

这个选举新主节点的方法和选举领头 sentinel 的方法非常相似，因为两者都是基于 raft 算法的领头选举（leader election）方法来实现的。

6、如何保证集群在线扩容的安全性？（redis 集群要增加分片，槽的迁移怎么保证无损）

例如：集群已经对外提供服务，原来有3分片，准备新增2个分片，怎么在不下线的情况下，无损的从原有的3个分片指派若干个槽给这2个分片？

redis 使用了 ask 错误来保证在线扩容的安全性。

在槽的迁移过程中若有客户端访问，依旧先访问源节点，源节点会先在自己的数据库里面査找指定的键，如果找到的话，就直接执行客户端发送的命令。

如果没找到，说明该键可能已经被迁移到目标节点了，源节点将向客户端返回一个 ask 错误，该错误会指引客户端转向正在导入槽的目标节点，并再次发送之前想要执行的命令，从而获取到结果。

ask错误

在进行重新分片期间，源节点向目标节点迁移一个槽的过程中，可能会出现这样一种情况：属于被迁移槽的一部分键值对保存在源节点里面，而另一部分键值对则保存在目标节点里面。

当客户端向源节点发送一个与数据库键有关的命令，并且命令要处理的数据库键恰好就属于正在被迁移的槽时。源节点会先在自己的数据库里面査找指定的键，如果找到的话，就直接执行客户端发送的命令。

否则，这个键有可能已经被迁移到了目标节点，源节点将向客户端返回一个 ask 错误，指引客户端转向正在导入槽的目标节点，并再次发送之前想要执行的命令，从而获取到结果。

7、redis 事务的实现

一个事务从开始到结束通常会经历以下3个阶段：

1）事务开始：multi 命令将执行该命令的客户端从非事务状态切换至事务状态，底层通过 flags 属性标识。

2）命令入队：当客户端处于事务状态时，服务器会根据客户端发来的命令执行不同的操作：

exec、discard、watch、multi 命令会被立即执行
其他命令不会立即执行，而是将命令放入到一个事务队列，然后向客户端返回 queued 回复。

3）事务执行：当一个处于事务状态的客户端向服务器发送 exec 命令时，服务器会遍历事务队列，执行队列中的所有命令，最后将结果全部返回给客户端。

不过 redis 的事务并不推荐在实际中使用，如果要使用事务，推荐使用 lua 脚本，redis 会保证一个 lua 脚本里的所有命令的原子性。

8、redis 的 java 客户端有哪些？官方推荐哪个？

redis 官网展示的 java 客户端如下图所示，其中官方推荐的是标星的3个：jedis、redisson 和 lettuce。

2021年最新Redis面试题汇总(3)

9、redis 里面有1亿个 key，其中有 10 个 key 是包含 java，如何将它们全部找出来？

1）keys *java* 命令，该命令性能很好，但是在数据量特别大的时候会有性能问题

2）scan 0 match *java* 命令，基于游标的迭代器，更好的选择

scan 命令是一个基于游标的迭代器（cursor based iterator）： scan 命令每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 scan 命令的游标参数，以此来延续之前的迭代过程。

当 scan 命令的游标参数被设置为 0 时，服务器将开始一次新的迭代，而当服务器向用户返回值为 0 的游标时，表示迭代已结束。

10、使用过 redis 做消息队列么？

redis 本身提供了一些组件来实现消息队列的功能，但是多多少少都存在一些缺点，相比于市面上成熟的消息队列，例如 kafka、rocket mq 来说并没有优势，因此目前我们并没有使用 redis 来做消息队列。

关于 redis 做消息队列的常见方案主要有以下：

1）redis 5.0 之前可以使用 list（blocking）、pub/sub 等来实现轻量级的消息发布订阅功能组件，但是这两种实现方式都有很明显的缺点，两者中相对完善的 pub/sub 的主要缺点就是消息无法持久化，如果出现网络断开、redis 宕机等，消息就会被丢弃。

2）为了解决 pub/sub 模式等的缺点，redis 在 5.0 引入了全新的 stream，stream 借鉴了很多 kafka 的设计思想，有以下几个特点：

提供了消息的持久化和主备复制功能，可以让任何客户端访问任何时刻的数据，并且能记住每一个客户端的访问位置，还能保证消息不丢失。
引入了消费者组的概念，不同组接收到的数据完全一样（前提是条件一样），但是组内的消费者则是竞争关系。

redis stream 相比于 pub/sub 已经有很明显的改善，但是相比于 kafka，其实没有优势，同时存在：尚未经过大量验证、成本较高、不支持分区（partition）、无法支持大规模数据等问题。

11、redis 和 memcached 的比较

1）数据结构：memcached 支持简单的 key-value 数据结构，而 redis 支持丰富的数据结构：string、list、set、hash、sortedset 等。

2）数据存储：memcached 和 redis 的数据都是全部在内存中。

网上有一种说法 “当物理内存用完时，redis可以将一些很久没用到的 value 交换到磁盘，同时在内存中清除”，这边指的是 redis 里的虚拟内存（virtual memory）功能，该功能在 redis 2.0 被引入，但是在 redis 2.4 中被默认关闭，并标记为废弃，而在后续版中被完全移除。

3）持久化：memcached 不支持持久化，redis 支持将数据持久化到磁盘

4）灾难恢复：实例挂掉后，memcached 数据不可恢复，redis 可通过 rdb、aof 恢复，但是还是会有数据丢失问题

5）事件库：memcached 使用 libevent 事件库，redis 自己封装了简易事件库 aeevent

6）过期键删除策略：memcached 使用惰性删除，redis 使用惰性删除+定期删除

7）内存驱逐（淘汰）策略：memcached 主要为 lru 算法，redis 当前支持8种淘汰策略，见本文第16题

8）性能比较

按“cpu 单核” 维度比较：由于 redis 只使用单核，而 memcached 可以使用多核，所以在比较上：在处理小数据时，平均每一个核上 redis 比 memcached 性能更高，而在 100k 左右的大数据时， memcached 性能要高于 redis。
按“实例”维度进行比较：由于 memcached 多线程的特性，在 redis 6.0 之前，通常情况下 memcached 性能是要高于 redis 的，同时实例的 cpu 核数越多，memcached 的性能优势越大。
至于网上说的 redis 的性能比 memcached 快很多，这个说法就离谱。