type
status
date
slug
summary
tags
category
icon
password
Property
Redis
服务器是典型的一对多服务器程序:一个服务器可以与多个客户端建立网络连接,每个客户端可以向服务器发送命令请求,而服务器则接收并处理客户端发送的命令请求,并向客户端返回命令回复。通过使用由I/O
多路复用技术实现的文件事件处理器,Redis
服务器使用单线程单进程的方式来处理命令请求,并与多个客户端进行网络通信。对于每个服务器进行连接的客户端,服务器都为这些客户端建立了相应的
redis.h/redisClient
结构(客户端状态),这个结构保存了客户端当前的状态信息,以及执行相关功能时需要用到的数据结构。Redis
服务器状态结构的clients
属性是一个链表,这个链表保存了所有与服务器连接的客户端的状态结构,对客户端执行批量操作,或者查找某个指定的客户端,都可以通过遍历clients
链表来完成:客户端属性
客户端状态包含的属性可以分为两类:
- 通用属性:很少与特定功能有关,无论客户端执行的是什么工作,都要用到这些属性
- 与特定功能相关的属性:如操作数据库时的
db
属性与dicrid
属性,执行事务时需要的mstate
属性,执行WATCH
命令时需要用到的watched_keys
属性等;
套接字描述符
客户端状态的
fd
属性记录了客户端正在使用的套接字描述符:根据客户端类型的不同,
fd
属性的值可以是-1
或者是大于-1
的整数:- 伪客户端(fake client)的
fd
属性的值为-1
: 伪客户端处理的命令请求来源于AOF
文件或者Lua
脚本, 而不是网络, 所以这种客户端不需要套接字连接, 自然也不需要记录套接字描述符。 目前Redis
服务器会在两个地方用到伪客户端, 一个用于载入AOF
文件并还原数据库状态, 而另一个则用于执行Lua
脚本中包含的Redis
命令。
- 普通客户端的
fd
属性的值为大于-1
的整数: 普通客户端使用套接字来与服务器进行通讯, 所以服务器会用fd
属性来记录客户端套接字的描述符。
执行
CLIENT LIST
命令可以列出目前所有连接到服务器的普通客户端, 命令输出中的 fd
域显示了服务器连接客户端所使用的套接字描述符:名字
在默认情况下, 一个连接到服务器的客户端是没有名字的。下面展示的
CLIENT LIST
命令中, 客户端的name
域是空白的。使用
CLIENT SETNAME
命令可以为客户端设置一个名字, 让客户端的身份变得更清晰。客户端的名字记录在客户端状态的
name
属性里面:如果客户端没有为自己设置名字, 那么相应客户端状态的
name
属性指向NULL
指针; 如果设置了名字, 那么name
属性将指向一个字符串对象, 而该对象就保存着客户端的名字。标志
客户端的标志属性
flags
记录了客户端的角色(role), 以及客户端目前所处的状态:flags
属性的值可以是单个标志:也可以是多个标志的二进制:
每个标志使用一个常量表示, 一部分标志记录了客户端的角色:
- 在主从服务器进行复制操作时, 主服务器会成为从服务器的客户端, 而从服务器也会成为主服务器的客户端。
REDIS_MASTER
标志表示客户端代表的是一个主服务器,REDIS_SLAVE
标志表示客户端代表的是一个从服务器。
REDIS_PRE_PSYNC
标志表示客户端代表的是一个版本低于 Redis 2.8 的从服务器, 主服务器不能使用 PSYNC 命令与这个从服务器进行同步。 这个标志只能在REDIS_SLAVE
标志处于打开状态时使用。
REDIS_LUA_CLIENT
标识表示客户端是专门用于处理 Lua 脚本里面包含的 Redis 命令的伪客
而另外一部分标志则记录了客户端目前所处的状态:
REDIS_MONITOR
标志表示客户端正在执行 MONITOR 命令。
REDIS_UNIX_SOCKET
标志表示服务器使用 UNIX 套接字来连接客户端。
REDIS_BLOCKED
标志表示客户端正在被 BRPOP 、 BLPOP 等命令阻塞。
REDIS_UNBLOCKED
标志表示客户端已经从REDIS_BLOCKED
标志所表示的阻塞状态中脱离出来, 不再阻塞。REDIS_UNBLOCKED
标志只能在REDIS_BLOCKED
标志已经打开的情况下使用。
REDIS_MULTI
标志表示客户端正在执行事务。
REDIS_DIRTY_CAS
标志表示事务使用 WATCH 命令监视的数据库键已经被修改,REDIS_DIRTY_EXEC
标志表示事务在命令入队时出现了错误, 以上两个标志都表示事务的安全性已经被破坏, 只要这两个标记中的任意一个被打开, EXEC 命令必然会执行失败。 这两个标志只能在客户端打开了REDIS_MULTI
标志的情况下使用。
REDIS_CLOSE_ASAP
标志表示客户端的输出缓冲区大小超出了服务器允许的范围, 服务器会在下一次执行serverCron
函数时关闭这个客户端, 以免服务器的稳定性受到这个客户端影响。 积存在输出缓冲区中的所有内容会直接被释放, 不会返回给客户端。
REDIS_CLOSE_AFTER_REPLY
标志表示有用户对这个客户端执行了 CLIENT_KILL 命令, 或者客户端发送给服务器的命令请求中包含了错误的协议内容。 服务器会将客户端积存在输出缓冲区中的所有内容发送给客户端, 然后关闭客户端。
REDIS_ASKING
标志表示客户端向集群节点(运行在集群模式下的服务器)发送了 ASKING 命令。
REDIS_FORCE_AOF
标志强制服务器将当前执行的命令写入到 AOF 文件里面,REDIS_FORCE_REPL
标志强制主服务器将当前执行的命令复制给所有从服务器。 执行 PUBSUB 命令会使客户端打开REDIS_FORCE_AOF
标志, 执行 SCRIPT_LOAD 命令会使客户端打开REDIS_FORCE_AOF
标志和REDIS_FORCE_REPL
标志。
- 在主从服务器进行命令传播期间, 从服务器需要向主服务器发送 REPLICATION ACK 命令, 在发送这个命令之前, 从服务器必须打开主服务器对应的客户端的
REDIS_MASTER_FORCE_REPLY
标志, 否则发送操作会被拒绝执行。
以上所有标志都定义在
redis.h
文件里面。PUBSUB
命令和 SCRIPT LOAD
命令的特殊性通常情况下,
Redis
只会将那些对数据库进行了修改的命令写入到 AOF 文件, 并复制到各个从服务器: 如果一个命令没有对数据库进行任何修改, 那么它就会被认为是只读命令, 这个命令不会被写入到 AOF 文件, 也不会被复制到从服务器。但PUBSUB 命令和 SCRIPT_LOAD 命令是其中的例外:
PUBSUB
命令虽然没有修改数据库, 但 PUBSUB 命令向频道的所有订阅者发送消息这一行为带有副作用, 接收到消息的所有客户端的状态都会因为这个命令而改变。 因此, 服务器需要使用 REDIS_FORCE_AOF
标志, 强制将这个命令写入 AOF 文件, 这样在将来载入 AOF 文件时, 服务器就可以再次执行相同的 PUBSUB 命令, 并产生相同的副作用。SCRIPT_LOAD 命令的情况与 PUBSUB 命令类似: 虽然 SCRIPT_LOAD 命令没有修改数据库, 但它修改了服务器状态, 所以它是一个带有副作用的命令, 服务器需要使用
REDIS_FORCE_AOF
标志, 强制将这个命令写入 AOF 文件, 使得将来在载入 AOF 文件时, 服务器可以产生相同的副作用。另外, 为了让主服务器和从服务器都可以正确地载入 SCRIPT_LOAD 命令指定的脚本, 服务器需要使用
REDIS_FORCE_REPL
标志, 强制将SCRIPT_LOAD 命令复制给所有从服务器。输入缓冲区
客户端状态的输入缓冲区用于保存客户端发送的命令请求:
如果客户端向服务器发送了以下命令请求:
SET key value
那么客户端状态的
querybuf
属性将是一个包含以下内容的SDS
值:输入缓冲区的大小会根据输入内容动态地缩小或者扩大, 但它的最大大小不能超过1 GB , 否则服务器将关闭这个客户端。
命令与命令参数
在服务器将客户端发送的命令请求保存到客户端状态的
querybuf
属性之后, 服务器将对命令请求的内容进行分析, 并将得出的命令参数以及命令参数的个数分别保存到客户端状态的 argv
属性和 argc
属性:argv
属性是一个数组, 数组中的每个项都是一个字符串对象: 其中argv[0]
是要执行的命令, 而之后的其他项则是传给命令的参数
argc
属性则负责记录argv
数组的长度
命令的实现函数
当服务器从协议内容中分析并得出
argv
属性和 argc
属性的值之后, 服务器将根据项 argv[0]
的值, 在命令表中查找命令所对应的命令实现函数。命令表是一个字典, 字典的键是一个
SDS
结构, 保存了命令的名字, 字典的值是命令所对应的redisCommand
结构, 这个结构保存了命令的实现函数、 命令的标志、 命令应该给定的参数个数、 命令的总执行次数和总消耗时长等统计信息。当程序在命令表中成功找到
argv[0]
所对应的 redisCommand
结构时, 它会将客户端状态的 cmd
指针指向这个结构:之后, 服务器就可以使用
cmd
属性所指向的redisCommand
结构, 以及argv
、 argc
属性中保存的命令参数信息, 调用命令实现函数, 执行客户端指定的命令。服务器在
argv[0]
为"SET"
时, 查找命令表并将客户端状态的cmd
指针指向目标redisCommand
结构的整个过程:针对命令表的查找操作不区分输入字母的大小写, 所以无论
argv[0]
是 "SET"
、 "set"
、或者"SeT"
, 等等, 查找的结果都是相同的。输出缓冲区
执行命令所得的命令回复会被保存在客户端状态的输出缓冲区里面, 每个客户端都有两个输出缓冲区可用, 一个缓冲区的大小是固定的, 另一个缓冲区的大小是可变的:
- 固定大小的缓冲区用于保存那些长度比较小的回复, 比如
OK
、简短的字符串值、整数值、错误回复,等等。
- 可变大小的缓冲区用于保存那些长度比较大的回复, 比如一个非常长的字符串值, 一个由很多项组成的列表, 一个包含了很多元素的集合, 等等。
客户端的固定大小缓冲区由
buf
和 bufpos
两个属性组成:buf
是一个大小为REDIS_REPLY_CHUNK_BYTES
字节的字节数组, 而 bufpos
属性则记录了buf
数组目前已使用的字节数量。REDIS_REPLY_CHUNK_BYTES
常量目前的默认值为16*1024
, 也即是说, buf
数组的默认大小为16 KB 。一个使用固定大小缓冲区来保存返回值
+OK\r\n
的例子:当
buf
数组的空间已经用完, 或者回复因为太大而没办法放进buf
数组里面时, 服务器就会开始使用可变大小缓冲区。可变大小缓冲区由
reply
链表和一个或多个字符串对象组成:通过使用链表来连接多个字符串对象, 服务器可以为客户端保存一个非常长的命令回复, 而不必受到固定大小缓冲区16 KB大小的限制。
一个包含三个字符串对象的
reply
链表:身份验证
客户端状态的
authenticated
属性用于记录客户端是否通过了身份验证:如果
authenticated
的值为 0
, 那么表示客户端未通过身份验证; 如果 authenticated
的值为 1
, 那么表示客户端已经通过了身份验证。authenticated
属性仅在服务器启用了身份验证功能时使用: 如果服务器没有启用身份验证功能的话, 那么即使 authenticated
属性的值为 0
(这是默认值), 服务器也不会拒绝执行客户端发送的命令请求。时间
客户端还有几个和时间有关的属性:
ctime
属性记录了创建客户端的时间, 这个时间可以用来计算客户端与服务器已经连接了多少秒 ——CLIENT LIST
命令的age
域记录了这个秒数:
lastinteraction
属性记录了客户端与服务器最后一次进行互动(interaction)的时间, 这里的互动可以是客户端向服务器发送命令请求, 也可以是服务器向客户端发送命令回复。可以用来计算客户端的空转(idle)时间, 距离客户端与服务器最后一次进行互动以来, 已经过去了多少秒 ——CLIENT LIST
命令的idle
域记录了这个秒数
obuf_soft_limit_reached_time
属性记录了输出缓冲区第一次到达软性限制(soft limit)的时间
客户端的创建与关闭
创建普通客户端
客户使用
connect
函数连接服务器时,服务器调用连接事件处理器,为客户端创建相应的客户端状态,并将新的客户端状态添加到服务器状态结构 clients
链表末尾:关闭普通客户端
一个普通客户端可以因为多种原因而被关闭,如:网络连接关闭、发送了不合协议格式的命令请求、成为
CLIENT KILL
命令的目标、空转时间超时、命令请求超过输入缓冲区限制大小(1 GB)、输出缓冲区的大小超出限制;服务器使用两种模式限制客户端输出缓冲区的大小:
- 硬性模式(hard limit):缓冲区大小超过所硬性限制所设置大小,立即关闭客户端;
- 软性模式(soft limit):缓冲区大小超过软性限制所设置大小,并且持续时间超过设置的时间,才会关闭客户端;
Lua 脚本的伪客户端
服务器在初始化时创建负责执行
Lua
脚本中包含的 Redis
命令的伪客户端,并将其关联在服务器状态结构的 lua_client
属性;伪客户端在服务器运行的整个生命周期中会一直存在,只有服务器被关闭时,这个客户端才会被关闭;
AOF 文件的伪客户端
服务器在载入
AOF
文件时,会创建用于执行AOF
文件中包含的Redis
命令的伪客户端,并在载入完成后,关闭客户端