博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
redis数据结构分析-redisObject-SDS
阅读量:6040 次
发布时间:2019-06-20

本文共 3454 字,大约阅读时间需要 11 分钟。

hot3.png

redis是一个key-value储存系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)

redis字符串:在redis-Client中执行以下命令: SET USER_NAME zhangsan   会创建一个key为USER_NAME,value为zhangsan 的键值对。那么,那么这个字符串的值 "zhangsan" 在数据库中是以哪种数据结构储存的呢?

Redis对象

redis并没有直接只用string list set等来直接实现键值对数据库,而是根据这些数据结构创建了一个对象系统,这个系统包含了redis中五种数据结构。并且redis对象中记录最后一次访问时间,服务器会根据这个时间删除对象,从而释放内存(如果启用了maxmemory功能的情况下).

redisObject数据结构分析:

typedef struct redisObject {    unsigned type:4;    unsigned encoding:4;    unsigned lru:REDIS_LRU_BITS; /* lru time (relative to server.lruclock) */    int refcount;    void *ptr;} robj;

type占用4个bit位,记录了对象的类型 REDIS_STRING 0,REDIS_LIST 1,REDIS_SET 2,REDIS_ZSET 3,REDIS_HASH 4

ptr:该指针执行对象底层实现数据结构,这些数据结构对象由encoding属性决定。

encoding属性记录了对象所使用的编码,也就是说对象使用了什么数据结构作为对象底层实现。

可以这样理解:type记录的数据结构是针对redis使用者来说的。encoding记录的数据结构是redis底层的具体实现。并且每种类型的对象redis至少两种不同的编码,也就是两种不同的实现方式。使用 OBJECT ENCODING命令来查看数据库键的值对象编码。

03eb64e420a87220e59d32355858a0ca2c0.jpg

可以看到“zhangsan”的编码是embstr.

字符串对象:

字符串对象的编码可以是int ,raw 或者embstr.如果一个字符串对象保存的是整数值,并且这个整数值可以用long类型标识,那么字符串对象将以整数值保存在ptr属性里面,并将字符串对象的编码设置为INT。

331c781b51ef2eafc0e675a90e2aca92cbc.jpg

如果对"zhang_san"字符串进行修改,类型会变成raw

99a3549b549ec6a9452c92e6fb3eee73091.jpg

为什么对字符串进行更改时,会变成raw类型呢,emptr类型与raw类型有什么区别呢,接下类针对这两个具体类型进行详细描述。

embstr编码是为专门保存短字符串的一种编码方式,这种编码和raw编码一样,都使用redisObject结构和sdshdr结构来标识字符串对象,但raw编码会调用两次内存分配函数来创建redisObject结构和sdshdr结构,而embstr编码则通过调用一次内存分配函数来分配一块连续的空间,空间中一次包含redisObject和sdshdr两个结构。

c3bb414f517d389ea867fbc7a07ec153fac.jpg

接下来介绍sdshdr数据结构。

在c语言中,传统的字符串以空字符结尾的字符数组来表示,redis并没有直接使用这种传统的字符串标识,而是自己构建了一种名为(simple dynamid string ,SDS)的抽象类型,并将SDS用作Redis默认字符串表示。在redis中c字符串只会用在一些无需对字符串值修改的地方。

typedef char *sds;struct sdshdr {    int len;    int free;    char buf[];};

其中len表示buf中已占用空间的长度,free中表示buf中可剩余空间的长度,buf是数据空间,如下图所示。

6ce5bc9f068023bbb226d95c5b5ffdc063b.jpg

free属性值为0,表示这个SDS没有分配任何未使用空间,len为5表示这个SDS保存了一个五个字节的字符串,buf为一个char类型的数组,数组的前五个字节分别保存了'H','E','L','L','O'五个字符,最后一个字节则保存了空字符串\0.

SDS字符串与C字符串的区别。

C语言使用长度为N+1的字符数组来表示长度为N的字符串,并且字符数组的最后一个元素总是空字符'\0'.(java也是用的char[])

获取字符串的长度,对c语言字符串来说,c字符串并不记录自身的长度,获取一个c字符串的长度必须遍历整个字符串,这个操作的复杂度为O(n)的。而redis的STRLEN命令的复杂度仅为O(1).

减少内存分配的次数,c字符串并不记录自身长度,因此每次增长或者缩短一个字符串时,都需要对内存进行一次内存重新分配的操作。

对于redis中sds来说会进行空间预分配:(可以参考JAVA 中 ArrayList这种数据结构的扩容,他们是类似的。ArrayList没记错的话是每次扩1.5倍)

sds sdsMakeRoomFor(sds s, size_t addlen) {    struct sdshdr *sh, *newsh;    // 获取sds目前空闲的长度    size_t free = sdsavail(s);    size_t len, newlen;    // 空间足够,则直接返回,不重新分配    if (free >= addlen) return s;    // 获取 s 目前已占用空间的长度    len = sdslen(s);    sh = (void*) (s-(sizeof(struct sdshdr)));    // s 最少需要的长度    newlen = (len+addlen);    // 根据新长度,为 s 分配新空间所需的大小    if (newlen < SDS_MAX_PREALLOC)        // 如果新长度小于 SDS_MAX_PREALLOC         // 那么为它分配两倍于所需长度的空间        newlen *= 2;    else        // 否则,分配长度为目前长度加上 SDS_MAX_PREALLOC        newlen += SDS_MAX_PREALLOC;    // T = O(N)    newsh = zrealloc(sh, sizeof(struct sdshdr)+newlen+1);    // 内存不足,分配失败,返回    if (newsh == NULL) return NULL;    // 更新 sds 的空余长度    newsh->free = newlen - len;    // 返回 sds    return newsh->buf;}

同时sds是惰性空间释放,当sds字符串缩短操作时不会立即free()空间,而是使用free属性将这些字节的数量记录起来,并等待将来使用。

C字符串中的字符必须符合某种编码,比如(ASCII),并且出了字符串末尾之外,字符串里不能包含空字符,否则会认为已经到结尾,因此c字符串只能保存文本数据,而不能保存图片,音频,视频等二进制数据。

同时c字符串提供的api是不安全的,比如在修改内容时忘记分配空间。

总结:

C字符串 SDS
获取字符串长度复杂度为O(n) 获取字符串长度复杂度为O(1)
API是不安全的,可能造成缓冲区溢出 API是安全的,可能造成缓冲区溢出
修改N次字符串必然进行N次内存分配 修改N次字符串最多进行N次内存分配
只能保存文本数据 可以保存文本数据和二进制数据

 

 

对SET key HELLO 命令执行后,内部储存结构示意图。

6dcf6a1417a511b37210f84c4cef5754196.jpg

 

参考资料:

<C语言程序设计>

<Redis设计与实现>

Redis源码:https://github.com/antirez/redis/tree/unstable/src

---------------------------分割线----------------------------

看了redis源码才知道,原来c语言还能这样封装!

 

转载于:https://my.oschina.net/wang520/blog/2644246

你可能感兴趣的文章
hadoop之 hadoop用途方向
查看>>
慈溪新城区规划方案
查看>>
隐写 小案例
查看>>
Delphi实现类似Android锁屏的密码锁控件
查看>>
[Java方向]SpringMVC之“初出茅庐”(北大青鸟系列视频教程)
查看>>
23、OSPF配置实验之特殊区域Totally NSSA
查看>>
浏览器客户区是指的浏览器哪一部分
查看>>
解决方案: scp/ssh 的登陆提示很慢 (Linux)
查看>>
Nginx 负载均衡
查看>>
java-第四章-升级我行我素购物管理系统,实现计算会员折扣
查看>>
理解volatile
查看>>
Inno Setup 基本视频教程
查看>>
UEFI MBR GPT BIOS DELL SSD Windows 7
查看>>
linux chmod命令参数及用法详解-文件文件夹权限设定命令
查看>>
使用logrotate实现日志轮训压缩
查看>>
购物车
查看>>
CNAME记录和A记录
查看>>
Linux Shell 字符串操作(长度/查找/替换)详解
查看>>
Linux本地登录另一台Linux服务器命令
查看>>
linux格式化大硬盘
查看>>