视频学习:黑马Redis入门到实战

课程资料:链接 提取码:eh11

学习路线及部分内容参考:Kyle’s Blog

初识Redis

Redis是一种键值型的NoSQL数据库。键值型是指Redis中存储的数据都是以Key-Value键值对的形式存储,而Value的形式多种多样,可以使字符串、数值甚至Json;而NoSQL则是指非关系型数据库。

认识NoSQL

区别

结构化和非结构化:

  • 传统关系型数据库是结构化数据,每张表在创建的时候都有严格的约束信息,如字段名、字段数据类型、字段约束等,插入的数据必须遵循这些约束。不能随便修改

  • 而NoSQL非关系型数据库则对数据库格式没有约束,可以是键值型,也可以是文档型,甚至是图格式。

关联与非关联:

  • 传统数据库的表与表之间往往存在关联,例如外键约束

  • 而非关系型数据库不存在关联关系,要维护关系要么靠代码中的业务逻辑,要么靠数据之间的耦合

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    {
    id: 1,
    name: "张三",
    orders: [
    {
    id: 1,
    item: {
    id: 10, title: "荣耀6", price: 4999
    }
    },
    {
    id: 2,
    item: {
    id: 20, title: "小米11", price: 3999
    }
    }
    ]
    }

查询方式:

  • 传统关系型数据库会基于Sql语句做查询,语法有统一的标准

    1
    SELECT id, age FROM tb_user WHERE id = 1
  • 而不同的非关系型数据库查询语法差异较大

    1
    2
    3
    Redis:  get user:1
    MongoDB: db.user.find({_id: 1})
    elasticsearch: GET http://localhost:9200/users/1

事务:

  • 传统关系型数据库能满足事务的ACID原则(原子性、一致性、独立性及持久性)
  • 而非关系型数据库不支持事务,或者不能要个保证ACID的特性,只能实现基本的一致性

总结

SQL NoSQL
数据结构 结构化(Structured) 非结构化
数据关联 关联的(Relational) 无关联的
查询方式 SQL查询 非SQL
事务特性 ACID BASE
存储方式 磁盘 内存
扩展性 垂直 水平
使用场景 1)数据结构固定
2)对一致性、安全性要求不高
1)数据结构不固定
2)相关业务对数据安全性、一致性要求较高
3)对性能要求

认识Redis

Redis诞生于2009年,全称是Remote Dictionary Server远程词典服务器,是一个基于内存的键值型NoSQL数据库。Redis官网:https://redis.io/

特征:

  • 键值(Key-Value)型,Value支持多种不同的数据结构,功能丰富
  • 单线程,每个命令具有原子性
  • 低延迟,速度快(基于内存、IO多路复用、良好的编码)
  • 支持数据持久化(内存一旦断电就会丢失,所以增添数据持久化)
  • 支持主从集群、分片集群
  • 支持多语言客户端

安装Redis

安装部分已经在Redis入门中实现,参考我的这篇文章:Redis入门 | Wzy’s Blog (berry-wu.github.io)

开机自启

之前启动redis需要指定配置文件,如在Redis根目录下执行:redis-server ./redis.conf。开启redis前需要进入对应根目录,比较麻烦,所以这里将其设定为开机自启动

  1. 首先,新建一个系统服务文件:
1
vi /etc/systemd/system/redis.service
  1. 将下面内容复制到其中。注意修改对应路径
1
2
3
4
5
6
7
8
9
10
11
[Unit]
Description=redis-server
After=network.target

[Service]
Type=forking
ExecStart=/usr/local/redis-4.0.0/src/redis-server /usr/local/redis-4.0.0/redis.conf
PrivateTmp=true

[Install]
WantedBy=multi-user.target
  1. 然后重载系统服务:systemctl daemon-reload

  2. 以后就可以用下面这组命令来操作redis了

1
2
3
4
5
6
7
8
# 启动
systemctl start redis
# 停止
systemctl stop redis
# 重启
systemctl restart redis
# 查看状态
systemctl status redis
  1. 让redis开机自启:systemctl enable redis

Redis客户端

命令行

Redis安装完成后就自带了命令行客户端:redis-cli,使用方式:redis-cli [options] [commonds]

其中常见的options有:

  • -h 127.0.0.1:指定要连接的redis节点的IP地址,默认是127.0.0.1
  • -p 6379:指定要连接的redis节点的端口,默认是6379
  • -a 123456:指定redis的访问密码

其中的commonds就是Redis的操作命令,例如:

  • ping:与redis服务端做心跳测试,服务端正常会返回PONG

Redis默认有16个仓库,编号从0至15. 通过配置文件可以设置仓库数量,但是不超过16,并且不能自定义仓库名称

  • 可以通过select命令来选择数据库:select 0

图形化

安装包:https://github.com/lework/RedisDesktopManager-Windows/releases

Redis常见命令

Redis是典型的key-value数据库,key一般是字符串,而value包含很多不同的数据类型

image-20230712193333592

可以通过浏览使用文档了解用法:https://redis.io/commands/

也可以通过在命令行使用:help @xxx 进行相应数据结构的用法了解:

image-20230712193813110

通用命令

  • KEYS:查看符合模板的所有key
    • 不建议在生产环境设备上使用,因为Redis是单线程的,执行查询的时候会阻塞其他命令,当数据量很大的时候,使用KEYS进行模糊查询,效率很差
  • DEL:删除一个指定的key
    • 也可以删除多个key,DEL name age,会将name和age都删掉
  • EXISTS:判断key是否存在
    • EXISTS name,如果存在返回1,不存在返回0
  • EXPIRE:给一个key设置有效期,有效期到期时该key会被自动删除
    • EXPIRE name 20,给name设置20秒有效期,到期自动删除
  • TTL:查看一个key的剩余有效期(Time-To-Live)
    • TTL name,查看name的剩余有效期,如果未设置有效期,则返回-1

通过help [command]查看一个命令的具体用法:

image-20230712194514051

String

String类型,也就是字符串类型,是Redis中最简单的存储类型。其value是字符串,不过根据字符串的格式不同,又可以分为3类

  • string:普通字符串
  • int:整数类型,可以做自增、自减操作
  • float:浮点类型,可以做自增、自减操作

不管是哪种格式,底层都是字节数组形式存储,只不过是编码方式不同,字符串类型的最大空间不能超过512M

常用命令

SET 添加或者修改一个已经存在的String类型的键值对
GET 根据key获取String类型的value
MEST 批量添加多个String类型的键值对
MGET 根据多个key获取多个String类型的value
INCR 让一个整形的key自增1
INCRBY 让一个整形的key自增并指定步长值,例如:incrby num 2,让num值自增2
INCRBYFLOAT 让一个浮点类型的数字自增并指定步长值
SETNX 添加一个String类型的键值对,前提是这个key不存在,否则不执行,可以理解为真正的新增
SETEX 添加一个String类型的键值对,并指定有效期

层级结构

Redis没有类似MySQL中Table的概念,那么我们该如何区分不同类型的Key呢?例如:需要存储用户、商品信息到Redis,有一个用户的id是1,有一个商品的id恰好也是1,如果此时使用id作为key,那么就回冲突,该怎么办?

我们可以通过给key添加前缀加以区分,不过这个前缀不是随便加的,有一定的规范

  • Redis的key允许有多个单词形成层级结构,多个单词之间用:隔开:项目名:业务名:类型:id

    这个格式也并非是固定的,可以根据自己的需求来删除/添加词条,这样我们就可以把不同数据类型的数据区分开了,从而避免了key的冲突问题

  • 例如我们的项目名叫wzy,有user和dish两种不同类型的数据,我们可以这样定义key

    • user相关的key:wzy:user:1
    • dish相关的key:wzy:dish:1

如果value是一个Java对象,例如一个User对象,则可以将对象序列化为JSON字符串后存储:

KEY VALUE
wzy:user:1 ‘{“id”:1,”name”:”tom”,”age”:23}’
wzy:dish:1 ‘{“id”:1, “name”: “烤面筋”, “price”: 4999}’

从图形界面可以看出,按照层级结构:

image-20230712200346302

Hash

Hash类型,也叫散列,其中value是一个无序字典,类似于Java中的HashMap结构

Hash结构可以将对象中的每个字段独立存储,可以针对单个字段做CRUD

KEY VALUES
field value
wzy:user:1 name jack
age 23
wzy:user:2 name tom
age 23

常用命令

命令 描述
HSET key field value 添加或者修改hash类型key的field的值
HGET key field 获取一个hash类型key的field的值
HMSET 批量添加多个hash类型key的field的值
HMGET 批量获取多个hash类型key的field的值
HGETALL 获取一个hash类型的key中的所有的field和value
HKEYS 获取一个hash类型的key中的所有的field
HINCRBY 让一个hash类型key的字段值自增并指定步长
HSETNX 添加一个hash类型的key的field值,前提是这个field不存在,否则不执行

List

Redis中的List类型与Java中的LinkedList类似,可以看做是一个双向链表结构。既可以支持正向检索和也可以支持反向检索。

特征也与LinkedList类似:

  • 有序
  • 元素可以重复
  • 插入和删除快
  • 查询速度一般

常用来存储一个有序数据,例如:朋友圈点赞列表,评论列表等。

常用命令

命令 描述
LPUSH key element … 向列表左侧插入一个或多个元素
LPOP key 移除并返回列表左侧的第一个元素,没有则返回nil
RPUSH key element … 向列表右侧插入一个或多个元素
RPOP key 移除并返回列表右侧的第一个元素
LRANGE key star end 返回一段角标范围内的所有元素
BLPOP和BRPOP time 与LPOP和RPOP类似,只不过在没有元素时等待指定时间,而不是直接返回nil

Set

Redis的Set结构与Java中的HashSet类似,可以看做是一个value为null的HashMap。因为也是一个hash表,因此具备与HashSet类似的特征:

  • 无序
  • 元素不可重复
  • 查找快
  • 支持交集、并集、差集等功能

常用命令

命令 描述
SADD key member … 向set中添加一个或多个元素
SREM key member … 移除set中的指定元素
SCARD key 返回set中元素的个数
SISMEMBER key member 判断一个元素是否存在于set中
SMEMBERS 获取set中的所有元素
SINTER key1 key2 … 求key1与key2的交集
SUNION key1 key2 … 求key1与key2的并集
SDIFF key1 key2 … 求key1与key2的差集

SortedSet

Redis的SortedSet是一个可排序的set集合,与Java中的TreeSet有些类似,但底层数据结构却差别很大。SortedSet中的每一个元素都带有一个score属性,可以基于score属性对元素排序,底层的实现是一个跳表(SkipList)加 hash表。

SortedSet具备下列特性:

  • 可排序
  • 元素不重复
  • 查询速度快

因为SortedSet的可排序特性,经常被用来实现排行榜这样的功能。

常用功能

命令 描述
ZADD key score member 添加一个或多个元素到sorted set ,如果已经存在则更新其score值
ZREM key member 删除sorted set中的一个指定元素
ZSCORE key member 获取sorted set中的指定元素的score值
ZRANK key member 获取sorted set 中的指定元素的排名
ZCARD key 获取sorted set中的元素个数
ZCOUNT key min max 统计score值在给定范围内的所有元素的个数
ZINCRBY key increment member 让sorted set中的指定元素自增,步长为指定的increment值
ZRANGE key min max 按照score排序后,获取指定排名范围内的元素
ZRANGEBYSCORE key min max 按照score排序后,获取指定score范围内的元素
ZDIFF、ZINTER、ZUNION 求差集、交集、并集

注意:所有的排名默认都是升序,如果要降序则在命令的Z后面添加REV即可:

  • 升序:ZRANK key member
  • 降序:ZREVRANK key memeber

Redis的Java客户端

目前主流的Redis的Java客户端有三种

  • Jedis:以Redis命令作为方法名称,学习成本低,简单使用。但Jedis实例是线程不安全的,多线程环境下需要基于连接池来使用
  • Lettuce:是基于Netty实现的,支持同步、异步和响应式编程方式,并且是线程安全的。支持Redis的哨兵模式、集群模式和管道模式。
  • Redisson:是在Redis基础上实现了分布式的可伸缩的java数据结构,例如Map、Queue等,而且支持跨进程的同步机制:Lock、Semaphore等待,比较适合用来实现特殊的功能需求。

Jedis和Lettuce这两个主要是提供了Redis命令对应的API,方便我们操作Redis,而SpringDataRedis又对这两种做了抽象和封装,因此我们后期会直接以SpringDataRedis来学习。

Jedis

使用步骤

  1. 导入Jedis的maven坐标

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    <!--jedis-->
    <dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.7.0</version>
    </dependency>
    <!--junit5单元测试-->
    <dependency>
    <groupId>org.junit.jupiter</groupId>
    <artifactId>junit-jupiter</artifactId>
    <version>5.8.2</version>
    <scope>test</scope>
    </dependency>
  2. 进行测试(建立连接、数据库操作、关闭连接)

    这里用到了junit5的特性;@BeforeEach执行test前操作, @AfterEach执行test后操作。

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    public class JedisTest {
    private Jedis jedis;

    //建立连接
    @BeforeEach
    void setUp() {
    //1.建立连接
    jedis = new Jedis("192.168.186.128", 6379);
    //2.设置密码
    jedis.auth("123456");
    //3.选择库
    jedis.select(0);
    }

    @Test
    void testString() {
    //存入数据
    String result = jedis.set("name", "wzy");
    System.out.println("result:"+result);
    //取出数据
    String name = jedis.get("name");
    System.out.println("name:"+name);
    }

    @Test
    void testHash() {
    jedis.hset("user:1", "name","jack");
    jedis.hset("user:1", "age","23");
    Map<String, String> all = jedis.hgetAll("user:1");
    System.out.println(all);
    }

    //关闭连接
    @AfterEach
    void tearDown() {
    if (jedis!=null){
    jedis.close();
    }
    }
    }

    输出结果:

    1
    2
    3
    4
    result:OK
    name:wzy

    {name=jack, age=23}

Junit5

上面用到了junit5,在此之前没有用到过这个用法,都是直接@Test,这里进行一下记录。

IDEA在测试类中,右键选择Generate,会比常规内容多出上面几条。

执行流程

1
2
graph LR;
BeforeAll-->BeforeEach-->Test-->AfterEach-->AfterAll

具体作用:

  • Test Method@Test,常规的测试方法
  • SetUp Method@BeforeEach,测试类中的任意一个测试方法执行前都会执行此方法
  • TearDown Method@AfterEach,测试类中的任意一个测试方法执行后都会执行此方法
  • BeforeClass Method@BeforeAll,只被执行一次,运行junit测试类时第一个被执行的方法
  • AfterClass Method@AfterAll,只被执行一次,运行junit测试类时最后一个被执行的方法

image-20230713000649371

连接池

Jedis本身是线程不安全的,并且频繁的创建和销毁连接会有性能损耗,因此我们推荐大家使用Jedis连接池代替Jedis的直连方式。

  • 创建一个utils包,存放工具类。这里创建一个jedis连接池工具类,调用静态方法从连接池中获取连接

utils.JedisConnectionFactory

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
public class JedisConnectionFactory {
private static final JedisPool jedisPool;

static {
//配置连接池
JedisPoolConfig poolConfig = new JedisPoolConfig();
poolConfig.setMaxTotal(8);
poolConfig.setMaxIdle(8);
poolConfig.setMinIdle(0);
poolConfig.setMaxWaitMillis(1000);
// 创建连接池对象,参数:连接池配置、服务端ip、服务端端口、超时时间、密码
jedisPool = new JedisPool(poolConfig, "192.168.186.128", 6379, 1000, "123456");
}

public static Jedis getJedis(){
return jedisPool.getResource();
}
}
  • 然后在测试类中的获取jedis连接部分
1
jedis = JedisConnectionFactory.getJedis();

后面我们使用SpringDataRedis的时候,可以直接在yml配置文件里配置这些内容

SpringDataRedis

SpringData是Spring中数据操作的模块,包含对各种数据库的集成,其中对Redis的集成模块就叫做SpringDataRedis

官网地址:https://spring.io/projects/spring-data-redis

  • 提供了对不同Redis客户端的整合(Lettuce和Jedis)
  • 提供了RedisTemplate统一API来操作Redis
  • 支持Redis的发布订阅模型
  • 支持Redis哨兵和Redis集群
  • 支持基于Lettuce的响应式编程
  • 支持基于JDK、JSON、字符串、Spring对象的数据序列化及反序列化
  • 支持基于Redis的JDKCollection实现

SpringDataRedis中提供了RedisTemplate工具类,其中封装了各种对Redis的操作。并且将不同数据类型的操作API封装到了不同的类型中:

API 返回值类型 说明
redisTemplate.opsForValue() ValueOperations 操作String类型数据
redisTemplate.opsForHash() HashOperations 操作Hash类型数据
redisTemplate.opsForList() ListOperations 操作List类型数据
redisTemplate.opsForSet() SetOperations 操作Set类型数据
redisTemplate.opsForzSet() ZSetOperations 操作SortedSet类型数据
redisTemplate 通用的命令

使用步骤

  1. 创建springboot项目,然后勾选对应依赖:

    image-20230713003618046

  2. 相应地maven坐标依赖

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    <dependencies>
    <!--redis依赖-->
    <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
    </dependency>

    <dependency>
    <groupId>org.projectlombok</groupId>
    <artifactId>lombok</artifactId>
    <optional>true</optional>
    </dependency>

    <!--连接池依赖-->
    <dependency>
    <groupId>org.apache.commons</groupId>
    <artifactId>commons-pool2</artifactId>
    </dependency>

    <dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-test</artifactId>
    <scope>test</scope>
    </dependency>
    </dependencies>
  3. 配置文件

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    spring:
    data:
    redis:
    host: 192.168.186.128
    port: 6379
    password: 123456
    lettuce:
    pool:
    max-active: 8
    max-idle: 8
    min-idle: 0
    max-wait: 100ms
  4. 注入RedisTemplate。因为SpringBoot的自动装配,所以可以直接注入

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    @SpringBootTest
    class SpringDataJedisDemoApplicationTests {
    @Autowired
    private RedisTemplate redisTemplate;

    @Test
    void testString() {
    redisTemplate.opsForValue().set("name", "wzy");
    Object name = redisTemplate.opsForValue().get("name");
    System.out.println("name:"+ name);
    }
    }

自定义序列化

RedisTemplate可以接收任意Object作为值写入Redis。但是写入前会把Object序列化为字节形式,默认是采用JDK序列化,得到的结果如下:\xAC\xED\x00\x05t\x00\x03wzy。会导致可读性差和内存占用过多的缺点。

可以通过自定义RedisTemplate的序列化方式,从而修改原本默认的序列化,步骤如下:

  1. 添加Jackson依赖
1
2
3
4
5
<!--Jackson依赖-->
<dependency>
<groupId>com.fasterxml.jackson.core</groupId>
<artifactId>jackson-databind</artifactId>
</dependency>
  1. RedisTemplate配置类

    注意这里的@Configuration注解,开始忘记写了,找了好久bug

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    @Configuration
    public class RedisConfig {
    @Bean
    public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory connectionFactory) {
    // 创建RedisTemplate对象
    RedisTemplate<String, Object> template = new RedisTemplate<>();
    // 设置连接工厂
    template.setConnectionFactory(connectionFactory);
    // 创建JSON序列化工具
    GenericJackson2JsonRedisSerializer jsonRedisSerializer = new GenericJackson2JsonRedisSerializer();
    // 设置Key的序列化
    template.setKeySerializer(RedisSerializer.string());
    template.setHashKeySerializer(RedisSerializer.string());
    // 设置Value的序列化
    template.setValueSerializer(jsonRedisSerializer);
    template.setHashValueSerializer(jsonRedisSerializer);
    // 返回
    return template;
    }
    }
  2. 创建一个entity包放置实体类,这里创建User类

    这里使用到了Lombok的注解,实现getset方法、空参构造器和全参构造器

    1
    2
    3
    4
    5
    6
    7
    @Data
    @NoArgsConstructor
    @AllArgsConstructor
    public class User {
    public String name;
    public Integer age;
    }
  3. 这里进行测试,对value赋值一个user对象

    1
    2
    3
    4
    5
    6
    @Test
    void testUser(){
    redisTemplate.opsForValue().set("userdata",new User("魔子",23));
    User user = (User) redisTemplate.opsForValue().get("userdata");
    System.out.println(user);
    }

    输出结果如下:

    1
    2
    3
    4
    5
    {
    "@class": "com.example.entity.User",
    "name": "魔子",
    "age": 23
    }

    额外将Java对象自动的序列化为JSON字符串,因此查询时能自动把JSON反序列化为Java对象。不过,其中记录了序列化时对应的class名称,目的是为了查询时实现自动反序列化。这会带来额外的内存开销。

StringRedisTemplate

为了节省内存空间,我们并不会使用Json序列化器来处理value,而是使用统一的string序列化器,只存储String类型的key和value。当需要存储Java对象时,手动完成对象的序列化和反序列化

Spring默认提供了一个StringDataTemplate类,它的key和value的序列化默认是String方式,省去了我们自定义的过程。

此时可以将之前定义的序列化配置类可以去掉了,直接注入默认的StringRedisTemplate即可,示例如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
//自动注入StringRedisTemplate
@Autowired
private StringRedisTemplate stringRedisTemplate;
//JSON工具
private static final ObjectMapper mapper = new ObjectMapper();

@Test
void stringTest() throws JsonProcessingException {
//创建对象
User user = new User("小明", 23);
//手动序列化
String json = mapper.writeValueAsString(user);
//写入数据
stringRedisTemplate.opsForValue().set("userInfo", json);
//获取数据
String userdata = stringRedisTemplate.opsForValue().get("userInfo");
//手动反序列化
User readValue = mapper.readValue(userdata, User.class);
System.out.println(readValue);
}
1
User=(name=小明,age=23)