防缓存击穿项目开源：支持高并发、卓越性能的穿透防护方案

提到Redis，它更多时候被应用于系统缓存场景。而在高并发环境下使用分布式缓存系统时，需要格外谨慎，稍有不慎就会引发缓存穿透、缓存击穿和缓存雪崩等问题。

一、项目背景

在《高并发场景下Redis如何助力秒杀系统？看完这篇我彻底懂了！》一文中，我们以秒杀系统中库存扣减为例，详细介绍了Redis如何为秒杀系统提供支持。

那么，当Redis作为系统缓存时，特别是在高并发场景中，如果设计不当，很容易导致缓存穿透、缓存击穿和缓存雪崩问题。

因此，经常有小伙伴向我提问：什么是缓存穿透？缓存击穿和缓存雪崩又是什么？这些问题是如何产生的？又该如何有效解决呢？能不能带领我们完整开发一个能够彻底解决这些缓存问题的高性能Redis组件？这样在后续的实际业务项目中就能直接应用。

基于这些需求，冰河计划带领大家从零开始，亲手打造一个能彻底解决缓存击穿、穿透和雪崩问题的高性能Redis组件。这个项目不仅仅是理论层面的阐述。

更重要的是要让大家一起动手编写生产级高并发场景下的解决方案代码，不仅掌握理论知识，更要落实到具体的代码实现。

二、适用场景

高性能Redis组件致力于彻底解决缓存击穿、穿透和雪崩问题，支持各种高并发、高性能场景，能够灵活应对复杂多变的Redis读写需求。

既然高性能Redis组件要彻底解决这些问题，那么我们首先需要明确：什么是缓存击穿、穿透和雪崩问题？理论层面又有哪些解决方案呢？

2.1 缓存击穿

如果我们为缓存中的大部分数据设置了相同的过期时间，那么在某个特定时刻，缓存中的数据就会批量失效。

2.1.1 什么是缓存击穿？

当缓存中的数据在某个时刻批量失效时，会导致大量用户请求直接落在数据库上，这种现象就被称为缓存击穿。

下图清晰展示了缓存击穿时的线程访问情况。

图片

造成缓存击穿的主要原因是：我们为缓存数据设置了统一的过期时间。如果在某个时刻从数据库获取了大量数据，并设置了相同的过期时间，这些缓存数据将在同一时刻失效，从而引发缓存击穿问题。

2.1.2 如何解决缓存击穿问题？

对于热点数据，我们可以将其设置为永不过期；或者在每次访问数据时，在缓存中更新这些数据的过期时间；对于批量入库的缓存项，我们可以为它们分配合理的过期时间，避免在同一时刻全部失效。

另一种解决方案是使用分布式锁，确保每个Key在任意时刻只有一个线程能够访问后端服务。当某个线程正在查询后端服务时，其他线程由于未获得分布式锁权限，需要进行等待。不过在高并发场景下，这种方案对分布式锁的访问压力较大。

2.2 缓存穿透

缓存穿透问题在一定程度上与缓存命中率相关。如果我们的缓存设计不合理，缓存命中率非常低，那么数据访问的绝大部分压力都会集中到后端数据库层面。

2.2.1 什么是缓存穿透？

当用户请求数据时，如果在缓存层和数据库层都没有找到符合条件的数据，也就是说，在缓存和数据库中都没有命中数据，这种情况就被称为缓存穿透。

下图直观展示了缓存穿透的现象。

图片

造成缓存穿透的主要原因是：查询某个Key对应的数据时，Redis缓存中没有相应的数据，于是直接到数据库查询。如果数据库中也不存在要查询的数据，数据库会返回空结果，而Redis不会缓存这个空结果。

这就导致每次通过这样的Key查询数据时都会直接访问数据库，Redis不会对空结果进行缓存，从而形成了缓存穿透问题。

2.2.2 如何解决缓存穿透问题？

既然我们了解了造成缓存穿透的主要原因是缓存中不存在相应数据，直接去数据库查询，数据库返回空结果后，缓存中不存储这个空结果。那么我们很自然地想到了第一种解决方案：将空对象进行缓存。当第一次从数据库中查询出空结果时，我们就将这个空对象加载到缓存，并设置合理的过期时间，这样就能在一定程度上保障后端数据库的安全。

第二种解决方案是使用布隆过滤器。布隆过滤器可以针对海量的、有规律的键值进行处理。一条记录是否存在本质上是一个Bool值，只需要使用1bit就可以存储。我们可以使用布隆过滤器将这种表示是、否等操作，压缩到一个数据结构中。比如我们熟悉的用户性别这种数据，就非常适合使用布隆过滤器来处理。

2.3 缓存雪崩

如果缓存系统出现故障，所有的并发流量就会直接到达数据库。

2.3.1 什么是缓存雪崩？

如果在某一时刻缓存集中失效，或者缓存系统出现故障，瞬间的大量并发流量就会直接到达数据库。数据库存储层的调用量会急剧增加，如果持续时间较长，数据库就会被大流量压垮，这种级联式的服务故障，就被称为缓存雪崩。

下图展示了缓存雪崩的典型现象。

图片

造成缓存雪崩的主要原因是缓存集中失效，或者缓存服务发生故障，瞬间的大并发流量压垮了数据库。

2.3.2 如何解决缓存雪崩问题？

解决缓存雪崩问题最常用的一种方案就是确保Redis的高可用性，将Redis部署为高可用集群（必要时做成异地多活），能够有效防止缓存雪崩问题的发生。

为了缓解大并发流量对数据库带来的冲击，我们也可以使用限流降级的方式来防止缓存雪崩。例如，在缓存失效后，通过加锁或者使用队列来控制读写数据库的线程数量。具体来说，就是设置某些Key只允许一个线程查询数据和写缓存，其他线程等待。这样就能在一定程度上缓解大并发流量对数据库带来的巨大冲击。

此外，我们还可以通过数据预热的方式，将可能被大量访问的数据提前加载到缓存中。在即将发生大并发访问的时候，提前手动触发加载不同的数据到缓存中，并为数据设置不同的过期时间，让缓存失效的时间点尽量均匀，不至于在同一时刻全部失效。

至此，我们已经全面了解了什么是缓存击穿、穿透和雪崩，也掌握了解决这些问题的方法。那么具体到代码该如何实现呢？这正是我们手写高性能Redis组件要解决的核心问题。

三、适应人群

大厂向来注重系统性能，特别是在高并发、大流量场景下，绝不允许出现缓存击穿、穿透和雪崩问题。否则，一旦出现问题，大量流量直接打向数据库，数据库由于根本扛不住这么大的流量而被瞬间击垮，导致整个系统陷入瘫痪，这必将为大厂带来巨大的经济损失。因此，大厂是绝不允许出现缓存击穿、穿透和雪崩问题的。

所以，熟练掌握缓存击穿、穿透和雪崩问题的基本概念与常用解决方案，已是进入大厂必备的基础技能。如果小伙伴们现在正在大厂，亦或是想要进入大厂，一直突破不了自己的技术瓶颈，平时受一些问题困扰，不知道如何下手，面试时也是一脸窘迫。想做一些缓存处理相关的中件间和业务项，不知道怎么架构，更别说研发了。简历上写道缓存穿透等内容，在面试过程中，面试官一般会基于简历循序渐进深入发问，不知道怎么回答。

所以，如果你正在被如上问题所困扰，不妨跟冰河一起学习手写高性能Redis组件项目，向前迈出一小步，或许困扰你的问题就都能迎刃而解。

四、技术选型

这次带着大家一起手写的Redis组件，在代码结构上非常精简。核心功能就是解决缓存击穿、穿透和雪崩问题，主要的技术选型如下：

容器框架：Spring（不强制依赖）

Redis框架：Redisson（不强制依赖）

单元测试：Junit（不强制依赖）

基准性能测试：JMH（不强制依赖）