在开发高并发系统时有三把利器用来保护系统：缓存、降级和限流

缓存：缓存的目的是提升系统访问速度和增大系统处理容量

降级：降级是当服务器压力剧增的情况下，根据当前业务情况及流量对一些服务和页面有策略的降级，以此释放服务器资源以保证核心任务的正常运行

限流：限流的目的是通过对并发访问/请求进行限速，或者对一个时间窗口内的请求进行限速来保护系统，一旦达到限制速率则可以拒绝服务、排队或等待、降级等处理

漏桶算法



漏斗有一个进水口 和 一个出水口，出水口以一定速率出水，并且有一个最大出水速率：

在漏斗中没有水的时候，

  • 如果进水速率小于等于最大出水速率，那么，出水速率等于进水速率，此时，不会积水
  • 如果进水速率大于最大出水速率，那么，漏斗以最大速率出水，此时，多余的水会积在漏斗中

在漏斗中有水的时候，出水口以最大速率出水

  • 如果漏斗未满，且有进水的话，那么这些水会积在漏斗中
  • 如果漏斗已满，且有进水的话，那么这些水会溢出到漏斗之外

代码实现

令牌桶算法



突发传输

令牌桶算法的原理是系统以恒定的速率产生令牌，然后把令牌放到令牌桶中，令牌桶有一个容量，当令牌桶满了的时候，再向其中放令牌，那么多余的令牌会被丢弃；当想要处理一个请求的时候，需要从令牌桶中取出一个令牌，如果此时令牌桶中没有令牌，那么则拒绝该请求。

代码实现

分布式限流

同一个微服务通常会部署多个实例，在多个实例之间做限流实际是分布式限流问题。从redis 2.6版本开始，内嵌了Lua解析器。可以利用Redis原子性执行脚本的特点来实现分布式限流。

代码实现