Golang 并发编程 SingleFlight模式

go-zerocore/syncx/singleflight.go

go-zeroSingleFlight

应用场景

• 查询缓存时，合并请求，提升服务性能。 假设有一个 IP 查询的服务，每次用户请求先在缓存中查询一个 IP 的归属地，如果缓存中有结果则直接返回，不存在则进行 IP 解析操作。

SingleFlight

• 防止缓存击穿。

缓存击穿问题是指：在高并发的场景中，大量的请求同时查询一个 key ，如果这个 key 正好过期失效了，就会导致大量的请求都打到数据库，导致数据库的连接增多，负载上升。

SingleFlight

应用方式

直接上代码：

func main() {
  round := 10
  var wg sync.WaitGroup
  barrier := syncx.NewSingleFlight()
  wg.Add(round)
  for i := 0; i < round; i++ {
    go func() {
      defer wg.Done()
      // 启用10个协程模拟获取缓存操作
      val, err := barrier.Do("get_rand_int", func() (interface{}, error) {
        time.Sleep(time.Second)
        return rand.Int(), nil
      })
      if err != nil {
        fmt.Println(err)
      } else {
        fmt.Println(val)
      }
    }()
  }
  wg.Wait()
}

Do()

5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410
5577006791947779410

rand.Int()

源码解析

先看代码结构：

type (
  // 定义接口，有2个方法 Do 和 DoEx，其实逻辑是一样的，DoEx 多了一个标识，主要看Do的逻辑就够了
  SingleFlight interface {
    Do(key string, fn func() (interface{}, error)) (interface{}, error)
    DoEx(key string, fn func() (interface{}, error)) (interface{}, bool, error)
  }
  // 定义 call 的结构
  call struct {
    wg  sync.WaitGroup // 用于实现通过1个 call，其他 call 阻塞
    val interface{}    // 表示 call 操作的返回结果
    err error          // 表示 call 操作发生的错误
  }
  // 总控结构，实现 SingleFlight 接口
  flightGroup struct {
    calls map[string]*call // 不同的 call 对应不同的 key
    lock  sync.Mutex       // 利用锁控制请求
  }
)

Do方法

func (g *flightGroup) Do(key string, fn func() (interface{}, error)) (interface{}, error) {
  c, done := g.createCall(key)
  if done {
    return c.val, c.err
  }
  g.makeCall(c, key, fn)
  return c.val, c.err
}

g.createCall(key)g.makeCall(c, key, fn)g.createCall(key)

从上图可知，其实关键就两步：

• 判断是第一个请求的协程（利用map）
• 阻塞住其他所有协程（利用 sync.WaitGroup）

g.createCall(key)

func (g *flightGroup) createCall(key string) (c *call, done bool) {
  g.lock.Lock()
  if c, ok := g.calls[key]; ok {
    g.lock.Unlock()
    c.wg.Wait()
    return c, true
  }
  c = new(call)
  c.wg.Add(1)
  g.calls[key] = c
  g.lock.Unlock()
  return c, false
}

先看第一步：判断是第一个请求的协程（利用map）

g.lock.Lock()
if c, ok := g.calls[key]; ok {
  g.lock.Unlock()
  c.wg.Wait()
  return c, true
}

sync.WaitGroupWait()

再看第二步：阻塞住其他所有协程（利用 sync.WaitGroup）

c = new(call)
c.wg.Add(1)
g.calls[key] = c

wg.Add(1)wg.Wait()g.makeCall(c, key, fn)

func (g *flightGroup) makeCall(c *call, key string, fn func() (interface{}, error)) {
  defer func() {
    g.lock.Lock()
    delete(g.calls, key)
    g.lock.Unlock()
    c.wg.Done()
  }()
  c.val, c.err = fn()
}

fn()

wg.Done()

SingleFlight

总结

• map 非并发安全，记得加锁。
• 巧用 sync.WaitGroup 去完成需要阻塞控制协程的应用场景。
• 通过匿名函数 fn 去封装传递具体业务逻辑，在调用 fn 的上层函数中去完成统一的逻辑处理。

项目地址

以上就是SingleFlight模式的Go并发编程学习的详细内容！