golang限制协程数量

虽然golang中协程开销很低，但是在一些情况下还是有必要限制一下协程的开启数，比如爬虫中的下载协程，因为受到带宽限制，开的多了也没有效果。本来想在网上找找有没协程池，类似其它语言线程池这样的东西，可以限制最大开启数。找了一番，这方面的资料非常少，难道golang不需要协程池这种东东？自己动手写一个吧。

要限制协程最大数量，就是考虑开启一个协程的时候记录一下，然后超过最大数就不再开启。可以考虑用一个变量count来记录协程开启数量，不过这种方式比较out了，golang中可以用channel来实现。

不限制的代码：

package main

import (
    "fmt"
    "strconv"
    "time"
)

// 模拟下载页面的方法
func download(url string) {
    fmt.Println("download from ",url)
}

func main() {
    urls := [100]string{}
    for i := 0; i < 100; i++ {
        urls[i] = "url" + strconv.Itoa(i)
    }
    for i := 0; i < len(urls); i++ {
        go download(urls[i])
    }

    // 休眠一下
    for {
        time.Sleep(1 * 1e9)
    }
}

根据url数量开启若干协程，每个协程会去下载页面内容，通常受到带宽的限制，协程开多了没有什么提升效果。

限制一下

package main

import (
    "fmt"
    "strconv"
    "time"
)

var (
    maxRoutineNum = 10
)

// 模拟下载页面的方法
func download(url string,ch chan int) {
    fmt.Println("download from ",url)
    // 休眠两秒模拟下载页面
    time.Sleep(2 * 1e9)
    // 下载完成则从ch推出数据
    <-ch
}

func main() {
    ch := make(chan int,maxRoutineNum)

    urls := [100]string{}
    for i := 0; i < 100; i++ {
        urls[i] = "url" + strconv.Itoa(i)
    }
    for i := 0; i < len(urls); i++ {
        // 开启下载协程前往ch塞一个数据
        // 如果ch满了则会处于阻塞，从而达到限制最大协程的功能
        ch <- 1
        go download(urls[i],ch)
    }

    // 休眠一下
    for {
        time.Sleep(1 * 1e9)
    }
}

主要就是用golang中channel的阻塞性和最大数量处理，可以考虑封装一下提供使用。

golang真的不需要协程池？