golang使用空结构体值控制并发任务的数量

golang使用空结构体值控制并发任务的数量

以下是一个使用 limitCh 通道来限制并发请求的例子：

package main

import (
	"fmt"
	"net/http"
	"sync"
	"time"
)

func worker(id int, urls []string, wg *sync.WaitGroup, limitCh chan struct{}) {
	defer wg.Done()

	for _, url := range urls {
		limitCh <- struct{}{} // 获取token，占用一个通道位置，限制并发数量

		go func(url string) {
			defer func() { <-limitCh }() // 释放token，完成任务后释放通道位置

			res, err := http.Get(url)
			if err != nil {
				fmt.Printf("Error fetching %s: %s\n", url, err)
				return
			}

			fmt.Printf("Fetched %s\n", url)
			// 处理响应数据...
			_ = res.Body.Close()
		}(url)
	}
}

func main() {
	urls := []string{
		"https://example.com/page1",
		"https://example.com/page2",
		"https://example.com/page3",
		"https://example.com/page4",
		"https://example.com/page5",
	}

	maxWorkers := 2      // 最大并发数
	limitCh := make(chan struct{}, maxWorkers)
	var wg sync.WaitGroup

	wg.Add(maxWorkers)
	go worker(1, urls[:3], &wg, limitCh)
	go worker(2, urls[3:], &wg, limitCh)

	wg.Wait()
}

在上述代码中，我们创建了两个工作协程（worker），每个协程负责处理一部分URL列表。limitCh 通道的容量被设置为 maxWorkers，这样可以确保同时进行的请求不超过指定的并发数。

在每个协程的任务循环中，我们首先通过 limitCh <- struct{}{} 获取一个通道位置，限制了并发请求数量。然后，通过匿名函数启动一个新的goroutine来执行HTTP请求。在请求完成后，通过 defer func() { <-limitCh }() 释放占用的通道位置。

使用这种方式，我们可以控制同时进行的请求数量，以避免对服务器施加过大的负载。

通常使用空结构体 {} 是为了节省内存，因为空结构体不占用任何空间。它只是作为一个信号来表示某个事件的发生或者触发一些操作。