我正在尝试处理一个包含200个URL的文件，并使用每个URL发出一个HTTP请求。我每次最多需要同时处理10个URL(代码应阻塞，直到10个URL完成处理)。试图在旅途中解决它，但我一直使用200个并发连接来处理整个文件。

1
2
3
4
5
6
for scanner.Scan() { // loop through each url in the file
        // send each url to golang HTTPrequest
        go HTTPrequest(scanner.Text(), channel, &wg)
}
fmt.Println(<-channel)
wg.Wait()

我该怎么办？

  • 是什么使它限于10个goroutine？数字10在您的代码中无处可见。看看这个相关的问题：这是Go中的惯用工作线程池吗？

从channel读取的包含10个go例程的池应该满足您的要求。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
work := make(chan string)

// get original 200 urls
var urlsToProcess []string = seedUrls()

// startup pool of 10 go routines and read urls from work channel
for i := 0; i<=10; i++ {
  go func(w chan string) {
     url := <-w
  }(work)
}

// write urls to the work channel, blocking until a worker goroutine
// is able to start work
for _, url := range urlsToProcess {
  work <- url
}

清除和请求结果留给您作为练习。进入通道将被阻塞，直到其中一个辅助例程能够读取为止。

  • 抱歉，我们再次提出这个问题，但是如果您遇到了并行并行的情况，那您需要从文件中读取URL，并且确实想逐行循环浏览文件，那该怎么办？

像这样的代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
longTimeAct := func(index int, w chan struct{}, wg *sync.WaitGroup) {
        defer wg.Done()
        time.Sleep(1 * time.Second)
        println(index)
        <-w
}
wg := new(sync.WaitGroup)
ws := make(chan struct{}, 10)
for i := 0; i < 100; i++ {
        ws <- struct{}{}
        wg.Add(1)
        go longTimeAct(i, ws, wg)
}
wg.Wait()
  • 尽管此代码可以回答问题，但提供有关此代码为何和/或如何回答问题的其他上下文，可以提高其长期价值。