深度探讨 Golang 中并发发送 HTTP 请求的最佳技术

go sendRequest("http://example.com")

处理多个请求

假设你有一个 URL 列表，并且需要向每个 URL 发送一个 HTTP 请求。如果没有 goroutine，你的程序将一个接一个地发送这些请求，这非常耗时。使用 goroutine，你几乎可以同时发送它们：

urls := []string{"http://example.com", "http://another.com", ...}  
for _, url := range urls {  
go sendRequest(url)  
}

这个循环为每个 URL 启动一个新的 goroutine，大大减少了程序发送所有请求所需的时间。

并发 HTTP 请求的方法

在本节中，我们将深入研究在 Go 中并发处理 HTTP 请求的各种方法。每种方法都有其独特的特点，了解这些可以帮助你选择适合特定需求的正确方法。

我们使用 insrequester 包（开源请求程序）来处理本文中提到的 HTTP请求

基本 Goroutine

在 Go 中并发发送 HTTP 请求的最简单方法是使用 goroutine。Goroutines 是由 Go 运行时管理的轻量级线程。这是一个基本示例：

requester := insrequester.NewRequester().Load()  
  
urls := []string{"http://example.com", "http://example.org", "http://example.net"}  
for _, url := range urls {  
go requester.Get(insrequester.RequestEntity{Endpoint: url})  
}  
  
time.Sleep(2 * time.Second) // 等待 goroutine 完成

这种方法很简单，但一旦启动就缺乏对 goroutine 的控制。通过这种方式无法获取Get方法的返回值。你需要睡眠大约一段时间来等待所有 goroutine。即使你调用 sleep，你可能仍然不确定它们是否完成。

WaitGroup

为了改进基本的 goroutine，sync.WaitGroup可用于更好的同步。它等待 goroutine 集合完成执行：

requester := insrequester.NewRequester().Load()  
wg := sync.WaitGroup{}  
  
urls := []string{"http://example.com", "http://example.org", "http://example.net"}  
wg.Add(len(urls))  
  
for _, url := range urls {  
go requester.Get(insrequester.RequestEntity{Endpoint: url})  
}  
  
wg.Wait() //等待所有要完成的 goroutine

这确保了 main 函数等待所有 HTTP 请求完成。

Channels

Channels 是 Go 中用于 goroutine 之间通信的强大功能。它们可用于从多个 HTTP 请求收集数据：

requester := insrequester.NewRequester().Load()  
  
urls := []string{"http://example.com", "http://example.org", "http://example.net"}  
ch := make(chan string, len(urls))  
  
for _, url := range urls {  
go func() {  
res, _ := requester.Get(insrequester.RequestEntity{Endpoint: url})  
ch