非零基础自学Golang
第17章 HTTP编程(上)
17.2 HTTP客户端
17.2.3 发起GET请求
从现在开始我们将会学习如何使用Go语言模拟浏览器发起HTTP请求。
发起请求前需要创建一个请求对象，使用NewRequest创建。
func NewRequest(method, urlStr string, body io.Reader) (＊Request, error)
NewRequest使用指定的方法、网址和可选的body创建并返回一个新的*Request。我们先来看如何发起一个GET请求：
[ 动手写 17.2.1 ]
package main
import (
"fmt"
"net/http"
)
func main() {
client := &http.Client{}
request, err := http.NewRequest("GET", "http://www.baidu.com", nil)
if err != nil {
fmt.Println(err)
}
response, err := client.Do(request)
fmt.Println(response.StatusCode)
}
动手写17.2.1对百度网站发起了一次GET请求，程序的主要流程为创建了一个客户端对象client和一个请求对象request，分别对其进行初始化，request初始化需要提供请求方法和请求地址。
这两个对象初始化后，client客户端调用Do方法发起一次请求并获得服务端的响应，最后程序打印出响应的状态码，执行结果如下：
如果想要打印响应的主要内容body，可以使用标准包ioutil中的ReadAll方法来读取响应的流数据。
当然现在 2022年12 月7日，现版本的Go 已经过时了很多 ioutil，用io代替
[ 动手写 17.2.2]
package main
import (
"fmt"
"io"
"net/http"
)
func main() {
client := &http.Client{}
request, err := http.NewRequest("GET", "http://www.baidu.com", nil)
if err != nil {
fmt.Println(err)
}
response, err := client.Do(request)
res, err := io.ReadAll(response.Body)
if err != nil {
fmt.Println(err)
}
// 打印body
fmt.Println(string(res))
}
动手写17.2.2发起请求并打印输出了响应内容body，由于Body的类型为io.ReadCloser，不能直接读取其中的内容，需要通过io.ReadAll读取，返回字节数组，最后转化成字符串进行输出。
运行结果如下：
反正就是 一堆，没毛病
当一个网站有一些资源需要登录后才能访问时，我们希望能够通过Go语言实现批量自动化爬取这些内容，那如何让服务器知道我们用Go编写的爬虫客户端是已登录状态？这就需要设置使用Cookie，Cookie通常用来标识客户端的登录状态。
Request实例可以使用AddCookie方法给请求添加Cookie。
[ 动手写 17.2.3]
package main
import (
"fmt"
"net/http"
"strconv"
)
func main() {
client := &http.Client{}
request, err := http.NewRequest("GET", "http://www.baidu.com", nil)
if err != nil {
fmt.Println(err)
}
// 使用http.Cookie 结构体初始化一个 cookie 键值对
cookie := &http.Cookie{Name: "userId", Value: strconv.Itoa(12345)}
// 使用前面构建的 request 方法AddCookie 往请求中添加Cookie
request.AddCookie(cookie)
request.AddCookie(&http.Cookie{Name: "session", Value: "YWRtaW4="})
response, err := client.Do(request)
fmt.Println(response.Request.Cookies())
}
动手写17.2.3使用AddCookie添加了userId和session两个Cookie，通常服务端使用session来判断客户端是否为登录用户，运行结果如下：
做了反爬策略的网站，一般都会根据Header头中的User-Agent的值解析判断是浏览器还是爬虫，这时我们需要设置成浏览器的UA来绕过这类反爬策略。
Request可以直接使用request.Header.Set(key,value)来设置Header。
[ 动手写 17.2.4]
package main
import (
"fmt"
"net/http"
)
func main() {
client := &http.Client{}
request, err := http.NewRequest("GET", "http://www.baidu.com", nil)
if err != nil {
fmt.Println(err)
}
// 设置request的Header，具体可参考http协议
request.Header.Set("Accept", "text/html, application/xhtml+xml, application/xml;q=0.9, */*;q=0.8")
request.Header.Set("Accept-Charset", "GBK, utf-8;q=0.7, *;q=0.3")
request.Header.Set("Accept-Encoding", "gzip, deflate, sdch")
request.Header.Set("Accept-Language", "zh-CN, zh;q=0.8")
request.Header.Set("Cache-Control", "max-age=0")
request.Header.Set("Connection", "keep-alive")
request.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36")
response, err := client.Do(request)
fmt.Printf("%#v", response.Request.Header)
}
动手写17.2.4使用了自定义的Header来发起请求，运行结果如下：
在上一小节中，我们提到了Client类型含有GET方法，而GET方法是对Do方法的封装，使用GET方法可以快速发起一个GET请求。
http包中也有一个叫GET的方法，底层就是调用Client的GET方法。
[ 动手写17.2.5]
package main
import (
"fmt"
"io"
"net/http"
)
func main() {
// http.Get 实际上是DefaultClient.Get(url), Get 函数是高度封装的, 只有一个参数url
// 对于一般的 http Request 是可以使用, 但是不能定制 Request
response, err := http.Get("http://www.baidu.com")
if err != nil {
fmt.Println(err)
}
defer response.Body.Close()
body, _ := io.ReadAll(response.Body)
fmt.Println(string(body))
}
运行结果
OK，没问题