非零基础自学Golang
第17章 HTTP编程(上)
17.3 爬虫框架gocolly
我们在之前学习了如何使用标准库实现HTTP爬虫【其实也不算，就实现了简单的请求，但是爬虫不就是这样嘛，拿到数据下去再进行解析】，在实际项目中，我们往往会使用一些第三方的爬虫框架来编写爬虫程序，这是因为框架是基于标准库的封装，本身会提供非常丰富且功能强大的API调用，我们只需编写简短的代码就能实现一个高性能爬虫，这里推荐使用colly爬虫框架。
colly是用Go语言实现的网络爬虫框架。colly快速优雅，在单核上每秒可以发起1K以上请求；以回调函数的形式提供了一组接口，可以实现任意类型的爬虫。
17.3.1 gocolly简介
colly的代码托管在GitHub上，官方网站为http://go-colly.org/。
colly使用起来简洁高效，有着如下特性：
- 非常清晰的API。
- 快速（单核上＞1K请求/秒）。
- 管理请求延迟和每个域的最大并发数。
- 自动Cookie和会话处理。
- 同步/异步/并行抓取。
- 高速缓存。
- 自动处理非Unicode的编码。
- Robots.txt支持。
- 分布式抓取。
- 通过环境变量配置。
- 可扩展。
下载安装colly框架只需使用如下命令：
go get -u github.com/gocolly/colly
colly的主要实体是一个Collector对象。Collector在收集器作业运行时管理网络通信并负责执行附加的回调。
要使用colly，必须先初始化Collector。
c := colly.NewCollector()
一旦得到一个colly对象，就可以向colly附加各种不同类型的回调函数（回调函数在colly中广泛使用）来控制收集作业或获取信息，回调函数如下：
// 请求发送前所运行的函数
c.OnRequest(func(r ＊colly.Request) {
fmt.Println("Visiting", r.URL)
})
// 遇到错误时所运行的函数
c.OnError(func(_ ＊colly.Response, err error) {
log.Println("Something went wrong:", err)
})
// 接收到响应后所运行的函数
c.OnResponse(func(r ＊colly.Response) {
fmt.Println("Visited", r.Request.URL)
})
// 接收到HTML网页后所运行的函数
c.OnHTML("a[href]", func(e ＊colly.HTMLElement) {
e.Request.Visit(e.Attr("href"))
})
c.OnHTML("tr td:nth-of-type(1)", func(e ＊colly.HTMLElement) {
fmt.Println("First column of a table row:", e.Text)
})
// 接收到XML格式的响应内容后所运行的函数
c.OnXML("//h1", func(e ＊colly.XMLElement) {
fmt.Println(e.Text)
})
// 请求完成后所运行的函数
c.OnScraped(func(r ＊colly.Response) {
fmt.Println("Finished", r.Request.URL)
})
colly的回调函数非常清晰，比如OnRequest表示在请求之前所需要做的事情，OnResponse表示在获取到响应后所做的事情。我们来看一个最简单的例子：
[ 动手写 17.3.1 ]
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
c := colly.NewCollector()
// 查找和访问所有的链接
c.OnHTML("a[href]", func(e *colly.HTMLElement) {
e.Request.Visit(e.Attr("href"))
})
c.OnRequest(func(r *colly.Request) {
fmt.Println("Visiting", r.URL)
})
c.Visit("http://go-colly.org/")
}
动手写17.3.1使用NewCollector创建了一个Collector对象，每当colly获取到HTML网页时，就会查找网页中的所有链接，并添加到访问队列中。
OnRequest在发起请求前就会打印输出访问的URL。c.Visit表示初始访问链接为http://go-colly.org/，这段程序的作用是访问全站链接。
程序运行的结果如下：
NewCollector在初始化时，可以传入colly.UserAgent来设置请求的UA，绕过网站的反爬策略。
OnRequest一般会在请求前设置一些模拟真实浏览器的Header头，举个例子：
[ 动手写 17.3.2]
package main
import (
"fmt"
"github.com/gocolly/colly"
)
func main() {
// NewCollector(options ...func(＊Collector)) ＊Collector
// 声明初始化NewCollector对象时可以指定Agent，连接递归深度，URL过滤以及domain限制等
c := colly.NewCollector(
colly.UserAgent("Mozilla/5.0 (Windows NT 10.0; WOW64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121Safari/537.36"))
// 发出请求时 附的回调
c.OnRequest(func(r *colly.Request) {
// Request 头部设定
r.Headers.Set("Connection", "keep-alive")
r.Headers.Set("Accept", "*/*")
r.Headers.Set("Origin", "")
r.Headers.Set("Accept-Encoding", "gzip, deflate")
r.Headers.Set("Accept-Language", "zh-CN, zh;q=0.9")
//r.Headers.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36")
fmt.Println("Visiting", r.URL)
})
// 打印状态响应码
c.OnResponse(func(r *colly.Response) {
fmt.Println("response received ", r.StatusCode)
})
// 对响应的HTML 元素处理
c.OnHTML("title", func(e *colly.HTMLElement) {
fmt.Println("title:", e.Text)
})
c.Visit("https://www.baidu.com")
}
动手写17.3.2设置了大量请求头信息，User-Agent也可以在请求头中设置，运行结果如下：
没毛病。