熟悉了《Golang 网络爬虫框架gocolly/colly 一》和《Golang 网络爬虫框架gocolly/colly 二》之后就可以在网络上爬取大部分数据了。本文接下来将爬取中证指数有限公司提供的行业市盈率。(http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio)

 

定义数据结构体,

  

 

 

接下来为gocolly调用准备,将用户代理设置为Chrome浏览器,该值可以通过Fiddler工具查看

 

 

  

 

 

还可以利用Fiddler设置更多的Request Header,将爬虫工具伪装成浏览器。

 

接下来F12调用浏览器调试器查看目标数据的元素,拷贝jQuery选择器,然后改成相对路径。

 

 

 

完成所有的数据抓取代码:

 

  

 

运行后的部分结果: