GO语言实现一个简单的网页爬虫

具体思路是利用go语言提供的远程包github.com/PuerkitoBio/goquery，但是有时候链接会出错，导致程序编译不通过，我们可以直接将这个包下载到本地，然后将import导入地址修改为本地的goquery地址即可

首先建立文件，保存从网页上扒下来的内容

接下来使用goquery.NewDocument("//wangzhi//"),来获取网页的那种

接下来使用goquery.NewDocument("//wangzhi//").Find(".标签名").Each(func(i int,s *goquery.Selecton){

//可以做一些操纵

})把符合条件的存储到s 里面，可以调用s.Text()来查看

代码如下

package main
import (
	"fmt"
	"./goquery"
	"os"
	"log"
)
func GetJokes() {

	file :="news.txt"
	fout ,err:=os.Create(file)
	defer fout.Close()
	if err!=nil{
		fmt.Println(file,err)
		return
	}
	doc, err := goquery.NewDocument("http://news.qq.com")
	if err != nil {
		log.Fatal(err)
	}
	doc.Find(".linkto").Each(func(i int, s *goquery.Selection) {
		fout.WriteString(s.Text())
		fout.WriteString("\n")
	})
}
func main() {

	GetJokes()
}

只有短短的不到30行代码，但是完全可以达到需要的功能

运行 go run test.go后得到news.txt文件

vim news.txt