最近学习Go语言,看了慕课网Google工程师深度讲解go语言这门课,现在把课程中的爬虫项目整理出来,同时也作为自己学习的一个总结。本人菜鸟一枚,如有任何问题,欢迎大家指正。
一、环境准备
1、go语言安装
Go安装包下载网址:https://studygolang.com/dl
选择对应的版本下载即可
Windows用户推荐使用msi安装,简单方便,而且会自动配置好环境变量
go version
2、环境配置
然后我们需要设置Go语言工作空间gopath目录(Go语言开发的项目路径)
Windows 设置如下,新建一个环境变量名称叫做GOPATH,值为你的工作目录,例如GOPATH=D:Workspace
以上 %GOPATH% 目录约定有三个子目录:
src 存放源代码(比如:.go .c .h .s等)
pkg 编译后生成的文件(比如:.a)
bin 编译后生成的可执行文件
bin和pkg目录可以不创建,go命令会自动创建(如 go install),只需要创建src目录即可。
3、Goland安装与破解
(1)安装
选择对应版本下载安装即可
(2)破解
关于Goland的破解方式网上已经又很多文章,可以参考这篇:https://blog.csdn.net/dodod20...
二、项目介绍
本次爬虫爬取的是珍爱网的用户信息数据,爬取步骤为:
- 1.进入珍爱网城市页面爬取所有的城市信息
- 2.进入城市详情页爬取用户URL地址信息
- 3.进入用户详情页爬取所需要的用户信息
爬虫算法如下
在下篇博客中,会实现一个单机版的爬虫项目,敬请关注。