go语言实现的简单爬虫来爬取CSDN博文
4星 · 超过85%的资源 需积分: 49 889 浏览量
2015-12-22
00:59:45
上传
评论 3
收藏 4KB GO 举报 
身份认证 购VIP最低享 7 折! 
领优惠券(最高得80元）
如何实现一个爬虫系统或则简单的小脚本?一般是定义一个入口页面，然后一个页面会有其他页面的URL，于是从当前页面获取到这些URL加入到爬虫的抓取队列中，然后进入到新页面后再递归的进行上述的操作，其实说来就跟深度遍历或广度遍历一样。 golang由于其编译速度很快，而且对并发(goroutine)的天然支持,配合chan的协程处理,可以很好地实现一个稳定高效的爬虫系统.