Gospider：一款基于Go语言的快速Web爬虫

  -s, --site string            待爬取的站点地址

  -S, --sites string           待爬取的站点列表

  -p, --proxy string          代理(例如: http://127.0.0.1:8080)

  -o, --output string         输出目录 

  -u, --user-agent string      需要使用的User-Agent

                                web: 随机Web User-Agent

                                mobi: 随机移动端User-Agent

      --cookie string         设置Cookie (testA=a; testB=b)

  -H, --header stringArray     设置Header

      --burp string          从Burp Http请求加载Header和Cookie

      --blacklist string       URL黑名单正则式

  -t, --threads int           并行线程数量 (默认为1)

  -c, --concurrent int         匹配域名允许的最大并发请求数（默认为5）

  -d, --depth int              限制爬取的最大深度(设置为0则表示无限递归，默认为1)

  -k, --delay int              Delay是在向匹配域名发送新请求之前需要等待的时间间隔 (秒)

  -K, --random-delay int       RandomDelay是在创建新请求之前需要等待的额外随机等待持续时间 (秒)

  -m, --timeout int            请求超时(秒) (默认为10)

      --sitemap               尝试爬取sitemap.xml

      --robots                尝试爬取robots.txt 

  -a, --other-source           从第三方查找URL (Archive.org, CommonCrawl.org, VirusTotal.com)

  -w, --include-subs           包含从第三方爬取的子域名，默认为主域名

  -r, --include-other-source   包含其他资源的URL

      --debug                启用调试模式

  -v, --verbose                启用verbose模式

      --no-redirect            禁用重定向

      --version                检查版本

  -h, --help                   显示帮助信息