golang 模拟浏览器发送application/x

init

拉勾搜索页面： https://www.lagou.com/jobs/list_golang?city=%E6%9D%AD%E5%B7%9E&cl=false&fromSearch=true&labelWords=&suginput=
Ajax异步请求的页面： https://www.lagou.com/jobs/positionAjax.json?city=%E6%9D%AD%E5%B7%9E&needAddtionalResult=false&isSchoolJob=0
糗事百科：https://www.qiushibaike.com/

问题描述

Ajax异步加载。拉勾搜索页面的source page 不像糗事百科的 source page，没有要抓取的那些信息（如“GO开发工程师 1天前发布 10k-20k 经验1-3年 / 大专”），这些信息是Ajax异步加载的；对于异步加载的搜索结果页，无法像糗事百科那样直接从source page中匹配想要的结果。
模仿浏览器发送post请求。Ajax异步请求的网址，利用postman发送post请求，总是返回系统繁忙。

解决办法

问题1：google 浏览器按F12，按一下一个空心圆带斜杠的按钮（“clear”），先将页面的结果清楚，然后刷新页面，然后查看加载出来的那些网址的Header，在General中Request Method为POST的，差不多就是Ajax请求数据的真正地址。找到这个地址后，看“Preview”,就能查看response的格式。
问题2：

端正态度。其实找到Ajax请求的真正地址后，用postman就应该能模拟出这个Ajax请求，我之所以失败，是因为我太懒了，只填了几个Request Headers。后来我把那些Request Headers中的项全添加到Postman中,就加载出来了。然后这个事情启发了我，只要把Request Headers/Query String Parameters/Form Data 全部实现，无论使用什么，都应该返回正确的结果才对。
FormData 要注意一下数据格式，一般来说Ajax默认请求的格式，是“application/x-www-form-urlencoded”。由此我产生了一个疑问，post都有几种数据格式？对于这个问题，我找到一篇很好的文章，https://imququ.com/post/four-ways-to-post-data-in-http.html。

代码实现

type RequestInfo struct {
    Url string
    Data map[string]string //post要传输的数据，必须key value必须都是string
    DataInterface map[string]interface{}
}
//适用于 application/x-www-form-urlencoded
func (this RequestInfo) postUrlEncoded()([]byte,error){
    client := &http.Client{} 
//post要提交的数据
    DataUrlVal := url.Values{}
    for key,val := range this.Data{
        DataUrlVal.Add(key,val)
    }
    req,err := http.NewRequest("POST",this.Url,strings.NewReader(DataUrlVal.Encode()))
    if err != nil{
        return nil,err
    }
//伪装头部
    req.Header.Set("Accept","application/json, text/javascript, */*; q=0.01")
    req.Header.Add("Accept-Encoding","gzip, deflate, br")
    req.Header.Add("Accept-Language","zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4")
    req.Header.Add("Connection","keep-alive")
    req.Header.Add("Content-Length","25")
    req.Header.Add("Content-Type","application/x-www-form-urlencoded")
    req.Header.Add("Cookie","user_trace_token=20170425200852-dfbddc2c21fd492caac33936c08aef7e; LGUID=20170425200852-f2e56fe3-29af-11e7-b359-5254005c3644; showExpriedIndex=1; showExpriedCompanyHome=1; showExpriedMyPublish=1; hasDeliver=22; index_location_city=%E5%85%A8%E5%9B%BD; JSESSIONID=CEB4F9FAD55FDA93B8B43DC64F6D3DB8; TG-TRACK-CODE=search_code; SEARCH_ID=b642e683bb424e7f8622b0c6a17ffeeb; Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1493122129,1493380366; Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6=1493383810; _ga=GA1.2.1167865619.1493122129; LGSID=20170428195247-32c086bf-2c09-11e7-871f-525400f775ce; LGRID=20170428205011-376bf3ce-2c11-11e7-8724-525400f775ce; _putrc=AFBE3C2EAEBB8730")
    req.Header.Add("Host","www.lagou.com")
    req.Header.Add("Origin","https://www.lagou.com")
    req.Header.Add("Referer","https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=")
    req.Header.Add("X-Anit-Forge-Code","0")
    req.Header.Add("X-Anit-Forge-Token","None")
    req.Header.Add("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/61.0.3163.100 Safari/537.36")
    req.Header.Add("X-Requested-With","XMLHttpRequest")
//提交请求
    resp,err := client.Do(req)
    defer resp.Body.Close()
    if err != nil{
        return nil,err
    }
//读取返回值
    result,err := ioutil.ReadAll(resp.Body)
    if err != nil{
        return nil,err
    }
    return result,nil
}

golang 模拟浏览器 发送application/x

golang 模拟浏览器发送application/x