本文详细介绍了Golang 实现 http 代理的实现,在实际业务中有需求的同学可以学起来了!

代理是网络中的一项重要的功能,其功能就是代理网络用户去取得网络信息。形象的说:它是网络信息的中转站,对于客户端来说,代理扮演的是服务器的角色,接收请求报文,返回响应报文;对于 web 服务器来说,代理扮演的是客户端的角色,发送请求报文,接收响应报文。

代理具有多种类型,如果是根据网络用户划分的话,可以划分为正向代理和反向代理:

  • 正向代理:将客户端作为网络用户。客户端访问服务端时,先访问代理服务器,随后代理服务器再访问服务端。此过程需客户端进行代理配置,对服务端透明。
  • 反向代理:将服务端作为网络用户。访问过程与正向代理相同,不过此过程对客户端透明,需服务端进行代理配置(也可不配置)。

针对正向代理和反向代理,分别有不同的代理协议,即代理服务器和网络用户之间通信所使用的协议:

  • 正向代理:
    • http
    • https
    • socks4
    • socks5
    • vpn:就功能而言,vpn 也可以被认为是代理
  • 反向代理:
    • tcp
    • udp
    • http
    • https

接下来我们就说说 http 代理。

http 代理概述

http 代理是正向代理中较为简单的代理方式,它使用 http 协议作为客户端和代理服务器的传输协议。

http 代理可以承载 http 协议,https 协议,ftp 协议等等。对于不同的协议,客户端和代理服务器间的数据格式略有不同。

http 协议

我们先来看看 http 协议下客户端发送给代理服务器的 HTTP Header:

// 直接连接
GET / HTTP/1.1
Host: staight.github.io
Connection: keep-alive

// http 代理
GET http://staight.github.io/ HTTP/1.1
Host: staight.github.io
Proxy-Connection: keep-alive

可以看到,http 代理比起直接连接:

/http://staight.github.io/ConnectionProxy-Connection
为什么使用完整路径?

为了识别目标服务器。如果没有完整路径,且没有 Host 字段的话,代理服务器将无法得知目标服务器的地址。

为什么使用 Proxy-Connection 字段代替 Connection 字段?
Connection: keep-aliveProxy-ConnectionConnectionProxy-ConnectionConnection

http 代理 http 协议交互过程如图:

http 代理 http 协议

https 协议

接下来我们来看看 https 协议下,客户端发送给代理服务器的 HTTP Header:

CONNECT staight.github.io:443 HTTP/1.1
Host: staight.github.io:443
Proxy-Connection: keep-alive

如上,https 协议和 http 协议相比:

GETCONNECT
修改 http 报文再转发

http 代理 https 协议交互过程如图:

http 代理 https 协议

代码实现

首先,创建 tcp 服务,并且对于每个 tcp 请求,均调用 handle 函数:

// tcp 连接,监听 8080 端口
l, err := net.Listen("tcp", ":8080")
if err != nil {
 log.Panic(err)
}

// 死循环,每当遇到连接时,调用 handle
for {
 client, err := l.Accept()
 if err != nil {
  log.Panic(err)
 }

 go handle(client)
   }

然后将获取的数据放入缓冲区:

// 用来存放客户端数据的缓冲区
var b [1024]byte
//从客户端获取数据
n, err := client.Read(b[:])
if err != nil {
 log.Println(err)
 return
   }

从缓冲区读取 HTTP 请求方法,URL 等信息:

var method, URL, address string
// 从客户端数据读入 method,url
fmt.Sscanf(string(b[:bytes.IndexByte(b[:], '\n')]), "%s%s", &method, &URL)
hostPortURL, err := url.Parse(URL)
if err != nil {
 log.Println(err)
 return
   }

http 协议和 https 协议获取地址的方式不同,分别处理:

// 如果方法是 CONNECT,则为 https 协议
if method == "CONNECT" {
 address = hostPortURL.Scheme + ":" + hostPortURL.Opaque
} else { //否则为 http 协议
 address = hostPortURL.Host
 // 如果 host 不带端口,则默认为 80
 if strings.Index(hostPortURL.Host, ":") == -1 { //host 不带端口, 默认 80
  address = hostPortURL.Host + ":80"
 }
   }

用获取到的地址向服务端发起请求。如果是 http 协议,将客户端的请求直接转发给服务端;如果是 https 协议,发送 http 响应:

//获得了请求的 host 和 port,向服务端发起 tcp 连接
server, err := net.Dial("tcp", address)
if err != nil {
 log.Println(err)
 return
}
//如果使用 https 协议,需先向客户端表示连接建立完毕
if method == "CONNECT" {
 fmt.Fprint(client, "HTTP/1.1 200 Connection established\r\n\r\n")
} else { //如果使用 http 协议,需将从客户端得到的 http 请求转发给服务端
 server.Write(b[:n])
   }

最后,将所有客户端的请求转发至服务端,将所有服务端的响应转发给客户端:

//将客户端的请求转发至服务端,将服务端的响应转发给客户端。io.Copy 为阻塞函数,文件描述符不关闭就不停止
go io.Copy(server, client)
   io.Copy(client, server

完整的源代码:

package main

import (
 "bytes"
 "fmt"
 "io"
 "log"
 "net"
 "net/url"
 "strings"
)

func main() {
 // tcp 连接,监听 8080 端口
 l, err := net.Listen("tcp", ":8080")
 if err != nil {
  log.Panic(err)
 }

 // 死循环,每当遇到连接时,调用 handle
 for {
  client, err := l.Accept()
  if err != nil {
   log.Panic(err)
  }

  go handle(client)
 }
}

func handle(client net.Conn) {
 if client == nil {
  return
 }
 defer client.Close()

 log.Printf("remote addr: %v\n", client.RemoteAddr())

 // 用来存放客户端数据的缓冲区
 var b [1024]byte
 //从客户端获取数据
 n, err := client.Read(b[:])
 if err != nil {
  log.Println(err)
  return
 }

 var method, URL, address string
 // 从客户端数据读入 method,url
 fmt.Sscanf(string(b[:bytes.IndexByte(b[:], '\n')]), "%s%s", &method, &URL)
 hostPortURL, err := url.Parse(URL)
 if err != nil {
  log.Println(err)
  return
 }

 // 如果方法是 CONNECT,则为 https 协议
 if method == "CONNECT" {
  address = hostPortURL.Scheme + ":" + hostPortURL.Opaque
 } else { //否则为 http 协议
  address = hostPortURL.Host
  // 如果 host 不带端口,则默认为 80
  if strings.Index(hostPortURL.Host, ":") == -1 { //host 不带端口, 默认 80
   address = hostPortURL.Host + ":80"
  }
 }

 //获得了请求的 host 和 port,向服务端发起 tcp 连接
 server, err := net.Dial("tcp", address)
 if err != nil {
  log.Println(err)
  return
 }
 //如果使用 https 协议,需先向客户端表示连接建立完毕
 if method == "CONNECT" {
  fmt.Fprint(client, "HTTP/1.1 200 Connection established\r\n\r\n")
 } else { //如果使用 http 协议,需将从客户端得到的 http 请求转发给服务端
  server.Write(b[:n])
 }

 //将客户端的请求转发至服务端,将服务端的响应转发给客户端。io.Copy 为阻塞函数,文件描述符不关闭就不停止
 go io.Copy(server, client)
 io.Copy(client, server)
}

添加代理,然后运行:

添加代理
运行
文章转载:Go开发大全