Go语言网络库net/http
Http 协议(Hyper Text Transfer Protocol,超文本传输协议)是一个简单的请求-响应协议,它通常运行在 TCP 之
上。超文本传输协议是互联网上应用最为广泛的一种网络传输协议,所有的WWW文件都必须遵守这个标准。
Http 协议是基于客户端 Cilent /服务器 Server 模式,且面向连接的。简单的来说就是客户端 Cilent 向服务器
Server 发送 http 请求 Request,服务器 Server 接收到 http 服务请求 Request 后会在 http 响应Response 中回
送所请求的数据。
Go语言内置的 net/http
包十分的优秀,提供了HTTP客户端和服务端的实现。
官网地址:https://pkg.go.dev/net/http
1、HTTP客户端
通过 Get、Head、Post 和 PostForm 函数发出 HTTP/HTTPS 请求。
resp, err := http.Get("http://example.com/")resp, err := http.Post("http://example.com/upload", "image/jpeg", &buf)resp, err := http.PostForm("http://example.com/form",url.Values{"key": {"Value"}, "id": {"123"}})
1.1 发送Get请求
不带请求参数:
package mainimport ("fmt""io/ioutil""net/http"
)func main() {resp, err := http.Get("http://www.baidu.com")if err != nil {fmt.Printf("get failed, err:%v\n", err)return}// 程序在使用完response后必须关闭回复的主体defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Printf("read from resp.Body failed, err:%v\n", err)return}fmt.Print(string(body))
}
带参数,参数需要使用到 net/url 来处理。
package mainimport ("fmt""io/ioutil""net/http""net/url"
)func main() {apiUrl := "http://127.0.0.1:9090/get"// URL paramdata := url.Values{}data.Set("name", "mi")data.Set("age", "18")u, err := url.ParseRequestURI(apiUrl)if err != nil {fmt.Printf("parse url requestUrl failed, err:%v\n", err)}// URL encodeu.RawQuery = data.Encode()// http://127.0.0.1:9090/get?age=18&name=mifmt.Println(u.String())resp, err := http.Get(u.String())if err != nil {fmt.Printf("post failed, err:%v\n", err)return}defer resp.Body.Close()b, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Printf("get resp failed, err:%v\n", err)return}// {"status": "ok"}fmt.Println(string(b))
}
对应 server 端的处理:
package mainimport ("fmt""net/http"
)func getHandler(w http.ResponseWriter, r *http.Request) {defer r.Body.Close()data := r.URL.Query()// mifmt.Println(data.Get("name"))// 18fmt.Println(data.Get("age"))answer := `{"status": "ok"}`w.Write([]byte(answer))
}func main() {http.HandleFunc("/get", getHandler)err := http.ListenAndServe(":9090", nil)if err != nil {fmt.Printf("http server failed, err:%v\n", err)return}
}
带 header 头部信息:
package mainimport ("fmt""net/http""net/http/httputil"
)func main() {url := "http://127.0.0.1:9090/get"request, err := http.NewRequest(http.MethodGet, url, nil)if err != nil {panic(err)}request.Header.Add("Authorization", "jhs8723sd2dshd2")request.Header.Add("User-Agent", "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1")resp, err := http.DefaultClient.Do(request)if err != nil {panic(err)}defer resp.Body.Close()// //获取网页内容s, err := httputil.DumpResponse(resp, true)if err != nil {panic(err)}fmt.Printf("%s", s)
}
1.2 发送POST请求
package mainimport ("fmt""io/ioutil""net/http""strings"
)func main() {url := "http://127.0.0.1:9090/post"// 表单数据// contentType := "application/x-www-form-urlencoded"// data := "name=mi&age=18"// jsoncontentType := "application/json"data := `{"name":"mi","age":18}`resp, err := http.Post(url, contentType, strings.NewReader(data))if err != nil {fmt.Printf("post failed, err:%v\n", err)return}defer resp.Body.Close()b, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Printf("get resp failed, err:%v\n", err)return}// {"status": "ok"}fmt.Println(string(b))
}
对应 server 端:
package mainimport ("fmt""io/ioutil""net/http"
)func postHandler(w http.ResponseWriter, r *http.Request) {defer r.Body.Close()// 1. 请求类型是application/x-www-form-urlencoded时解析form数据r.ParseForm()// 打印form数据// map[]fmt.Println(r.PostForm)fmt.Println(r.PostForm.Get("name"), r.PostForm.Get("age"))// 2. 请求类型是application/json时从r.Body读取数据b, err := ioutil.ReadAll(r.Body)if err != nil {fmt.Printf("read request.Body failed, err:%v\n", err)return}// {"name":"mi","age":18}fmt.Println(string(b))answer := `{"status": "ok"}`w.Write([]byte(answer))
}func main() {http.HandleFunc("/post", postHandler)err := http.ListenAndServe(":9090", nil)if err != nil {fmt.Printf("http server failed, err:%v\n", err)return}
}
1.3 PostForm方式
package mainimport ("fmt""io/ioutil""net/http""net/url"
)func main() {resp, err := http.PostForm("http://127.0.0.1:9090/post",url.Values{"key": {"Value"}, "id": {"123"}})if err != nil {fmt.Println(err)}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Println(err)}fmt.Println(string(body))
}
json:
package mainimport ("bytes""encoding/json""fmt""io/ioutil""net/http"
)func main() {data := make(map[string]interface{})data["site"] = "www.baidu.com"data["name"] = "tom"bytesData, _ := json.Marshal(data)resp, _ := http.Post("http://httpbin.org/post", "application/json", bytes.NewReader(bytesData))body, _ := ioutil.ReadAll(resp.Body)fmt.Println(string(body))
}
带有 headers 参数:
package mainimport ("fmt""io/ioutil""net/http""strings"
)func main() {client := &http.Client{}req, err := http.NewRequest("POST", "http://www.01happy.com/demo/accept.php", strings.NewReader("name=cjb"))if err != nil {fmt.Println(err)}req.Header.Set("Content-Type", "application/x-www-form-urlencoded")req.Header.Set("Cookie", "name=anny")resp, err := client.Do(req)defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {fmt.Println(err)}fmt.Println(string(body))
}
1.4 自定义Client
要管理 HTTP 客户端的头域、重定向策略和其他设置,创建一个 Client:
package mainimport ("fmt""net/http""net/http/httputil"
)func main() {request, err := http.NewRequest(http.MethodGet, "http://www.baidu.com", nil)if err != nil {panic(err)}client := http.Client{CheckRedirect: func(req *http.Request, via []*http.Request) error {fmt.Println("Redirect:", req)return nil},}request.Header.Add("User-Agent", "User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1")resp, err := client.Do(request)if err != nil {panic(err)}defer resp.Body.Close()s, err := httputil.DumpResponse(resp, true)fmt.Printf("%s", s)
}
1.5 自定义Transport
要管理代理、TLS 配置、keep-alive、压缩和其他设置,创建一个Transport:
package mainimport ("crypto/tls""crypto/x509""fmt""io/ioutil""net/http"
)// 使用匹配的证书方法
func main() {// *.pem文件的内容rootCA := ""roots := x509.NewCertPool()ok := roots.AppendCertsFromPEM([]byte(rootCA))if !ok {panic("failed to parse root certificate")}client := &http.Client{Transport: &http.Transport{TLSClientConfig: &tls.Config{RootCAs: roots},DisableCompression: true,},}resp, err := client.Get("http://baidu.com")if err != nil {panic(err)}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)if err != nil {panic(err)}if err != nil {fmt.Printf("read from resp.Body failed, err:%v\n", err)return}fmt.Print(string(body))
}
Client 和 Transport 类型都可以安全的被多个 goroutine 同时使用。出于效率考虑,应该一次建立、尽量重用。
package mainimport ("crypto/tls""fmt""io/ioutil""net/http"
)// 跳过安全检查
func main() {tr := &http.Transport{TLSClientConfig: &tls.Config{InsecureSkipVerify: true},}client := &http.Client{Transport: tr}resp, err := client.Get("https://localhost:8081")if err != nil {fmt.Println("error:", err)return}defer resp.Body.Close()body, err := ioutil.ReadAll(resp.Body)fmt.Println(string(body))
}
2、服务端
2.1 默认的Server
ListenAndServe 使用指定的监听地址和处理器启动一个 HTTP 服务端,处理器参数通常是 nil,这表示采用包变量
DefaultServeMux 作为处理器。
Handle 和 HandleFunc 函数可以向 DefaultServeMux 添加处理器。
package mainimport ("log""net/http"
)type httpServer struct {
}func (server httpServer) ServeHTTP(w http.ResponseWriter, r *http.Request) {w.Write([]byte(r.URL.Path))
}func main() {var server httpServerhttp.Handle("/foo", server)http.HandleFunc("/bar", func(w http.ResponseWriter, r *http.Request) {w.Write([]byte(r.URL.Path))})log.Fatal(http.ListenAndServe(":9090", nil))
}
事件处理器的 Handler 接口定义如下:
type Handler interface {ServeHTTP(ResponseWriter, *Request)
}
只要实现了这个接口,就可以实现自己的 handler 处理器。
如果 ListenAndServe() 传入的第一个参数地址为空,则服务器在启动后默认使用 http://127.0.0.1:8080
地址
进行访问。
如果这个函数传入的第二个参数为 nil,则服务器在启动后将使用默认的多路复用器DefaultServeMux
。
2.2 默认的Server示例
使用 Go 语言中的 net/http
包来编写一个简单的接收 HTTP 请求的 Server 端示例,net/http
包是对 net 包的
进一步封装,专门用来处理 HTTP 协议的数据。具体的代码如下:
package mainimport ("fmt""net/http"
)func sayHello(w http.ResponseWriter, r *http.Request) {fmt.Fprintln(w, "Hello shanghai!")
}func main() {http.HandleFunc("/", sayHello)err := http.ListenAndServe(":9090", nil)if err != nil {fmt.Printf("http server failed, err:%v\n", err)return}
}
将上面的代码编译之后执行,打开你电脑上的浏览器在地址栏输入127.0.0.1:9090
回车:
# 输出
Hello shanghai!
package mainimport ("encoding/json"_ "encoding/json""fmt""io/ioutil""net/http""net/url""strings"
)var (api = "http://127.0.0.1:9090/"token = "9adf92861"
)type Result struct {Code int `json:"code"`Msg string `json:"msg"`
}type Resp struct {Code string `json:"code"`Msg string `json:"msg"`
}func wechatUrlHandle(w http.ResponseWriter, r *http.Request) {// 获取链接地址var wechatUrl stringvalues := r.URL.Query()wechatUrl = values.Get("url")// 验证URL的正确性targetUrl, err := url.ParseRequestURI(wechatUrl)if err != nil {fmt.Printf("parse url failed, err:%v\n", err)}fmt.Printf(fmt.Sprintf("url: %v", targetUrl))// 拼接参数发起请求data := fmt.Sprintf("token=%s&url=%s", token, targetUrl.String())headers := "application/x-www-form-urlencoded"res, err := http.Post(api, headers, strings.NewReader(data))if err != nil {fmt.Printf("post failed, err: %v\n", err)return}// 关闭请求资源defer res.Body.Close()body, err := ioutil.ReadAll(res.Body)if err != nil {fmt.Fprintf(w, fmt.Sprintf("get resp failed. err: %v\n", err))return}var info Resultvar ress Respw.Header().Set("Content-Type", "application/json")if err := json.Unmarshal(body, &info); err == nil {fmt.Println(info.Code, info.Msg)ress.Code = "200"ress.Msg = "Success"t, _ := json.Marshal(ress)w.Write(t)} else {ress.Code = "200"ress.Msg = "failure"t, _ := json.Marshal(ress)fmt.Println("err: ", err)w.Write(t)}
}func main() {http.HandleFunc("/wechat/url", wechatUrlHandle)// 处理器参数一般为nilerr := http.ListenAndServe(":9090", nil)if err != nil {fmt.Printf("Http server failed. err: %v\n", err)return}}
2.3 自定义Server
要管理服务端的行为,可以创建一个自定义的 Server。
用户可以通过 Server 结构体对服务器进行更详细的配置,包括设置地址,为请求读取操作设置超过时间等等。
package mainimport ("log""net/http""time"
)type httpServer struct {
}func (server httpServer) ServeHTTP(w http.ResponseWriter, r *http.Request) {w.Write([]byte(r.URL.Path))
}func main() {s := &http.Server{Addr: ":9090",Handler: httpServer{},ReadTimeout: 10 * time.Second,WriteTimeout: 10 * time.Second,MaxHeaderBytes: 1 << 20,}log.Fatal(s.ListenAndServe())
}
2.4 多路复用器
多路复用器的基本原理:根据请求的 URL 地址找到对应的处理器,调用处理器对应的 ServeHTTP()
方法处理请
求。
DefaultServeMux 是 net/http 包的默认多路复用器,其实就是 ServeMux 的一个实例。
HandleFunc() 函数用于为指定的 URL 注册一个处理器,HandleFunc() 处理器函数会在内部调用
DefaultServeMux 对象对应的 HandleFunc 方法。
2.4.1 ServeMux与DefaultServeMux
我们可以使用默认多路复用器注册多个处理器,达到与处理器一样的作用。
下面演示如何通过默认多路复用器创建自己的服务器。
package mainimport ("fmt""net/http"
)//定义多个处理器
type handle1 struct{}func (h1 *handle1) ServeHTTP(w http.ResponseWriter, r *http.Request) {fmt.Fprintf(w, "handle one")
}type handle2 struct{}func (h2 *handle2) ServeHTTP(w http.ResponseWriter, r *http.Request) {fmt.Fprintf(w, "handle two")
}func main() {handle1 := handle1{}handle2 := handle2{}// Handler:nil表明服务器使用默认的多路复用器DefaultServeMuxs := &http.Server{Addr: "127.0.0.1:8080",Handler: nil,}// Handle函数调用的是多路复用器DefaultServeMux.Handle方法http.Handle("/handle1", &handle1)http.Handle("/handle2", &handle2)s.ListenAndServe()
}
我们通过使用自己的 handle1 和 handle2 来指定两个处理器,http.Handle() 函数可以调用
DefaultServeMux.Handle() 方法来处理请求。
Handle: nil 对应的是处理器是DefaultServeMux。
在ServeMux对象的ServeHTTP()方法中,根据URL查找我们注册的服务器然后请求交给它处理。
虽然默认的多路复用器很好用,但仍然不推荐使用,因为它是一个全局变量,所有的代码都可以修改它。有些第三
方库中可能与默认复用器产生冲突。所以推荐的做法是自定义。
2.4.2 自定义多路复用器
package mainimport ("fmt""net/http"
)func newservemux(w http.ResponseWriter, r *http.Request) {fmt.Fprintf(w, "NewServeMux")
}func main() {mux := http.NewServeMux()mux.HandleFunc("/", newservemux)s := &http.Server{Addr: ":8081",Handler: mux,}s.ListenAndServe()
}
NewServeMux 实质上还是 ServeMux。
2.4.3 ServeMux的路由匹配
我们现在需要绑定三个URL分别为/,/happy,/bad。
package mainimport ("fmt""net/http"
)func newservemux(w http.ResponseWriter, r *http.Request) {fmt.Fprintf(w, "NewServeMux")
}func newservemuxhappy(w http.ResponseWriter, r *http.Request) {fmt.Fprintf(w, "Newservemuxhappy")
}func newservemuxbad(w http.ResponseWriter, r *http.Request) {fmt.Fprintf(w, "NewServeMuxbad")
}
func main() {mux := http.NewServeMux()mux.HandleFunc("/", newservemux)mux.HandleFunc("/happy", newservemuxhappy)mux.HandleFunc("/bad", newservemuxbad)s := &http.Server{Addr: ":8080",Handler: mux,}s.ListenAndServe()
}
2.5 HttpRouter
ServeMux 的一个缺陷是无法使用变量实现 URL 模式匹配,而 HttpRouter 可以,HttpRouter 是一个高性能的第
三方 HTTP 路由包,弥补了 net/http 包中的路由不足问题。
$ go get github.com/julienschmidt/httprouter
httprouter 的使用首先得使用 New() 函数,生成一个 *Router 路由对象,然后使用 GET(),方法去注册匹配的函
数,最后再将这个参数传入 http.ListenAndServe 函数就可以监听服务。
package mainimport ("net/http""github.com/julienschmidt/httprouter"
)func Hello(w http.ResponseWriter, r *http.Request, _ httprouter.Params) {w.Write([]byte("Hello,httprouter!"))
}func main() {router := httprouter.New()router.GET("/", Hello)http.ListenAndServe(":8080", router)
}
更为重要的是,它为 URL 提供了两种匹配模式:
/user/:pac
:精准匹配 /user/pac/user/*pac
:匹配所有模式 /user/hello
Pattern: /user/:user/user/gordon match/user/you match/user/gordon/profile no match/user/ no match
Pattern: /src/*filepath/src/ match/src/somefile.go match/src/subdir/somefile.go match
package mainimport ("fmt""log""net/http""github.com/julienschmidt/httprouter"
)func Index(w http.ResponseWriter, r *http.Request, _ httprouter.Params) {fmt.Fprint(w, "Welcome!\n")
}func Hello(w http.ResponseWriter, r *http.Request, ps httprouter.Params) {fmt.Fprintf(w, "hello, %s!\n", ps.ByName("name"))
}func main() {router := httprouter.New()router.GET("/", Index)router.GET("/hello/:name", Hello)log.Fatal(http.ListenAndServe(":8080", router))
}
当然这里还有 POST(),DELETE() 函数的详情,就不一一介绍了。
3、其它应用
3.1 DNS
package mainimport ("fmt""log""net"
)func main() {// 根据域名返回ip地址addr, err := net.ResolveIPAddr("ip", "devops.miliantech.com")if err != nil {return}// 2023/07/24 20:45:43 devops.miliantech.com 对应地址ip地址----> 172.21.6.96log.Println("devops.miliantech.com 对应地址ip地址---->", addr)// 查找DNS A记录iprecords, _ := net.LookupIP("devops.miliantech.com")for _, ip := range iprecords {// LookupIP -----> 172.21.6.96fmt.Println("LookupIP ----->", ip)}//查找DNS CNAME记录canme, _ := net.LookupCNAME("devops.miliantech.com")// LookupCNAME -----> devops.miliantech.com.fmt.Println("LookupCNAME ----->", canme)//查找DNS PTR记录ptr, e := net.LookupAddr("172.21.6.96")if e != nil {// lookup 172.21.6.96: dnsquery: DNS name does not exist.fmt.Println(e)} else {fmt.Println(ptr)}for _, ptrval := range ptr {fmt.Println(ptrval)}//查找DNS NS记录 名字服务器记录nameserver, _ := net.LookupNS("baidu.com")for _, ns := range nameserver {/*ns记录 &{ns3.baidu.com.}ns记录 &{ns2.baidu.com.}ns记录 &{ns7.baidu.com.}ns记录 &{ns4.baidu.com.}ns记录 &{dns.baidu.com.}*/fmt.Println("ns记录", ns)}//查找DNS MX记录 邮件服务器记录mxrecods, _ := net.LookupMX("google.com")for _, mx := range mxrecods {fmt.Println("mx:", mx)}//查找DNS TXT记录 域名对应的文本信息txtrecords, _ := net.LookupTXT("baidu.com")for _, txt := range txtrecords {/*txt: _globalsign-domain-verification=qjb28W2jJSrWj04NHpB0CvgK9tle5JkOq-EcyWBgnEtxt: google-site-verification=GHb98-6msqyx_qqjGl5eRatD3QTHyVB6-xQ3gJB5UwMtxt: v=spf1 include:spf1.baidu.com include:spf2.baidu.com include:spf3.baidu.com include:spf4.baidu.com mx ptr -all*/fmt.Println("txt:", txt)}//查看本地IP地址addrs, err := net.InterfaceAddrs()if err != nil {return}for _, address := range addrs {// 检查ip地址判断是否回环地址if ipnet, ok := address.(*net.IPNet); ok && !ipnet.IP.IsLoopback() {if ipnet.IP.To4() != nil {/*本地地址 -- > 169.254.124.27本地地址 -- > 169.254.27.66本地地址 -- > 169.254.158.118本地地址 -- > 192.168.223.1本地地址 -- > 192.168.132.1本地地址 -- > 192.168.226.185*/fmt.Println("本地地址 -- >", ipnet.IP.String())}}}
}
3.2 简单的tcp请求实现
3.2.1 服务端
package mainimport ("bufio""io""log""net"
)func pes(conn net.Conn) {defer conn.Close()read := bufio.NewReader(conn)for {var p [512]byten, err := read.Read(p[:])if err != nil {if err == io.EOF {log.Println("客户端关闭链接", conn.RemoteAddr().String())return}log.Println("读取失败", err.Error())return}log.Println("客户端发送消息为", string(p[:n]))conn.Write([]byte("ok"))}
}func main() {lis, err := net.Listen("tcp", "127.0.0.1:20003")if err != nil {log.Println("listen ,err ", err.Error())return}for {conn, err := lis.Accept()if err != nil {log.Println("建立链接异常", err.Error())}go pes(conn)}
}
3.2.2 客户端
package mainimport ("bufio""io""log""net""os""strings"
)func main() {conn, err := net.Dial("tcp", "127.0.0.1:20003")if err != nil {log.Println("conn err", err.Error())return}defer conn.Close()inputreader := bufio.NewReader(os.Stdin)for {input, _ := inputreader.ReadString('\n')input = strings.Trim(input, "\r\n")if input == "q" || input == "Q" {log.Println("退出链接")return}conn.Write([]byte(input))var p [512]byten, err := conn.Read(p[:])if err != nil {if err == io.EOF {log.Println("服务端关闭链接", conn.RemoteAddr().String())return}log.Println("读取失败", err.Error())return}log.Println("服务端发送消息为", string(p[:n]))}}
3.3 粘包问题
一次只能读取固定长度的数据,解决方案:
package mainimport ("bufio""bytes""encoding/binary""fmt"
)func Encode(massge string) ([]byte, error) {len_for_msaaget := int32(len(massge))pkg := new(bytes.Buffer)err := binary.Write(pkg, binary.LittleEndian, len_for_msaaget)if err != nil {return nil, err}err = binary.Write(pkg, binary.LittleEndian, []byte(massge))if err != nil {return nil, err}return pkg.Bytes(), nil
}func Decode(reader *bufio.Reader) (string, error) {peek, err := reader.Peek(4)if err != nil {return "", err}lengthBuff := bytes.NewBuffer(peek)var length int32err = binary.Read(lengthBuff, binary.LittleEndian, &length)if err != nil {return "", err}if int32(reader.Buffered()) <= 4+length {return "", fmt.Errorf("err")}p := make([]byte, int(4+length))_, err = reader.Read(p)if err != nil {return "", err}return string(p[4:]), nil
}
3.4 简单的udp请求实现
3.4.1 服务端
package mainimport ("log""net"
)func main() {udp, err := net.ListenUDP("udp", &net.UDPAddr{IP: net.IPv4(0, 0, 0, 0),Port: 30000,})if err != nil {return}defer udp.Close()for {var p [1024]byten, addr, err := udp.ReadFromUDP(p[:])if err != nil {log.Println("udp 请求处理异常 ", err.Error())return}log.Println("请求信息", string(p[:n]), addr.String())_, err = udp.WriteToUDP([]byte("get"), addr)if err != nil {log.Println("返回信息失败", err.Error())return}}
}
3.4.2 客户端
package mainimport ("log""net"
)func main() {udp, err := net.DialUDP("udp", nil, &net.UDPAddr{IP: net.IPv4(0, 0, 0, 0),Port: 30000,})if err != nil {log.Println(err.Error())return}defer udp.Close()_, err = udp.Write([]byte("我是服务端, hello server"))if err != nil {log.Println(err.Error())return}data := make([]byte, 4096)fromUDP, u, err := udp.ReadFromUDP(data)if err != nil {log.Println("接收失败", err)return}log.Println("接收信息返回成功 ", string([]byte(data[:fromUDP])), u)}