14-Go语言http包

Go语言内置的net/http包十分的优秀，提供了HTTP客户端和服务端的实现。

HTTP协议

超文本传输协议（HTTP，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络传输协议，所有的WWW文件都必须遵守这个标准。

设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。

HTTP客户端

Get、Head、Post和PostForm函数发出HTTP/HTTPS请求。

resp, err := http.Get("http://example.com/")
...
resp, err := http.Post("http://example.com/upload", "image/jpeg", &buf)
...
resp, err := http.PostForm("http://example.com/form",
    url.Values{"key": {"Value"}, "id": {"123"}})

程序在使用完response后必须关闭回复的主体。

resp, err := http.Get("http://example.com/")
if err != nil {
    // handle error
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
// ...

GET请求示例

就好比你用curl命令一样，你有思考过curl这个命令从哪来的吗？

package main

import (
    "fmt"
    "io"
    "net/http"
)

func main() {
    resp, err := http.Get("http://www.yuchaoit.cn/")
    if err != nil {
        fmt.Printf("get failed, err:%v\n", err)
        return
    }
    defer resp.Body.Close()
    body, err := io.ReadAll(resp.Body)
    if err != nil {
        fmt.Printf("read from resp.Body failed, err:%v\n", err)
        return
    }
    fmt.Print(string(body))
}

结果是拿到网页的html字符串信息，可以自行保存为文件，浏览器本质就是一个HTTP客户端。

GET传参

主要学习http包的Get、Post方法，对http操作基本了解，实际开发还是用框架封装了此类操作。

package main

import (
    "fmt"
    "io"
    "net/http"
    "net/url"
)

func main() {
    //1.需要访问的url
    apiUrl := "http://127.0.0.1:8080/get"
    //url构造，如 http://127.0.0.1:8080/get?name=yuchao
    urlData := url.Values{} //使用url包，初始化map，重点
    urlData.Set("name", "yuchao")
    urlData.Set("pwd", "666")

    //2.使用url包进行 get参数拼接
    u, err := url.ParseRequestURI(apiUrl)
    if err != nil {
        fmt.Printf("url解析出错：%s\n", err)
        return
    }
    u.RawQuery = urlData.Encode()// 把多个k-v的参数，转为  k=v&k=v url参数形式

    //拿到get传参的url
    fmt.Printf("新URL：%s\n", u.String())

    // 上述操作你也可以直接字符串拼接
    //apiUrl = apiUrl + "?" + urlData.Encode()
    //fmt.Printf("新URL：%s\n", u.String())

    //3.可以发请求了
    resp, err := http.Get(u.String())
    if err != nil {
        fmt.Printf("Get url err：%s\n", err)
        return
    }
    defer resp.Body.Close()
    //4.解析响应
    b, err := io.ReadAll(resp.Body)
    if err != nil {
        fmt.Printf("Read body err：%s\n", err)
        return
    }
    fmt.Println(string(b))
}

/*
➜  goStudy go run client.go
新URL：http://127.0.0.1:8080/get?name=yuchao&pwd=666
Get url err：Get "http://127.0.0.1:8080/get?name=yuchao&pwd=666": dial tcp 127.0.0.1:8080: connect: connection refused
➜  goStudy

*/

POST请求

例如登录请求的发送，提交json。

package main

import (
    "fmt"
    "io"
    "net/http"
    "strings"
)

func main() {
    url := "http://127.0.0.1:9999/post"
    // 表单数据
    //contentType := "application/x-www-form-urlencoded"
    //data := "name=yuchao&age=18"

    // json
    contentType := "application/json"
    data := `{"name":"yuchao","age":18}`
    resp, err := http.Post(url, contentType, strings.NewReader(data))
    if err != nil {
        fmt.Printf("post failed, err:%v\n", err)
        return
    }
    defer resp.Body.Close()
    b, err := io.ReadAll(resp.Body)
    if err != nil {
        fmt.Printf("get resp failed, err:%v\n", err)
        return
    }
    fmt.Println(string(b))
}

HTTP服务端

默认的Server

ListenAndServe使用指定的监听地址和处理器启动一个HTTP服务端。

Handle和HandleFunc函数可以向DefaultServeMux添加处理器。

使用Go语言中的net/http包来编写一个简单的接收HTTP请求的Server端示例，net/http包是对net包的进一步封装，专门用来处理HTTP协议的数据。

具体的代码如下

// http server
package main

import (
    "fmt"
    "net/http"
)

// 路由函数，对应如xx路由
func sayHello(w http.ResponseWriter, r *http.Request) {

    //1.返回用户发来的数据，从请求体拿数据
    fmt.Printf("Get请求参数：%s\n", r.URL.RawQuery)
    fmt.Printf("Get请求参数原始map：%s\n", r.URL.Query())

    //2.提取参数值，如用户传入的username，进行逻辑处理
    username := r.URL.Query().Get("username")
    fmt.Printf("用户传入账号：%s\n", username)

    //3.响应数据
    w.Write([]byte("hello www.yuchaoit.cn"))
}

/*
➜  ~ curl http://127.0.0.1:19999/\?name\=yuchao
hello www.yuchaoit.cn

Get请求参数：name=yuchao
Get请求参数原始map：map[name:[yuchao]]

*/

func main() {
    //注册路由函数
    http.HandleFunc("/", sayHello)

    //有普通http，也有https的函数，ListenAndServeTLS，可以不去挂nginx，单独的go程序
    err := http.ListenAndServe(":19999", nil)
    if err != nil {
        fmt.Printf("http server failed, err:%v\n", err)
        return
    }
}

明显的http太过于底层，实际开发里对web的需求很多，如今以有了很多方便的web框架，便于专注于业务，而非基础操作。

go语言强大的接口系统，很方便的在文件io，网络io处理

// Implementations must not retain p.
type Reader interface {
    Read(p []byte) (n int, err error)
}

// Writer is the interface that wraps the basic Write method.
//
// Write writes len(p) bytes from p to the underlying data stream.
// It returns the number of bytes written from p (0 <= n <= len(p))
// and any error encountered that caused the write to stop early.
// Write must return a non-nil error if it returns n < len(p).
// Write must not modify the slice data, even temporarily.
//
// Implementations must not retain p.
type Writer interface {
    Write(p []byte) (n int, err error)
}

http标准库

• http服务端是被动式访问，for死循环等待新请求
• 用goroutine处理每一个新的链接（一次独立的socket、如一个tcp链接）
  • go语言里是来了一个请求，一个新的链接单独开辟goroutine处理

context上下文

在 Go http包的Server中，每一个请求在都有一个对应的 goroutine 去处理。

请求处理函数通常会启动额外的 goroutine 用来访问后端服务，比如数据库和RPC服务。

用来处理一个请求的 goroutine 通常需要访问一些与请求特定的数据，比如终端用户的身份认证信息、验证相关的token、请求的截止时间。

为何需要context

当一个请求被取消或超时时，所有用来处理该请求的 goroutine 都应该迅速退出，然后系统才能释放这些 goroutine 占用的资源。

如何主动通知goroutine去结束？

go1.7之前没有context方案，自行通过全局变量、channel控制goroutine结束。

如何停止goroutine

package main

import (
    "fmt"
    "sync"
    "time"
)

// 利用等待组，让main goroutine等待其他协程
var wg sync.WaitGroup

func play() {
    for {
        fmt.Println("人生就是要玩！")
        time.Sleep(time.Second)
    }
    //结束
    wg.Done()
}

func main() {
    wg.Add(1)
    go play()
    wg.Wait()
    fmt.Println("程序结束了")
}

全局变量控制

• 该方案缺点在于复杂项目会出现跨包调用，难以处理变量
• 协程又开辟了协程，更不好控制。

package main

import (
    "fmt"
    "sync"
    "time"
)

// 利用等待组，让main goroutine等待其他协程
var wg sync.WaitGroup
var stop bool

func play() {
    for {
        fmt.Println("人生就是要玩！")
        time.Sleep(time.Second)
        if stop {
            break
        }
    }
    //结束
    wg.Done()
}

func main() {
    wg.Add(1)
    go play()

    //模拟开关，关闭协程，模拟运行了3秒
    time.Sleep(time.Second * 3)
    stop = true

    wg.Wait()
    fmt.Println("程序结束了")
}

channel控制

package main

import (
    "fmt"
    "sync"
    "time"
)

// 利用等待组，让main goroutine等待其他协程
var wg sync.WaitGroup

// 接收一个通道，只要出现了值，就结束协程
// 使用空结构体不吃内存
func play(exitChan chan struct{}) {
stop:
    for {
        fmt.Println("人生就是要玩！")
        time.Sleep(time.Second)
        select {
        case <-exitChan:
            break stop //label机制，结束多层循环
        default: //别漏掉default
        }
    }
    //结束
    wg.Done()
}

func main() {
    //创建信号通道
    var exitChan = make(chan struct{})

    wg.Add(1)
    go play(exitChan)

    //模拟开关，关闭协程，模拟运行了3秒
    time.Sleep(time.Second * 3)
    //给通道法结束信号
    exitChan <- struct{}{}
    close(exitChan) //关闭通道
    wg.Wait()
    fmt.Println("程序结束了")
}

官网方案context

package main

import (
    "context"
    "fmt"
    "sync"
    "time"
)

// 利用等待组，让main goroutine等待其他协程
var wg sync.WaitGroup

func play(ctx context.Context) {
stop:
    for {
        fmt.Println("人生就是要玩！")
        time.Sleep(time.Second)
        select {
        case <-ctx.Done(): //该方法，依然是从空结构体里取值，Done() <-chan struct{}
            break stop //label机制，结束多层循环
        default: //别漏掉default
        }
    }
    //结束
    wg.Done()
}

func main() {
    //ctx就是上下文接口类型，cancel等于是信号接收器，是个匿名函数
    ctx, cancel := context.WithCancel(context.Background())
    wg.Add(1)

    go play(ctx)

    //模拟开关，关闭协程，模拟运行了3秒
    time.Sleep(time.Second * 3)

    //主动结束ctx，通知协程结束
    cancel()

    wg.Wait()
    fmt.Println("程序结束了")
}

如果协程又开辟协程

理解、一根绳上的蚂蚱，通过同一个ctx可以关闭所有相关的goroutine。

package main

import (
    "context"
    "fmt"
    "sync"
    "time"
)

// 利用等待组，让main goroutine等待其他协程
var wg sync.WaitGroup

func play(ctx context.Context) {
    go play2(ctx) //协程又开辟协程
stop:
    for {
        fmt.Println("人生就是要玩！")
        time.Sleep(time.Second)
        select {
        case <-ctx.Done(): //该方法，依然是从空结构体里取值，Done() <-chan struct{}
            break stop //label机制，结束多层循环
        default: //别漏掉default
        }
    }
    //结束
    wg.Done()
}

// 和play1是同一个ctx
func play2(ctx context.Context) {
stop:
    for {
        fmt.Println("666")
        time.Sleep(time.Second)
        select {
        case <-ctx.Done(): //该方法，依然是从空结构体里取值，Done() <-chan struct{}
            break stop //label机制，结束多层循环
        default: //别漏掉default
        }
    }
    //这里不用等待组了，通过play1的等待组去控制

}

func main() {
    //ctx就是上下文接口类型，cancel等于是信号接收器，是个匿名函数
    ctx, cancel := context.WithCancel(context.Background())
    wg.Add(1)

    go play(ctx)

    //模拟开关，关闭协程，模拟运行了3秒
    time.Sleep(time.Second * 3)

    //主动结束ctx，通知协程结束
    cancel()

    wg.Wait()
    fmt.Println("程序结束了")
}

理解context接口

Go1.7加入了一个新的标准库context，它定义了Context类型，专门用来简化 对于处理单个请求的多个 goroutine 之间与请求域的数据、取消信号、截止时间等相关操作，这些操作可能涉及多个 API 调用。

对服务器传入的请求应该创建上下文，而对服务器的传出调用应该接受上下文。

它们之间的函数调用链必须传递上下文，或者可以使用WithCancel、WithDeadline、WithTimeout或WithValue创建的派生上下文。

当一个上下文被取消时，它派生的所有上下文也被取消。

Context接口

context.Context是一个接口，该接口定义了四个需要实现的方法。具体签名如下：

type Context interface {
    Deadline() (deadline time.Time, ok bool)
    Done() <-chan struct{}
    Err() error
    Value(key interface{}) interface{}
}



Deadline方法需要返回当前Context被取消的时间，也就是完成工作的截止时间（deadline）；
Done方法需要返回一个Channel，这个Channel会在当前工作完成或者上下文被取消之后关闭，多次调用Done方法会返回同一个Channel；
Err方法会返回当前Context结束的原因，它只会在Done返回的Channel被关闭时才会返回非空的值；
如果当前Context被取消就会返回Canceled错误；
如果当前Context超时就会返回DeadlineExceeded错误；
Value方法会从Context中返回键对应的值，对于同一个上下文来说，多次调用Value 并传入相同的Key会返回相同的结果，该方法仅用于传递跨API和进程间跟请求域的数据；

Background()和TODO()

Go内置两个函数：Background()和TODO()，这两个函数分别返回一个实现了Context接口的background和todo。

我们代码中最开始都是以这两个内置的上下文对象作为最顶层的partent context，衍生出更多的子上下文对象。

Background()主要用于main函数、初始化以及测试代码中，作为Context这个树结构的最顶层的Context，也就是根Context。

TODO()，它目前还不知道具体的使用场景，如果我们不知道该使用什么Context的时候，可以使用这个。

background和todo本质上都是emptyCtx结构体类型，是一个不可取消，没有设置截止时间，没有携带任何值的Context。

With系列上下文函数

此外，context包中还定义了四个With系列函数。

WithCancel

WithCancel的函数签名如下：

func WithCancel(parent Context) (ctx Context, cancel CancelFunc)

WithCancel返回带有新Done通道的父节点的副本。当调用返回的cancel函数或当关闭父上下文的Done通道时，将关闭返回上下文的Done通道，无论先发生什么情况。

取消此上下文将释放与其关联的资源，因此代码应该在此上下文中运行的操作完成后立即调用cancel。

func gen(ctx context.Context) <-chan int {
        dst := make(chan int)
        n := 1
        go func() {
            for {
                select {
                case <-ctx.Done():
                    return // return结束该goroutine，防止泄露
                case dst <- n:
                    n++
                }
            }
        }()
        return dst
    }
func main() {
    ctx, cancel := context.WithCancel(context.Background())
    defer cancel() // 当我们取完需要的整数后调用cancel

    for n := range gen(ctx) {
        fmt.Println(n)
        if n == 5 {
            break
        }
    }
}

上面的示例代码中，gen函数在单独的goroutine中生成整数并将它们发送到返回的通道。

gen的调用者在使用生成的整数之后需要取消上下文，以免gen启动的内部goroutine发生泄漏。

WithDeadline

WithDeadline的函数签名如下：

func WithDeadline(parent Context, deadline time.Time) (Context, CancelFunc)

返回父上下文的副本，并将deadline调整为不迟于d。

如果父上下文的deadline已经早于d，则WithDeadline(parent, d)在语义上等同于父上下文。

当截止日过期时，当调用返回的cancel函数时，或者当父上下文的Done通道关闭时，返回上下文的Done通道将被关闭，以最先发生的情况为准。

取消此上下文将释放与其关联的资源，因此代码应该在此上下文中运行的操作完成后立即调用cancel。

func main() {
    d := time.Now().Add(50 * time.Millisecond)
    ctx, cancel := context.WithDeadline(context.Background(), d)

    // 尽管ctx会过期，但在任何情况下调用它的cancel函数都是很好的实践。
    // 如果不这样做，可能会使上下文及其父类存活的时间超过必要的时间。
    defer cancel()

    select {
    case <-time.After(1 * time.Second):
        fmt.Println("overslept")
    case <-ctx.Done():
        fmt.Println(ctx.Err())
    }
}

上面的代码中，定义了一个50毫秒之后过期的deadline，然后我们调用context.WithDeadline(context.Background(), d)得到一个上下文（ctx）和一个取消函数（cancel），然后使用一个select让主程序陷入等待：

等待1秒后打印overslept退出或者等待ctx过期后退出。

在上面的示例代码中，因为ctx 50毫秒后就会过期，所以ctx.Done()会先接收到context到期通知，并且会打印ctx.Err()的内容。

WithTimeout

WithTimeout的函数签名如下：

func WithTimeout(parent Context, timeout time.Duration) (Context, CancelFunc)

WithTimeout返回WithDeadline(parent, time.Now().Add(timeout))。

取消此上下文将释放与其相关的资源，因此代码应该在此上下文中运行的操作完成后立即调用cancel，通常用于数据库或者网络连接的超时控制。具体示例如下：

package main

import (
    "context"
    "fmt"
    "sync"

    "time"
)

// context.WithTimeout

var wg sync.WaitGroup

func worker(ctx context.Context) {
LOOP:
    for {
        fmt.Println("db connecting ...")
        time.Sleep(time.Millisecond * 10) // 假设正常连接数据库耗时10毫秒
        select {
        case <-ctx.Done(): // 50毫秒后自动调用
            break LOOP
        default:
        }
    }
    fmt.Println("worker done!")
    wg.Done()
}

func main() {
    // 设置一个50毫秒的超时
    ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*50)
    wg.Add(1)
    go worker(ctx)
    time.Sleep(time.Second * 5)
    cancel() // 通知子goroutine结束
    wg.Wait()
    fmt.Println("over")
}

WithValue

WithValue函数能够将请求作用域的数据与 Context 对象建立关系。声明如下：

func WithValue(parent Context, key, val interface{}) Context

WithValue返回父节点的副本，其中与key关联的值为val。

仅对API和进程间传递请求域的数据使用上下文值，而不是使用它来传递可选参数给函数。

所提供的键必须是可比较的，并且不应该是string类型或任何其他内置类型，以避免使用上下文在包之间发生冲突。

WithValue的用户应该为键定义自己的类型。

为了避免在分配给interface{}时进行分配，上下文键通常具有具体类型struct{}。

或者，导出的上下文关键变量的静态类型应该是指针或接口。

package main

import (
    "context"
    "fmt"
    "sync"

    "time"
)

// context.WithValue

type TraceCode string

var wg sync.WaitGroup

func worker(ctx context.Context) {
    key := TraceCode("TRACE_CODE")
    traceCode, ok := ctx.Value(key).(string) // 在子goroutine中获取trace code
    if !ok {
        fmt.Println("invalid trace code")
    }
LOOP:
    for {
        fmt.Printf("worker, trace code:%s\n", traceCode)
        time.Sleep(time.Millisecond * 10) // 假设正常连接数据库耗时10毫秒
        select {
        case <-ctx.Done(): // 50毫秒后自动调用
            break LOOP
        default:
        }
    }
    fmt.Println("worker done!")
    wg.Done()
}

func main() {
    // 设置一个50毫秒的超时
    ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*50)
    // 在系统的入口中设置trace code传递给后续启动的goroutine实现日志数据聚合
    ctx = context.WithValue(ctx, TraceCode("TRACE_CODE"), "12512312234")
    wg.Add(1)
    go worker(ctx)
    time.Sleep(time.Second * 5)
    cancel() // 通知子goroutine结束
    wg.Wait()
    fmt.Println("over")
}

简单用法，设置ctx键值

package main

import (
    "context"
    "fmt"
)

// 练习ctx.Value()
type CtxKey int8

const (
    CtxName CtxKey = iota
    CtxAge
)

func f1() {
    ctx := context.WithValue(context.Background(), CtxName, "于超")
    value := ctx.Value(CtxName).(string)
    fmt.Printf("%T %v\n", value, value)

}

func main() {
    f1()
}

使用Context的注意事项

• 推荐以参数的方式显示传递Context
• 以Context作为参数的函数方法，应该把Context作为第一个参数。
• 给一个函数方法传递Context的时候，不要传递nil，如果不知道传递什么，就使用context.TODO()
• Context的Value相关方法应该传递请求域的必要数据，不应该用于传递可选参数
• Context是线程安全的，可以放心的在多个goroutine中传递

客户端超时取消示例

调用服务端API时如何在客户端实现超时控制？

server端

// context_timeout/server/main.go
package main

import (
    "fmt"
    "math/rand"
    "net/http"

    "time"
)

// server端，随机出现慢响应

func indexHandler(w http.ResponseWriter, r *http.Request) {
    number := rand.Intn(2)
    if number == 0 {
        time.Sleep(time.Second * 10) // 耗时10秒的慢响应
        fmt.Fprintf(w, "slow response")
        return
    }
    fmt.Fprint(w, "quick response")
}

func main() {
    http.HandleFunc("/", indexHandler)
    err := http.ListenAndServe(":8000", nil)
    if err != nil {
        panic(err)
    }
}

client端

// context_timeout/client/main.go
package main

import (
    "context"
    "fmt"
    "io"
    "net/http"
    "sync"
    "time"
)

// 客户端

type respData struct {
    resp *http.Response
    err  error
}

func doCall(ctx context.Context) {
    transport := http.Transport{
        // 请求频繁可定义全局的client对象并启用长链接
        // 请求不频繁使用短链接
        DisableKeepAlives: true}
    client := http.Client{
        Transport: &transport,
    }

    respChan := make(chan *respData, 1)
    req, err := http.NewRequest("GET", "http://127.0.0.1:8000/", nil)
    if err != nil {
        fmt.Printf("new requestg failed, err:%v\n", err)
        return
    }
    req = req.WithContext(ctx) // 使用带超时的ctx创建一个新的client request
    var wg sync.WaitGroup
    wg.Add(1)
    defer wg.Wait()
    go func() {
        resp, err := client.Do(req)
        fmt.Printf("client.do resp:%v, err:%v\n", resp, err)
        rd := &respData{
            resp: resp,
            err:  err,
        }
        respChan <- rd
        wg.Done()
    }()

    select {
    case <-ctx.Done():
        //transport.CancelRequest(req)
        fmt.Println("call api timeout")
    case result := <-respChan:
        fmt.Println("call server api success")
        if result.err != nil {
            fmt.Printf("call server api failed, err:%v\n", result.err)
            return
        }
        defer result.resp.Body.Close()
        data, _ := io.ReadAll(result.resp.Body)
        fmt.Printf("resp:%v\n", string(data))
    }
}

func main() {
    // 定义一个100毫秒的超时，客户端也可以用ctx实现goroutine超时结束
    ctx, cancel := context.WithTimeout(context.Background(), time.Millisecond*100)
    defer cancel() // 调用cancel释放子goroutine资源
    doCall(ctx)
}