Golang服务器热重启

所谓 热重启， 就是当关闭一个正在运行的进程时，该进程并不会立即停止，而是会等待所有当前逻辑继续执行完毕，才会中断。这就要求我们的服务需要支持一条重启命令，通过该命令我们可以重启服务，并同时保证重启过程中正在执行的逻辑不会中断，且重启后可以继续正常服务。

在go 1.8.x后，golang在http.Server里加入了Shutdown方法，用来控制优雅退出。什么是优雅退出？ 简单说就是不处理新请求，但是会处理正在进行的请求，把旧请求都处理完再退出。

我的项目更新代码流程为：使用http.server.Shutdown停机，Supervisor守护进程进行更新后的重启，shell脚本执行编译、copy到远程，重启Supervisor。在此记录以备日后查阅。

一、版本要求

• Centos 7.0
• Golang > 1.8

二、Shutdown Demo

/home/www/test/shutdown-simple.go

package main

import (
    "context"
    "fmt"
    "log"
    "net/http"
    "os"
    "os/signal"
    "syscall"
    "time"
)

func main() {
    http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
        time.Sleep(time.Second * 5)
        fmt.Fprint(w, "hello world...")
    })
    var srv = http.Server{
        Addr: ":8080",
    }
    idleConnsClosed := make(chan struct{})
    go func() {
        sigint := make(chan os.Signal, 1)
        // kill (no param) default send syscall.SIGTERM
        // kill -2 is syscall.SIGINT
        // kill -9 is syscall.SIGKILL but can't be catch, so don't need add it
        signal.Notify(sigint,  syscall.SIGINT, syscall.SIGTERM)
        <-sigint

        // We received an interrupt signal, shut down.
        if err := srv.Shutdown(context.Background()); err != nil {
            // Error from closing listeners, or context timeout:
            log.Printf("HTTP server Shutdown: %v", err)
        }
        close(idleConnsClosed)
    }()

    if err := srv.ListenAndServe(); err != http.ErrServerClosed {
        // Error starting or closing listener:
        log.Fatalf("HTTP server ListenAndServe: %v", err)
    }
    <-idleConnsClosed
}

go build shutdown-simple.gocurl http://127.0.0.1:8080

三、Supervisor

Supervisor (http://supervisord.org) 是一个用 Python 写的进程管理工具，可以很方便的用来启动、重启、关闭进程（不仅仅是 Python 进程）。除了对单个进程的控制，还可以同时启动、关闭多个进程，比如很不幸的服务器出问题导致所有应用程序都被杀死，此时可以用 supervisor 同时启动所有应用程序而不是一个一个地敲命令启动。在本项目中，更新golang程序后，使用supervisor重启应用。

3.1 检查安装epel源

• 检查 epel 是否已安装，如下已存在epel源，则不需要安装：

➜ yum repolist | grep epel
!epel/x86_64               Extra Packages for Enterprise Linux 7 - x86_64 13,242

• 如果不存在，则需要安装 epel

➜  yum -y install epel-release

3.2 安装Supervisor

//  安装
➜ yum install supervisor
// 开机启动
➜ systemctl start supervisord.service
// 重启
➜ systemctl restart supervisord

3.3 配置Supervisor

/etc/supervisord.conf

...
[include]
files = supervisord.d/*.ini

/etc/supervisord.d/.ini/etc/supervisord.d/test.ini

# 其中 [program:test] 中的 test 是应用程序的唯一标识，不能重复。
# 对该程序的所有操作（start, restart 等）都通过名字来实现。
[program:test]
# 用哪个用户启动
user=root
# 启动的命令
command=/home/www/test/shutdown-simple
# 在 supervisord 启动的时候也自动启动
autostart=true
# 程序异常退出后自动重启
autorestart=true
# 启动 10 秒后没有异常退出，就当作已经正常启动了
startsecs=10
# 启动失败自动重试次数，默认是 3
startretries = 3
# stdout 日志文件名
# stdout 日志文件，需要注意当指定目录不存在时无法正常启动，所以需要手动创建目录（supervisord 会自动创建日志文件）
stdout_logfile=/home/logs/test.log
# stdout 日志文件大小，默认 50MB
stdout_logfile_maxbytes=1MB
# stdout 日志文件备份数
stdout_logfile_backups=10
stdout_capture_maxbytes=1MB
stderr_logfile=/home/logs/test.log
stderr_logfile_maxbytes=1MB
stderr_logfile_backups=10
stderr_capture_maxbytes=1MB
stopsignal=INT
[supervisord]

supervisorctllsof -i:8080

3.4 使用 supervisorctl

supervisorctl

> status    # 查看程序状态
> stop test   # 关闭 test 程序
> start test  # 启动 test 程序
> restart test    # 重启 test 程序
> reread # 读取有更新（增加）的配置文件，不会启动新添加的程序
> update    ＃ 重启配置文件修改过的程序

上面这些命令都有相应的输出，除了进入 supervisorctl 的 shell 界面，也可以直接在终端运行：

➜ supervisorctl status
➜ supervisorctl stop test
➜ supervisorctl start test
➜ supervisorctl restart test
➜ supervisorctl reread
➜ supervisorctl update

`

三、基于Shell脚本更新云服务器代码

代码更新流程：

/home/www/test/toremote.sh/home/www/test/codemonitor.sh

PS：

dev

/home/www/test/toremote.sh

#!/bin/bash

CGO_ENABLED=0 GOOS=linux GOARCH=amd64 go build shutdown-simple.go
echo "build finished"

scp ./shutdown-simple dev:/home/www/test/shutdown-simple_new
echo "copy finished"

ssh dev "/home/www/test/codemonitor.sh"
echo "code updated"

# 增加可执行权限
➜ chmod +x /home/www/test/toremote.sh

/home/www/test/codemonitor.sh

#!/bin/bash

diff /home/www/test/shutdown-simple_new /home/www/test/shutdown-simple
if [ $? -ne 0 ]
then
        mv /home/www/test/shutdown-simple_new /home/www/test/shutdown-simple
        echo "mv success"
        supervisorctl restart test
        echo "code restart success"
fi

# 增加可执行权限
➜ chmod +x /home/www/test/codemonitor.sh

测试

• 更新本地代码：

...
    http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
        time.Sleep(time.Second * 5)
        fmt.Fprint(w, "bye~ bye~")
    })
...

/home/www/test/toremote.sh

➜ curl 127.0.0.1:8080
# 响应
# bye~ bye~

附：基于gin框架项目的热重启

gin底层使用的是net/http, gin的优雅退出就等于http.Server.Shutdown函数。更新gin框架的项目只需搭建supervisor结合shell脚本实现更新。

参考资料