在用 goreman 管理整个 TiDB 集群的时候,我发现 goreman 的 run stop 功能并不能正常的干掉 TiDB 组件,开始我觉得是我们自己代码的没有,没有很好的处理相关信号,但后来发现,TiDB 这边是压根没有收到信号,所以问题铁定在其他的地方,于是浏览下 goreman 的源码,发现使用的是/bin/sh -c的方式来启动的 TiDB 程序,可能就跟这个有关系。

首先,写两个简单的程序,一个是直接启动进程,另一个是使用/bin/sh -c的方式启动。简单起见,我们直接 sleep 很长一段时间,然后在 10 秒之后,kill 掉进程。

func child() {
    cmd := exec.Command("sleep", "600")
    start := time.Now()
    time.AfterFunc(10*time.Second, func() { cmd.Process.Kill() })
    ecmd.Run()
}

func grand_child() {
    cmd := exec.Command("/bin/sh", "-c", "sleep 1000")
    time.AfterFunc(10*time.Second, func() { cmd.Process.Kill() })
    cmd.Run()
}

启动之后,我们会发现有三个 sleep 进程,其中,31126 是 31124 的子进程。

PPID   PID  PGID   SID TTY      TPGID STAT   UID   TIME COMMAND
31119 31124 31119 30890 pts/0    31119 S+    1000   0:00 /bin/sh -c sleep 1000
31119 31125 31119 30890 pts/0    31119 S+    1000   0:00 sleep 600
31124 31126 31119 30890 pts/0    31119 S+    1000   0:00 sleep 1000

10 秒之后,我们发现,31126 还是存在,并且没有被 kill 掉,也就是,直接 kill 31124 并不能干掉它的子进程。而且 31126 的父进程现在已经变成了 1,也就是 31126 变成了孤儿进程,然后被 init 进程给接管了。

PPID   PID  PGID   SID TTY      TPGID STAT   UID   TIME COMMAND
    1 31126 31119 30890 pts/0    30890 S     1000   0:00 sleep 1000

为了解决这个问题,我们需要的是 kill process group,而不是只 kill 父进程,在 Linux 里面使用的是kill -- -PID的方式。同时为了避免自杀,我们需要是为/bin/sh这边额外在创建一个新的进程组(在上面我们可以注意到,所有的 PGID 都是 31119,如果直接kill -- -PID,会把所有相关的进程都干掉)。

在 Go 里面,我们使用Setpgid: true来显示的创建一个新的进程组,如下:

func grand_child() {
    cmd := exec.Command("/bin/sh", "-c", "sleep 1000")
    cmd.SysProcAttr = &syscall.SysProcAttr{Setpgid: true}
    time.AfterFunc(10*time.Second, func() {
        syscall.Kill(-cmd.Process.Pid, syscall.SIGKILL)
    })
    cmd.Run()
}

启动之后,会发现/bin/sh启动的进程已经使用了一个新的进程组了:

PPID   PID  PGID   SID TTY      TPGID STAT   UID   TIME COMMAND
4517  4522  4522  3374 pts/0     4517 S     1000   0:00 /bin/sh -c sleep 1000
4522  4524  4522  3374 pts/0     4517 S     1000   0:00 sleep 1000

然后 10 秒之后,相关进程全部被 kill 掉了。

既然弄懂了 kill grand process 的方法,再看 goreman 的问题就比较容易了。在 goreman 里面,其实也有 kill process group 的代码,但是,它漏掉了最关键的Setpgid: true,提个 PR,搞定收工。