在用 goreman 管理整个 TiDB 集群的时候,我发现 goreman 的 run stop 功能并不能正常的干掉 TiDB 组件,开始我觉得是我们自己代码的没有,没有很好的处理相关信号,但后来发现,TiDB 这边是压根没有收到信号,所以问题铁定在其他的地方,于是浏览下 goreman 的源码,发现使用的是/bin/sh -c的方式来启动的 TiDB 程序,可能就跟这个有关系。
首先,写两个简单的程序,一个是直接启动进程,另一个是使用/bin/sh -c的方式启动。简单起见,我们直接 sleep 很长一段时间,然后在 10 秒之后,kill 掉进程。
func child() { cmd := exec.Command("sleep", "600") start := time.Now() time.AfterFunc(10*time.Second, func() { cmd.Process.Kill() }) ecmd.Run() } func grand_child() { cmd := exec.Command("/bin/sh", "-c", "sleep 1000") time.AfterFunc(10*time.Second, func() { cmd.Process.Kill() }) cmd.Run() }
启动之后,我们会发现有三个 sleep 进程,其中,31126 是 31124 的子进程。
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND 31119 31124 31119 30890 pts/0 31119 S+ 1000 0:00 /bin/sh -c sleep 1000 31119 31125 31119 30890 pts/0 31119 S+ 1000 0:00 sleep 600 31124 31126 31119 30890 pts/0 31119 S+ 1000 0:00 sleep 1000
10 秒之后,我们发现,31126 还是存在,并且没有被 kill 掉,也就是,直接 kill 31124 并不能干掉它的子进程。而且 31126 的父进程现在已经变成了 1,也就是 31126 变成了孤儿进程,然后被 init 进程给接管了。
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND 1 31126 31119 30890 pts/0 30890 S 1000 0:00 sleep 1000
为了解决这个问题,我们需要的是 kill process group,而不是只 kill 父进程,在 Linux 里面使用的是kill -- -PID的方式。同时为了避免自杀,我们需要是为/bin/sh这边额外在创建一个新的进程组(在上面我们可以注意到,所有的 PGID 都是 31119,如果直接kill -- -PID,会把所有相关的进程都干掉)。
在 Go 里面,我们使用Setpgid: true来显示的创建一个新的进程组,如下:
func grand_child() { cmd := exec.Command("/bin/sh", "-c", "sleep 1000") cmd.SysProcAttr = &syscall.SysProcAttr{Setpgid: true} time.AfterFunc(10*time.Second, func() { syscall.Kill(-cmd.Process.Pid, syscall.SIGKILL) }) cmd.Run() }
启动之后,会发现/bin/sh启动的进程已经使用了一个新的进程组了:
PPID PID PGID SID TTY TPGID STAT UID TIME COMMAND 4517 4522 4522 3374 pts/0 4517 S 1000 0:00 /bin/sh -c sleep 1000 4522 4524 4522 3374 pts/0 4517 S 1000 0:00 sleep 1000
然后 10 秒之后,相关进程全部被 kill 掉了。
既然弄懂了 kill grand process 的方法,再看 goreman 的问题就比较容易了。在 goreman 里面,其实也有 kill process group 的代码,但是,它漏掉了最关键的Setpgid: true,提个 PR,搞定收工。