golang调用shell命令（实时输出, 终止等）

背景

是这样的，最近在研究一个定时任务系统的改造，可能有点像jenkins做到的那种吧。

可以输入shell命令，也可以执行py脚本等等，相比之前来说，也要能够及时停止！

但是遇到了这么个问题，golang执行py脚本的时候获取不到脚本的输出。

首先来看看go里面怎么运行shell脚本吧，我比较喜欢执行全部命令。

普通用法（一次性获取所有输出）

package main

import (
	"fmt"
	"os/exec"
)

func main() {
    Command("ls")
}

// 这里为了简化，我省去了stderr和其他信息
func Command(cmd string) error {
	c := exec.Command("bash", "-c", cmd)
    // 此处是windows版本
    // c := exec.Command("cmd", "/C", cmd)
	output, err := c.CombinedOutput()
	fmt.Println(string(output))
	return err
}

可以看到，当前命令执行的是输出当前目录下的文件/文件夹

实时显示

效果图:

package main

import (
	"bufio"
	"fmt"
	"io"
	"os/exec"
	"sync"
)

func main() {
	// 执行ping baidu的命令, 命令不会结束
	Command("ping www.baidu.com")

}

func Command(cmd string) error {
	//c := exec.Command("cmd", "/C", cmd) 	// windows
	c := exec.Command("bash", "-c", cmd)  // mac or linux
	stdout, err := c.StdoutPipe()
	if err != nil {
		return err
	}
	var wg sync.WaitGroup
	wg.Add(1)
	go func() {
		defer wg.Done()
		reader := bufio.NewReader(stdout)
		for {
			readString, err := reader.ReadString('\n')
			if err != nil || err == io.EOF {
				return
			}
			fmt.Print(readString)
		}
	}()
	err = c.Start()
	wg.Wait()
	return err
}

可关闭+实时输出

package main

import (
	"bufio"
	"context"
	"fmt"
	"io"
	"os/exec"
	"sync"
	"time"
)

func main() {
	ctx, cancel := context.WithCancel(context.Background())
	go func(cancelFunc context.CancelFunc) {
		time.Sleep(3 * time.Second)
		cancelFunc()
	}(cancel)
	Command(ctx, "ping www.baidu.com")
}

func Command(ctx context.Context, cmd string) error {
	// c := exec.CommandContext(ctx, "cmd", "/C", cmd)
    c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
	stdout, err := c.StdoutPipe()
	if err != nil {
		return err
	}
	var wg sync.WaitGroup
	wg.Add(1)
	go func(wg *sync.WaitGroup) {
		defer wg.Done()
		reader := bufio.NewReader(stdout)
		for {
			// 其实这段去掉程序也会正常运行，只是我们就不知道到底什么时候Command被停止了，而且如果我们需要实时给web端展示输出的话，这里可以作为依据 取消展示
			select {
			// 检测到ctx.Done()之后停止读取
			case <-ctx.Done():
				if ctx.Err() != nil {
					fmt.Printf("程序出现错误: %q", ctx.Err())
				} else {
					fmt.Println("程序被终止")
				}
				return
			default:
				readString, err := reader.ReadString('\n')
				if err != nil || err == io.EOF {
					return
				}
				fmt.Print(readString)
			}
		}
	}(&wg)
	err = c.Start()
	wg.Wait()
	return err
}

效果图:

可以看到输出了3次（1秒1次）之后程序就被终止了，确切的说是读取输出流的循环结束了。

执行Python脚本(阻塞)

python -u xxx.py

简单的说就是python的输出是有缓存的，-u会强制往标准流输出，当Python脚本阻塞的时候

也不会拿不到输出！

其他

"bash" 和"-c"，据我的观察，这2个参数代表在当前cmd窗口执行，而不加这2个参数，直接上shell的话，会启动一个新窗口，目前观察是stdout拿不到数据。

仍有缺陷

上面的命令可以解决大部分问题，但是获取不到stderr的信息，所以我们需要改造一下。

下面是输出和错误一并输出的实时读取，类似于jenkins那种。

package main

import (
	"bufio"
	"context"
	"fmt"
	"io"
	"os/exec"
	"sync"
	"time"
)

func main() {
	ctx, cancel := context.WithCancel(context.Background())
	go func(cancelFunc context.CancelFunc) {
		time.Sleep(3 * time.Second)
		cancelFunc()
	}(cancel)
	Command(ctx, "ping www.baidu.com")
}

func read(ctx context.Context, wg *sync.WaitGroup, std io.ReadCloser) {
	reader := bufio.NewReader(std)
	defer wg.Done()
	for {
		select {
		case <-ctx.Done():
			return
		default:
			readString, err := reader.ReadString('\n')
			if err != nil || err == io.EOF {
				return
			}
			fmt.Print(readString)
		}
	}
}

func Command(ctx context.Context, cmd string) error {
	//c := exec.CommandContext(ctx, "cmd", "/C", cmd) // windows
	c := exec.CommandContext(ctx, "bash", "-c", cmd) // mac linux
	stdout, err := c.StdoutPipe()
	if err != nil {
		return err
	}
	stderr, err := c.StderrPipe()
	if err != nil {
		return err
	}
	var wg sync.WaitGroup
	// 因为有2个任务, 一个需要读取stderr 另一个需要读取stdout
	wg.Add(2)
	go read(ctx, &wg, stderr)
	go read(ctx, &wg, stdout)
	// 这里一定要用start,而不是run 详情请看下面的图
	err = c.Start()
	// 等待任务结束
	wg.Wait()
	return err
}

windows输出乱码问题

最后给一个解决windows乱码的完整案例

 需要下载golang.org/x/text/encoding/simplifiedchinese

package main

import (
	"bufio"
	"fmt"
	"io"
	"os/exec"
	"sync"
	"golang.org/x/text/encoding/simplifiedchinese"
)

type Charset string

const (
	UTF8    = Charset("UTF-8")
	GB18030 = Charset("GB18030")
)

func main() {
	// 执行ping baidu的命令, 命令不会结束
	Command("ping www.baidu.com")

}

func Command(cmd string) error {
	//c := exec.Command("cmd", "/C", cmd) 	// windows
	c := exec.Command("bash", "-c", cmd)  // mac or linux
	stdout, err := c.StdoutPipe()
	if err != nil {
		return err
	}
	var wg sync.WaitGroup
	wg.Add(1)
	go func() {
		defer wg.Done()
		reader := bufio.NewReader(stdout)
		for {
			readString, err := reader.ReadString('\n')
			if err != nil || err == io.EOF {
				return
			}
			byte2String := ConvertByte2String([]byte(readString), "GB18030")
			fmt.Print(byte2String)
		}
	}()
	err = c.Start()
	wg.Wait()
	return err
}

func ConvertByte2String(byte []byte, charset Charset) string {
	var str string
	switch charset {
	case GB18030:
		var decodeBytes, _ = simplifiedchinese.GB18030.NewDecoder().Bytes(byte)
		str = string(decodeBytes)
	case UTF8:
		fallthrough
	default:
		str = string(byte)
	}
	return str
}