golang HTTP 服务器处理日志/Stream流

目前，我开发 HTTP 服务，用的是 beego框架，方便了很多。

但是，有时候，还是会遇到一些特殊的场景。
比如：过滤日志。
这应该是一种典型的stream，同时数据量也适中，不会有人，为了这个，就用一些很重的框架。

可以这样直观的描述这个逻辑

其他组件产生 log
||
\ /
我的组件，业务处理
||
\ /
用户， http client

这种情景下，有几个特殊点：
1. 难以用 string，或者 byte 数组收集数据
2. 数据Source 端，不断的有数据产生
3. 数据缓冲，如果占有的内存太多，可能导致服务崩溃

通常情况下，我们准备好数据，然后调用Beego框架的方法，将数据发送到客户端，就不管了。
而如果，我们需要根据处理的情况，多次写数据到客户端，该怎么办呢？

首先，对于这种简单的流数据， golang 提供了一个结构。

pipeReader, pipeWriter := io.Pipe()

这个方法的原型是这样的
func Pipe() (*PipeReader, *PipeWriter)
它返回紧密相连的一对 Reader 和 Writer。他们的“生命周期”相同。
任何写到 Writer中的数据，直接流到了Reader中。这个和 Linux 命令行中 “管道 |” 很像。

我们先开个goroutine 接收日志数据
go func () {
for {
var log []byte
//log =
pipeWriter.Write(log)

//break;
}
pipeWriter.CloseWithError(io.EOF)
}

主逻辑中，处理日志
defer pipeReader.Close()
rr := bufio.NewReader(io.Reader(pipeReader))
for {

line, err := rr.ReadBytes('\n')
if io.EOF == err {
break
}
........
}

最后，输出到客户端
var out []byte
ctl.Ctx.ResponseWriter.Write(out)
ctl.Ctx.ResponseWriter.Flush()

总结：
iopipe 直接对接了日志输出，缓冲很小，
处理后的结果，直接输出到 http 客户端。

尤其是第二点，很重要，我在处理这个逻辑的时候，发现服务器，有几次意外崩溃，后来，才意识到，beego的controller 如果缓冲处理后的数据，有可能仍然占有大量内存。

golang HTTP 服务器 处理 日志/Stream流

golang HTTP 服务器处理日志/Stream流