区块链开发之Go语言—IO操作

本篇文章是对区块链开发中的Go语言中常用的io操作的库做一个梳理

io，最基本的io

Reader

type Reader interface {
    Read(p []byte) (n int, err error)
}

实现了Reader接口的都可以用read方法，将数据读入到p字节数组，n表示读取了几个字节，err返回错误。如果读到了文件尾EOF，则err返回EOF。注意，当文件最后一小段已经无法填满p这个字节数组时，不会产生EOF的错误，只会在下一次读取时产生n=0，err=io.EOF的错误

举例

func main() {
    file, _ := os.Open("main.go")
    var a [128]byte

    count:=0
    for {
        n, err := file.Read(a[:])
        count+=1
        if err != nil {
            if err == io.EOF {
                break
            } else {
                os.Exit(1)
            }
        }
        fmt.Printf("%sn", a[:n])
    }
    fmt.Printf("%dn", count)

}

Writer

type Writer interface {
    Write(p []byte) (n int, err error)
}

Write 将 len(p) 个字节从 p 中写入到基本数据流中。它返回从 p 中被写入的字节数 n（0 <= n <= len(p)）以及任何遇到的引起写入提前停止的错误。若 Write 返回的 n < len(p)，它就必须返回一个非nil 的错误。常见错误原因有磁盘满了

ReaderAt 和 WriterAt 接口

和Reader，Writer类似，但是需要自己调控偏移量。注意：接近文件尾巴时，当n小于数组大小时也触发了err.EOF，需要自行把最后n小于数组大小的这点数据处理一下。

举例：

func main() {
    file, _ := os.Open("main.go")
    var a [128]byte

    count := 0
    var pos int64 = 0
    for {
        n, err := file.ReadAt(a[:], pos)
        count += 1
        pos += int64(n)
        if err != nil {
            if err == io.EOF {
                fmt.Printf("%s", a[:n]) //区别在这里
                break
            } else {
                os.Exit(1)
            }
        }
        fmt.Printf("%s", a[:n])
    }
    fmt.Println()
    fmt.Printf("%d", count)

}

ReaderFrom 和 WriterTo 接口

一次性读完直到EOF，或者写入全部数据

Seeker 接口

type Seeker interface {
    Seek(offset int64, whence int) (ret int64, err error)
}

用来设置偏移量，也就是从哪开始读，offset由whence解释。

0 表示相对于文件的起始处
1 表示相对于当前的偏移，
2 表示相对于其结尾处。

ByteReader 和 ByteWriter

读或写一个字节

ioutil — 方便的IO操作函数集

ReadAll

一次性读取数据

ReadDir

ReadFile 和 WriteFile

func WriteFile(filename string, data []byte, perm os.FileMode) error

这里特别注意的是写文件的权限问题，perm的数值，和linux规则一致四位（777）：

模式	数字
rwx	7
rw-	6
r-x	5
r--	4
-wx	3
-w-	2
--x	1
---	0
组合如0666，表示rw-rw-rw-

bufio，带缓存的io

是io库的包装，提供带缓存的方法

ReadSlice、ReadBytes、ReadString 和 ReadLine 方法

后三个方法最终都是调用ReadSlice来实现的

ReadSlice

func (b *Reader) ReadSlice(delim byte) (line []byte, err error)

示例：

reader := bufio.NewReader(strings.NewReader("http://studygolang.com. nIt is the home of gophers"))
line, _ := reader.ReadSlice('n')
fmt.Printf("the line:%sn", line)
// 这里可以换上任意的 bufio 的 Read/Write 操作
n, _ := reader.ReadSlice('n')
fmt.Printf("the line:%sn", line)
fmt.Println(string(n))

输出：

the line:http://studygolang.com. 

the line:It is the home of gophers
It is the home of gophers

注意ReadSlice每次返回的line是指向同一个缓存数组，因此ReadSlice的实现是反复覆盖重写缓存数组。

如果ReadSlice在找到分界符前

缓存数组就满了，则返回bufio.ErrBufferFull
遇到EOF了，则返回ErrEOF

ReadBytes

func (b *Reader) ReadBytes(delim byte) (line []byte, err error)

返回的byte是copy的一份数组

从以下实验可看出来

reader := bufio.NewReader(strings.NewReader("http://studygolang.com. nIt is the home of gophers"))
line, _ := reader.ReadBytes('n')
fmt.Printf("the line:%sn", line)
// 这里可以换上任意的 bufio 的 Read/Write 操作
n, _ := reader.ReadBytes('n')
fmt.Printf("the line:%sn", line)
fmt.Println(string(n))

输出

the line:http://studygolang.com. 

the line:http://studygolang.com. 

It is the home of gophers

ReadString

是对ReadBytes的封装，将返回的line转换成string

ReadLine

func (b *Reader) ReadLine() (line []byte, isPrefix bool, err error)

这里要说的是isPrefix，用于读取的一行超过了缓存大小，则isPrefix为true，下次还读这行余下的部分，直到读完这行才isPrefix返回false

ReadLine返回的文本不会包含行结尾（"rn"或者"n"）

Peek

该方法只是“窥探”一下Reader中没有读取的n个字节。好比栈数据结构中的取栈顶元素，但不出栈。

func (b *Reader) Peek(n int) ([]byte, error)

同上面介绍的ReadSlice一样，返回的[]byte只是buffer中的引用。所以在并发的时候有可能就被别人给改了

Scanner 类型和方法

用于方便的按token读取数据，token的分词规则用SplitFunc定义。默认按行分词，会去掉末尾换行符。了解Scanner前要先了解SplitFunc

SplitFunc

type SplitFunc func(data []byte, atEOF bool) (advance int, token []byte, err error)

SplitFunc 定义了用于对输入进行分词的 split 函数的签名。

参数

data 是还未处理的数据，
atEOF 标识 Reader是否还有更多数据（是否到了EOF）。

返回值

advance data里下一个token开始位置
token 表示当前token的结果数据
err 则代表可能的错误。

举例

func main() {
    // Comma-separated list; last entry is empty.
    const input = "1,2,3,4,"
    scanner := bufio.NewScanner(strings.NewReader(input))
    // Define a split function that separates on commas.
    onComma := func(data []byte, atEOF bool) (advance int, token []byte, err error) {
        for i := 0; i < len(data); i++ {
            if data[i] == ',' {
                return i + 1, data[:i], nil
            }
        }
        // There is one final token to be delivered, which may be the empty string.
        // Returning bufio.ErrFinalToken here tells Scan there are no more tokens after this
        // but does not trigger an error to be returned from Scan itself.
        return 0, data, bufio.ErrFinalToken
    }
    scanner.Split(onComma)
    // Scan.
    for scanner.Scan() {
        fmt.Printf("%q ", scanner.Text())
    }
    if err := scanner.Err(); err != nil {
        fmt.Fprintln(os.Stderr, "reading input:", err)
    }
}

输出

"1" "2" "3" "4" "5"

你也可以用系统定义好的几个分割token的方法。

ScanBytes 返回单个字节作为一个 token。
ScanRunes 返回单个 UTF-8 编码的 rune 作为一个 token。返回的 rune 序列（token）和 range string类型返回的序列是等价的，也就是说，对于无效的 UTF-8 编码会解释为 U+FFFD = "xefxbfxbd"。
ScanWords 返回通过“空格”分词的单词。如：study golang，调用会返回study。注意，这里的“空格”是 unicode.IsSpace()，即包括：'t', 'n', 'v', 'f', 'r', ' ', U+0085 (NEL), U+00A0 (NBSP)。
ScanLines 返回一行文本，不包括行尾的换行符。这里的换行包括了Windows下的"rn"和Unix下的"n"。

Scanner 的使用方法

NewScanner
Split设置分割token的方法
循环scanner.Scan()
在循环里用scanner.Text()取token 示例

const input = "This is The Golang Standard Library.nWelcome you!"
scanner := bufio.NewScanner(strings.NewReader(input))
scanner.Split(bufio.ScanWords)
count := 0
for scanner.Scan() {
    count++
}
if err := scanner.Err(); err != nil {
    fmt.Fprintln(os.Stderr, "reading input:", err)
}
fmt.Println(count)

Writer

带缓存的writer，记得在最终的写入操作执行完后flush一下，确保全部缓存都真正写入。

参考

1.《Go语言标准库》The Golang Standard Library by Example