Go (Golang) 读文件的最佳实践

在 Go 中，使用 ioutil 库的 ReadFile() 方法常被用来读文件，相比其他方法，使用者用这个方法很方便，无需关心 close 文件等一些工作。

下面笔者列出三种常见的读文件场景:

1. 读取整个文件到内存中

使用 ioutil 库的 ReadFile() 可以把整个文件读到内存中，在日常开发中，这是读文件使用频率最多的方法，也是最基本一个函数。下面代码展示了如何使用这个函数。

package main

import (
    "fmt"
    "os"
)

func main() {
    data, err := os.ReadFile("./file.txt")
    if err != nil {
        fmt.Println("File reading error", err)
        return
    }
    fmt.Println("Contents of file:")
    fmt.Println(string(data))
}

2. 读取特定字节数据到内存中

当文件过大时，读取整个文件到内存中会把内存打爆，鉴于这种情况，我们可以把整个文件分成特定 chunks，也就是块，然后分块读取，下面代码展示了把 3 个 byte 组成一个 chunk，然后再读取。

package main

import (
    "bufio"
    "fmt"
    "log"
    "os"
)

func main() {
    f, err := os.Open("./file.txt")
    if err != nil {
        log.Fatal(err)
    }
    defer func() {
        if err = f.Close(); err != nil {
            log.Fatal(err)
        }
    }()
    // 初始化 reader 读文件
    r := bufio.NewReader(f) 
    // 初始化 3 个 byte slice，每次读取 3 个 byte
    b := make([]byte, 3)
    // 循环读取，直到读到文件的结尾，
    for {
        n, err := r.Read(b)
        if err != nil {
            fmt.Println("Error reading file:", err)
            break
        }
        fmt.Println(string(b[0:n]))
    }
}

3. 按行读取文件到内存中

我们也可以按行分割整个文件，然后一行行读取到内存中，这种方法也可以减少内存的压力

package main

import (
	"bufio"
	"fmt"
	"log"
	"os"
)

func main() {
	f, err := os.Open("./file.txt")
	if err != nil {
		log.Fatal(err)
	}
	defer func() {
		if err = f.Close(); err != nil {
			log.Fatal(err)
		}
	}()
       // 以这个文件为参数，创建一个 scanner
	s := bufio.NewScanner(f)
      // 扫描每行文件，按行读取
	for s.Scan() {
		fmt.Println(s.Text())
	}
	err = s.Err()
	if err != nil {
		log.Fatal(err)
	}
}