Golang怎么样读取单行超长的文本

这篇文章主要介绍了title，小编觉得挺不错的，现在分享给大家，也给大家做个参考，希望大家通过这篇文章可以有所收获。

前言：

最近在探索用Go来读取文件，读取文本时发现，对于单行超长的文本，我的Go代码无法处理。经过查阅才发现，Go提供的Scanner无法读取单行超长文本文件。我这里就来总结一下问题的发现和解决过程。

1.问题复现

CreateBigText

package main

import (
	"bufio"
	"bytes"
	"log"
	"os"
	"strconv"
)

func main() {
	file, err := os.Open("./read/test.txt")
	if err != nil {
		log.Fatal(err)
	}
	ReadBigText(file)
}

func ReadBigText(file *os.File) {
	defer file.Close()
	scanner := bufio.NewScanner(file)
	for scanner.Scan() {
		println(scanner.Text())
	}
	// 输出错误
	println(scanner.Err().Error())
}

func CreateBigText() {
	file, err := os.Create("./read/test.txt")
	if err != nil {
		log.Fatal(err)
	}
	defer file.Close()

	data := make([]byte, 0, 32*1024)
	buffer := bytes.NewBuffer(data)
	// 构造一个大的单行数据
	for i := 0; i < 50000; i++ {
		buffer.WriteString(strconv.Itoa(i))
	}
	// 写入一个换行符
	buffer.WriteByte('\n')
	buffer.WriteString("I love you yesterday and today!\n")
	buffer.WriteString("有一美人兮，见之不忘。\n")
	// 将3行写入文件
	file.Write(buffer.Bytes())
	log.Println("创建文件成功")
}

2.问题探究

Scan()

Scan advances the Scanner to the next token, which will then be available through the Bytes or Text method. It returns false when the scan stops, either by reaching the end of the input or an error. After Scan returns false, the Err method will return any error that occurred during scanning, except that if it was io.EOF, Err will return nil. Scan panics if the split function returns too many empty tokens without advancing the input. This is a common error mode for scanners.

所以Scan()和Text()函数是这样结合起来使用的，首先Scan()会扫描出一个token，然后Text()将其转成文本（或者其它方法转成字节），循环执行这种操作就可以按行读取一个文件。

通过阅读Scan()函数的源码，我们可以发现这样一个判断，如果buf的长度大于了最大token长度，那就会报错，见下图。

继续查找，可以看到最大长度已经定义好了，它的长度是 64*1024 byte，即64KB，所以一行文本超过了这个最大长度，那么就会报错！

3.问题解决

high-level

这里可以这样来使用，这个方法不会受到64KB的限制，ReaderString方法会按照指定的定界符来读取一个完整的行，返回值是字符串和读取遇到的错误。如果想要读取返回值为字节的话，可以使用 ReadBytes 方法。

func ReadBigText(file *os.File) {
	defer file.Close()
	reader := bufio.NewReader(file)
	for {
		line, err := reader.ReadString('\n')
		if err != nil {
			log.Fatal(err)
		}
		fmt.Printf("%d %s", len(line), line)
	}
}

通过阅读源码可知，其实这个方法也是会遇到行太长的问题，只不过它忽略了这种情况。

ErrBufferFull就是这个缓冲区溢出错误。

我们继续进入内容其实也可以知道，它默认的缓冲区大小是4KB。

4.扩展

上面都说相对高层的方法，我们来看一下相对底层的方法。

ReadLine is a low-level line-reading primitive. Most callers should use ReadBytes('\n') or ReadString('\n') instead or use a Scanner.

low-level

If the line was too long for the buffer then isPrefix is set and the beginning of the line is returned. The rest of the line will be returned from future calls.

func ReadBigText(file *os.File) {
	defer file.Close()
	reader := bufio.NewReader(file)

	for {
		bline, isPrefix, err := reader.ReadLine()
		if err == io.EOF {
			break // 读取到文件结束才退出
		}
		// 读取到超长行，即单行超过4k字节，直接写入文件，不对此行做处理
		if isPrefix {
			fmt.Print(string(bline))
			continue
		}

		fmt.Println(string(bline))
	}
}

不过需要注意这个方法读取出来的数据是不包括换行符的，所以我是用的println打印输出的。

ReadStringReadBytesReadLine

func ReadBigText(file *os.File) {
	defer file.Close()
	reader := bufio.NewReader(file)
	for {
		byt, err := reader.ReadSlice('\n')
		if err != nil {
			if err == bufio.ErrBufferFull {
				fmt.Print(string(byt))
				continue
			}
			log.Fatal(err)
		}
		fmt.Print(string(byt))
	}
}

以上就是关于Golang怎么样读取单行超长的文本的介绍啦，需要的朋友可以参考上述内容，希望对大家有帮助，欢迎关注群英网络，小编将为大家输出更多高质量的实用文章！

免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：mmqy2019@163.com进行举报，并提供相关证据，查实之后，将立刻删除涉嫌侵权内容。