Golang教程网
博客首页
实战学习Golang
日常工作实战
小程序实战开发
微信小程序开发
百度智能小程序开发
QQ小程序开发
头条小程序开发
支付宝小程序开发
学习笔记
搜索
搜索
GO如何读取和处理超大文本文件呢?
学习笔记
2023-04-15
158°
现在有一个将近70G大小的文本文件,每行数据以逗号分割,基本上就是csv的格式,大约不到20亿条数据。 现在有一个难题,就是给这些数据入库MySQL。经过一百多个小时入库完成,但是没法用,因为量太大了,查询一次的时间是无法接受的,所以考虑到要分库或者分表,但是有一个问题就是,如何处理这么大的文本呢?想用GO写一个程序来完成分库分表入库的操作,但是首先要面临的问题就是如何打开这么大的文件?
有疑问加站长微信联系(非本文作者)
相关链接
在Golang中读取非常大的文件 |
Golang:同时处理5个大文件
Golang对excel进行处理
Golang 超大文件读取方案
Golang读取文件和处理超大文件方案
Golang超大文件读取的方案有哪些