mysql插入数据优化 golang实现

mysql 插入数据优化总结

问题
最近遇到一个场景，需要插入200万条数据到mysql，一开始不熟悉gorm，直接使用create()方法插入数据，没有使用并发，事务，批量处理等操作，导致插入1万条数据需要将近1分钟的时间。所以后面简单查了下博客，做了些优化，这里总结一下。仅是个人学习，有错误还望指出。

	**整体的优化顺序是添加事务->批量处理->并发->修改存储引擎->设置连接池数量。**

详细内容

• 事务：
  使用事务可以提高数据的插入效率，这是因为进行一个INSERT操作时，MySQL内部会建立一个事务，在事务内进行真正插入处理。通过使用事务可以减少数据库执行插入语句时多次“创建事务，提交事务”的消耗，所有插入都在执行后才进行提交操作。

• 批量插入：
  一是减少SQL语句解析的操作， 只需要解析一次就能进行数据的插入操作，二是SQL语句较短，可以减少网络传输的IO

• 并发：
  可以起多个协程并发执行插入语句。

• 存储引擎：
  myisam相比innodb插入数据更快，可以插入数据的时候使用myisam，插入完成之后将表改成innodb，不过myisam不支持事务、不支持外键等，需要综合考虑选择存储引擎。

• 设置连接池：
  一般连接mysql首先需要调用sql.Open函数，但是此时并没有真正的去连接mysql,而是只创建了一个Db的对象而已。当执行Query或者是Exec方法时，才会去真正的连接数据库。
  默认情况下。每次执行sql语句，都会创建一条tcp连接，执行结束就会断掉连接，但是会保留两条连接闲置。当下次再执行 sql时，先用闲置的连接，不够的时候再去创建连接。

测试数据

代码
后续补上，第一个链接里面代码写的更详细。

参考连接
https://www.cnblogs.com/foxy/p/8574151.html+ 《使用golang提升mysql插入》
https://blog.csdn.net/zdw19861127/article/details/78597523 《Mysql批量插入事务插入性能对比》