前言

golang可以轻易制造高并发,在某些场景很合适,比如爬虫的时候可以爬的更加高效。但是对应某些场景,如文件读写,数据库访问等IO为瓶颈的场合,就没有什么优势了。

前提基础

1、golang数据库访问 
在golang中数据库访问使用”database/sql”包提供的接口,不同的数据库,比如pg、mysql只需要提供对应的驱动就可以了。注意”database/sql”包提供的接口只针对关系型数据库,nosql如redis和mongodb都是直接使用对应的客户端包,不实现”database/sql”包提供的接口。关于”database/sql”包,这里不做讲述,后续在基础回顾上巩固下。总体上就是提供了连接、事务处理、还有就是打开的时候注意打开的时候并没有连接,而是产生一个池,每次有交互的时候才产生一个连接(事务交互除外)。

2、数据库插入优化基础 
1)插入无索引表会比插入有索引的表快,毕竟建立索引总是要增加一些额外操作 
2)插入小表比插入大表快,业务一般插入速度是以条数计算,大表一条记录比较大,需要IO的时间比较长。 
3)多个连接一起插入会比单连接快,因为mysql不是单线程。 
4)日志缓存增大可以加快插入速度,因为减少了IO访问次数。 
5)一次插入多条数据可以加快插入速度。

实践经验

ps:以小表做实验,都用一个环境,比较差异。 
表结构:

1、无任何优化,一条条插入,且使用同一个链接 
代码片段:

结果:

1514911765

1514912248

使用了483s 平均100000/500 大概是200次每秒。

2、单连接,使用事务。

运行结果

1514910923

1514911049

使用了129s 平均100000/125, 约为800次每秒

3、批量插入,每1W条执行一次插入操作。,注意max_allowed_packet要设置的足够大

结果:

1514969811

1514970318

使用了507s 平均10000000/500, 约为2W次每秒

4、并发插入,使用100个协程插入

运行结果:

1514974432

1514974796

使用了363s 平均10000000/500, 约为2.7W次每秒

4、1千W条数据,开1000个协程做插入操作,每次插入1W条数据。mysql最大连接数设置为2048 
运行结果:

mysql宕机,CPU,MEM使用过高,IO使用并不高。

总结:

从程序层面上看: 
1、使用事务会比较快一些。 
2、多连接插入会快很多,当读写成为瓶颈的时候,效果就不太明显。 
3、一次插入多条数据也会快很多。 
4、高并发大量插入请求,mysql服务的应对措施是宕机,而不是拒绝请求。(这个跟笔者代码也有一定关系,因为100个协程前面都是再抢CPU构造插入请求,几乎都是同时向mysql请求),mysql在高并发场景,如果承受不住会宕机,这点在设计上需要注意。

 

 

 

 原文:http://blog.csdn.net/m0_38132420/article/details/78964433