最近用go语言重构之前用python草草搭建的推荐引擎,语言杂食确实很难受,不过不得不说,在饱受弱类型脚本语言的摧残之后重新用回强类型语言,轻微强迫症的我居然还有些开心?(终于摆脱没完没了的type assertion啦)
由于用户画像存在MongoDB,因此在引擎里需要连接Mongo,而在高并发的场景下,MongoDB的连接IO成为了瓶颈。虽然只是一次连接,峰值QPS就从3K降到了500……显然,在进程级别上建立一个连接池,达到会话的多请求复用是个基本的需求。
我在工程里用的库是mgo,最简单的代码实例如下:
func GetUserProfile(uid string) (result UserProfile) {
session, err = mgo.Dial("ip:port")
if err != nil {
return
}
defer session.Close()
user := "user"
psw := "psw"
// 如开启验证库,则需多一步auth & login的过程
auth := "admin"
err = session.DB(auth).Login(user, psw)
db := "db"
result = UserRecord{}
collection := session.DB(db).C("col")
err := collection.Find(bson.M{"uid": uid}).One(&result)
return
}
session.Clone()
var mongoPool map[string]*mgo.Session
func init() {
// 根据配置文件名映射不同MongoDB连接
mongoPool = map[string]*mgo.Session{}
}
/*
获取MongoDB会话
*/
func GetMongoSession(name string) *mgo.Session {
session, ok := mongoPool[name]
if !ok {
return nil
}
return session.Clone()
}
于是,之前的查询函数可直接改成如下所示:
func GetUserProfile(uid string) (result UserProfile) {
session := mongodb.GetMongoSession("user_mongo")
defer session.Close()
db := "db"
result = UserRecord{}
collection := session.DB(db).C("col")
err := collection.Find(bson.M{"uid": uid}).One(&result)
return
}
Dial方式还可以改成下面的方式:
dialInfo := &mgo.DialInfo{
Addrs: []string{ip + ":" + port},
Timeout: time.Second * 3,
PoolLimit: 4096,
}
session, err = mgo.DialWithInfo(dialInfo)
这里可以在结构体里传入一些参数,如timeout(单次连接最大等待时长)、PoolLimit(连接池最大连接数)。需要注意的是,这里的限制数存在一些问题,当连接达到最大数量同时之前的session没有关闭时,程序就会不停地请求新连接,而造成阻塞。因此,切记一定要在session.Clone()之后调用session.Close()来释放连接。
通过以上的方法,再加上本地缓存用户画像的策略,QPS可提升3倍左右。