最近用go语言重构之前用python草草搭建的推荐引擎,语言杂食确实很难受,不过不得不说,在饱受弱类型脚本语言的摧残之后重新用回强类型语言,轻微强迫症的我居然还有些开心?(终于摆脱没完没了的type assertion啦)

由于用户画像存在MongoDB,因此在引擎里需要连接Mongo,而在高并发的场景下,MongoDB的连接IO成为了瓶颈。虽然只是一次连接,峰值QPS就从3K降到了500……显然,在进程级别上建立一个连接池,达到会话的多请求复用是个基本的需求。

我在工程里用的库是mgo,最简单的代码实例如下:

func GetUserProfile(uid string) (result UserProfile) {  
    session, err = mgo.Dial("ip:port")
    if err != nil {
        return
    }
    defer session.Close()

    user := "user"
    psw := "psw"
    // 如开启验证库,则需多一步auth & login的过程
    auth := "admin"
    err = session.DB(auth).Login(user, psw)

    db := "db"
    result = UserRecord{}
    collection := session.DB(db).C("col")
    err := collection.Find(bson.M{"uid": uid}).One(&result)
    return
}
session.Clone()
var mongoPool map[string]*mgo.Session

func init() {  
    // 根据配置文件名映射不同MongoDB连接
    mongoPool = map[string]*mgo.Session{}
}

/*
    获取MongoDB会话
 */
func GetMongoSession(name string) *mgo.Session {  
    session, ok := mongoPool[name]
    if !ok {
        return nil
    }
    return session.Clone()
}

于是,之前的查询函数可直接改成如下所示:

func GetUserProfile(uid string) (result UserProfile) {  
    session := mongodb.GetMongoSession("user_mongo")
    defer session.Close()
    db := "db"
    result = UserRecord{}
    collection := session.DB(db).C("col")
    err := collection.Find(bson.M{"uid": uid}).One(&result)
    return
}

Dial方式还可以改成下面的方式:

dialInfo := &mgo.DialInfo{  
        Addrs: []string{ip + ":" + port},
        Timeout: time.Second * 3,
        PoolLimit: 4096,
}
session, err = mgo.DialWithInfo(dialInfo)  

这里可以在结构体里传入一些参数,如timeout(单次连接最大等待时长)、PoolLimit(连接池最大连接数)。需要注意的是,这里的限制数存在一些问题,当连接达到最大数量同时之前的session没有关闭时,程序就会不停地请求新连接,而造成阻塞。因此,切记一定要在session.Clone()之后调用session.Close()来释放连接。

通过以上的方法,再加上本地缓存用户画像的策略,QPS可提升3倍左右。