PHP和Python写习惯了,压根没想过还会有并发读写的问题。。。
场景
处理kafka队列中的针对同一id的两种信息:“wait”和“done”,每次消费kafka信息打入map,每10分钟遍历一次两个map:
- 如果同一id同时有“wait”和“done”两种消息,则代表任务完成,将这两条记录删除;
- 如果“wait”消息发出后20分钟内没有收到“done”信息,则触发降级机制,向队列中打入“done”信息;
- 如果“done”消息收到后60分钟内没有收到“wait”信息,将“done”信息删除。
问题
fatal error: concurrent map read and map write
解决
-
然后开始尝试优化这种情况,最开始使用sync.Mutex对整个worker做锁定,然后读写的地方太多,再加上还有定时任务,就导致,要么是锁的不够多,要么是重复锁,于是我就在并发读写报错和重复锁上来回折腾。
-
折腾的是在受不了了,我就开始研究其他方案,发现:Golang在1.9版本之后,官方支持了一个sync.Map,于是就用这个替换了map,写着写着发现有sync.Map 这么个东西,没有count方法,而我要做统计、做实时监控就必须需要这个功能,查阅官方issue发现,golang官方说map这个东西就不该有count方法,压根就没有场景会用到,而且count的话性能会很差,醉了。
-
然后就尝试使用了github.com/orcaman/concurrent-map 贼靠谱。