scrapyd-go的替代品,更易于扩展,并且可以轻松地分布在任意数量的商用机器上,没有任何麻烦,每个scrapyd-go实例都是无状态微服务,所有实例都必须是constiredd-go-drop-为了替代scrapyd,它更易于扩展,并且可以轻松地在任意数量的商品计算机上分发,每个scrapyd-go实例都是无状态微服务,所有实例都必须连接到同一redis服务器,redis用作集中式所有实例的注册表系统,因此每个实例都可以看到其他实例。 为什么scrapyd不错,但是它非常有状态,将其部署在k8s等分布式环境中并不是一件容易的事。