golang运行在什么分布式架构上

go看过几个程序，挺强大的。比如有一个weedfs分布式文件系统。至于好用。脚本语言是容易编程，容易维护，但是不容易调试。2000年左右python是脚本语言之王，现在也是排名靠前的。go是类似java设计定位，应用范围比java还要小的一个语言。可能需要很多年成长才会好用起来。要说好用呢，语言熟悉了，都好用。无论是basic,python,c,c++还是java，用熟悉了感觉是相同的，开发速度也比较接近。不过整体上脚本语言要比编译语言开发速度快几倍。但是运行时出错的几率也大了几倍。

如何完成一个分布式爬虫

URLManager是爬虫系统的核心。负责URL的重要性排序，分发，调度，任务分配。单个的爬虫完成一批URL的爬取任务之后，会找URLManager要一批新的URL。一般来说，一个爬取任务中包含几千到一万个URL，这些URL最好是来自不同的host，这样

如何设计一个复杂的分布式爬虫系统

！

一个复杂的分布式爬虫系统由很多的模块组成，每个模块是一个独立的服务(SOA架构)，所有的服务都注册到Zookeeper来统一管理和便于线上扩展。模块之间通过thrift(或是protobuf，或是soup，或是json，等)协议来交互和通讯。

Zookeeper负责管理系统中的所有服务，简单的配置信息的同步，同一服务的不同拷贝之间的负载均衡。它还有一个好处是可以实现服务模块的热插拔。
URLManager是爬虫系统的核心。负责URL的重要性排序，分发，调度，任务分配。单个的爬虫完成一批URL的爬取任务之后，会找 URLManager要一批新的URL。一般来说，一个爬取任务中包含几千到一万个

有哪些开源的分布式爬虫解决方案

从GitHub中整理出的15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。 Django: Python Web应用开发框架 Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全...