golang转到大数据开发Hadoop?

这个题目有点难答。作为过来人,试着回答下。

本质

无论是java还是go,还是Hadoop spark,并没有本质区别,它们都是为特定业务场景开发服务的。

比如java go之类的,主要用于业务开发,比如各种业务系统,各种app或者pc服务的后台,比如淘宝的后台。主要解决的矛盾是实现业务需求,规模上来后。矛盾就是如何解决并发,流量,服务治理,扩容,存储,容灾这类问题。

而Hadoop spark是解决大数据问题而产生的,它们解决问题的场景是围绕大数据的存储,计算而产生的。当业务规模没有上来的时候,数据存储和计算都不是问题,比如统计用户的行为点击等等,用户分析,根本不需要这些大数据框架,往往单机就能搞定,单机能搞定的,肯定不需要多机分布式了。

当业务规模上来后,单机或者说。即使是多机,不用这些大数据套件,从头造轮子,很不可取和经济。好比原来餐馆是雇人洗盘子,餐馆生意好了些,再雇多几个人,也能搞定。经过发展,生意越来越好了,发现直接购买洗碗机或者外包给洗碗公司,效率更高质量又好。放在我们的业务上也一样,规模上来后,就必须用上这些为大数据而生的Hadoop spark了,发现用了又快又好。

说了这么多,本质上来讲,是根据业务规模来转的。而不是无缘无故转的,有需求才有转的动机。

另一个方面,对于个人来说,等待业务需要再来转,未免有点迟了。在技术出现的时候,非常考验个人技术洞察力,一个人的经历毕竟有限。选一门技术天花板高,未来使用广的技术路线就非常重要了,提前布局学习。在2010年那会儿,Hadoop刚兴起的时候,那时候你如果对Hadoop数字熟悉并专攻,比如成为Hadoop commiter,可以毫无疑问的说,一定是行业大牛了,阿里百度腾讯随便进了。所以你看,选择和努力同样重要。

为什么转,一个是业务需要,一个是个人技术洞察力,提前布局。Hadoop spark在相当长时间内,都是需求很旺的技术了,只不过,经过近10年的发展,现在大数据这块,基本是百花齐放了。比如flink,有取代spark的趋势了。

总结下,向内看业务需要,向外看行业需要。

欢迎关注 coding老王,专业打代码三十年。

java 大数据,golang转到大数据开发Hadoop