hadoop什么意思

两天前,我正在拆开我的旧硬盘并寻找大学的编码笔记。
我有一个项目,使用Hadoop来处理电子商务客户行为日志。
我记得那是2 02 0年的冬天,我在宿舍楼下的食堂里写代码,窗外飘着雪。
我们的五人团队花了整整两天的时间才完成第一个 MapReduce 工作。
调试Map内存溢出问题时。
差点让主机蓝屏。
后来我发现减少Map的数量比较好。
我实在是笑不出来,哭不出来。
等等还有一件事。
当时我们使用的Hadoop版本是3 .1 .1 当时,该文件并不完整。
现在Hadoop被封装在云平台上,我突然想到,年轻人很难理解手动配置NameNode的痛苦吗?

最受开发者欢迎的开源工具Top10,排名第一竟是....

嘿,你为什么对我说这个?对我来说它看起来很大...好吧,好吧,我想你是认真的。

给大家讲一个我经历过的情况。
去年,我在上海为一家外企做一个项目,团队7 0%的人都在使用Docker。
真的很方便,搭建开发环境就像变魔术一样。
然而,朋友第一次使用的时候,抱怨有很多坑,特别是网络配置和存储挂载,调试了很长时间。
不管怎样,如果你做DevOps,就无法避免Docker。

我对 Kubernetes 的了解不多,但听技术专家说它真的很强大,可以管理很多容器。
特别适合大型工厂或有复杂部署需求的公司。
然而,由于配置复杂且学习曲线陡峭,小团队可能会有一些好处。

需要 Git。
毫无疑问。
2 02 2 年我在北京的一家小公司工作,整个项目都是用Git管理的。
合并代码和解决冲突是很常见的。
GitHub帮助我们找到了很多开源资源,但是现在国内使用Gitee的人似乎越来越多。

JavaScript全家桶(包括Node.js、React、Angular等)现在非常流行。
我认识深圳的一位前端高手,去年拿到了高薪offer。
他只玩React + Node.js。
但技术栈太复杂,有时更新太快,让人跟不上。
如果你真的想学,我建议先掌握原生JS,然后再学习框架。

在大数据领域,Hadoop和Spark都非常受欢迎。
去年,我面试了上海一家数据公司,面试官问了关于Hadoop生态系统的问题。
Hadoop 很老而且稳定,但是速度很慢。
Spark 更新、更快,但更难维护。
这取决于你想做什么项目。

TensorFlow 机器学习和人工智能最近很热门。
这是一个非常酷的功能。
我有一个朋友去年在北京参加了使用TensorFlow的深度学习。
他说框架很好,社区支持也很强大。
但它对计算能力要求较高,无法在普通计算机上运行,​​因此需要服务器。

如果你刚刚入行,建议你先学习Java或者Python,打好基础,然后根据自己的兴趣选择方向。
比如,如果你想做后端,就深入Node.js,如果你想做前端,就使用React/Angular。
如果你不学习一切,你最终将一无所知。

无论如何,这个工具很受欢迎。
您使用哪一种取决于您的项目要求和个人兴趣。
这个问题还在考虑中,可能要根据实际情况做出选择。
你呢?您想进一步了解哪一方面?