超级干货,一文看懂大数据的前世今生

今天我们常说的大数据技术,其实起源于Google在2004年前后发表的三篇论文,也就是我们经常听到的“三驾马车”,分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库系统BigTable。

你知道,搜索引擎主要就做两件事情,一个是网页抓取,一个是索引构建,而在这个过程中,有大量的数据需要存储和计算。这“三驾马车”其实就是用来解决这个问题的,你从介绍中也能看出来,一个文件系统、一个计算框架、一个数据库系统。

“不参与大数据建设,10年后一定后悔”。早在几年前,马云就在某次峰会中提到,未来30年,是从IT时代到DT时代的变革。

大数据发展态势

从上世纪60年代到现在,我们对数据的处理能力越来越强,概括起来,主要经历了四个阶段:从数据处理时代到微机时代,再到互联网络时代,现如今是大数据时代,量变引发形态变化。

有这样一句话叫数据重构商业,流量改变未来。数据作为企业的核心资产,对企业的业务创新发展越来越重要,企业也非常重视大数据人才的培养。

大数据人才缺口巨大

信息技术的高速发展与高校人才培养之间的矛盾日异突出,导致大数据人才的缺口巨大,从四个维度来分析:

1、据国内知名企业调查发现,目前大数据人才需求在200万左右,而大数据人才从业者才50万左右,整体大数据人才缺口在150万

2、大数据人才集中在互联网行业,占了2/3,行业分布极不均衡

3、大数据人才集中在北京、上海等发达区域,区域分布级不均衡

4、大数据人才跳槽率是传统IT科技人才的2倍,因为稀缺,物依稀为贵。

所以学习大数据开发,是非常急迫的事情,抓住机遇,努力拼搏,必有成就。

大数据工程师职业发展路径

大数据工程师职业发展路径分为5个阶段,每个阶段对应职位和薪水是不一样的:

  • 第一阶段:实习工程师,工作第一年,月薪大于6K;
  • 第二阶段:助理工程师,有1-2年工作经验,月薪8K-12K;
  • 第三阶段:初、中级工程师,3年工作经验,月薪15-20K;
  • 第四阶段:高级工程师3-5年工作经验,月薪20-40K;
  • 第五阶段:首席工程师/架构师,月薪大于50K;

这个薪水非常的有竞争力,这也是为什么这么多学生要学习大数据开发技术。

作为大数据岗位中的 “大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。

大数据开发工程师技能图谱

作为人少钱多的高薪岗位,大数据开发工程师需要掌握的技能图谱也是非常有挑战性的。如果做成思维导图的话,大概是这个样子:

目前,无论是Facebook, Twitter, Google, 百度,腾讯,阿里,网易,这些国内外知名的互联网巨头公司,还是国内处于成长期的小公司,都在使用Spark。

Spark主要的业务场景包括:数据ETL处理、数据仓库建设、流式计算、欺诈检测、风险评估、图关系建设和分析、机器学习等。

如果要完整的学习大数据的话,这些课程都是必不可少的。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论