最新新闻,最快送达

大数据工程师需要掌握哪些技术?有哪些基本工作要求?

  • 发布时间:2020-10-16
  • 来源:中培教育网

  如今,大数据的重要性已不再必要重提。在疫情期间,大数据还帮助我们共同克服困难。例如:使用舆论大数据来告知疫情情况,甚至国务院也使用大数据来分析每个人的地理位置以及他们在14天内访问过的地方。因此越来越多的人想要转行大数据岗位。那么大数据工程师需要掌握哪些技术?大数据开发有哪些有哪些基本工作要求?

  大数据工程师需要掌握哪些技术?

  大数据工程师需要掌握的技术包括数据采集技术、数据预处理技术、大数据存储和管理技术、大数据计算引擎等。

  1、数据采集技术

  数据采集主要通过Web、应用、传感器等方式获得各种类型的结构化、半结构化及非结构化数据,难点在于采集量大且数据类型繁多。采集网络数据可以通过网络爬虫或API的方式来获取。

  对于系统管理员来说,系统日志对于管理有重要的意义,很多互联网企业都有自己的海量数据收集工具,用于系统日志的收集,能满足每秒数百MB的日志数据采集和传输需求,如Hadoop的Chukwa、Flume,Facebook的Scribe等。

  2、数据预处理技术

  大数据的预处理包括对数据的抽取和清洗等方面,数据抽取过程可以将数据转化为单一的或者便于处理的数据结构(常用的数据抽取工具infa)。数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序,可以将数据集中的残缺数据、错误数据和重复数据筛选出来并丢弃。

  3、大数据存储和管理技术

  实现对结构化、半结构化、非结构化海量数据的存储与管理,可以综合利用分布式文件系统、数据仓库、关系型数据库、非关系型数据库等技术。

  4、大数据计算引擎

  批处理模式:一堆数据一起做批量处理,不能满足实时性要求,如MapReduce,Spark。

  流计算:针对流数据(日志流、用户点击流)的实时计算,需要实时处理。只能用流计算框架做,流计算代表产品:S4+Storm+Flume。

  图计算:MapReduce也能处理,但效率不高。代表软件:Google Pregel。

  查询分析计算:交互式查询,要求实时性高。代表产品:Google Dremel、Hive、Cassandra、Impala。

  大数据开发有哪些有哪些基本工作要求?

  1、大数据研发工程师

  基本工作要求:有扎实的计算机理论基础;熟练Java、Python服务端编程,有良好的编码习惯;深入理解MapReduce,熟练使用Storm、Hadoop、Spark,并阅读部分源码;熟练使用HDFS、Hbase、Kafka、ElasticSearch、Solr;深入理解Lucene,ElasticSearch,Solr等。

  2、大数据平台开发工程师

  基本工作要求:扎实的数据结构及算法功底,优秀的工程实现能力;熟悉Linux开发环境,精通C/C++、Java;有storm/hadoop/spark/kafka/hbase等开源框架经验;有机器学习知识背景。

  3、大数据架构师

  基本工作要求:扎实的Java基础知识,5年以上的Java Spring研发和大型系统架构经验,熟悉分布式系统的设计和应用,熟悉大数据领域的开源产品,清楚原理和机制;熟悉Hadoop/Hbase/MYSQL等数据存储产品使用和特性;有基于Kylin或Greenplum等平台应用研发经验。

  综上所述,大数据工程师需要掌握哪些技术,以及大数据开发有哪些有哪些基本工作要求相信大家已经知晓了吧,想了解更多关于大数据的信息,请继续关注中培教育。

近期开班

phone
全国报名服务热线: 400-626-7377
合作伙伴
  • 国际APMG组织
  • 思科(Cisco)
  • 国际OPEN GROUP组织
  • 国家外专局培训中心
  • 上海银行
  • 中国石油管道局工程有限公司
  • 朗新科技
  • 中国国家博物馆
金牌客户
  • 中国石油天然气集团公司
  • 中国农业银行
  • 中国建设银行
  • 波司登集团
  • 浙江移动
合作机构
  • 美国项目管理协会
  • 人力资源和社会保障部
  • 中华人民共和国工业和信息化部
  • 中国计算机技术职业资格网
  • CITIF中国电子信息行业联合会
  • PEOPLECERT
微信公众号
公众号

微信号:zpitedu

  • 中培教育 Copyright © 2006-2020 北京中培伟业管理咨询有限公司 .All Rights Reserved
  • 京ICP备13024721号  gonganimg  京公网安备11010602007294号  增值电信业务经营许可证:京B2-20201348  全国统一报名专线:400-626-7377