什么是大数据?
大数据就是利用一些技术手段来处理海量数据并实现其价值。首先是海量数据,如果没有数据支撑,大数据就只是空谈。其次是技术手段,用来离线或者实时处理数据,其中的Hadoop你一定有所耳闻。目前,大数据应用比较广泛的行业有:电商、运营商、金融、医疗等。
为什么需要大数据?
这里就拿电商举例。是否你曾经思考过,为什么每次你浏览过的商品,就会出现在首页推荐或者其他APP的广告中。其实这就是大数据的应用之一。
你在APP上浏览商品,后台会收集你的商品浏览数据,其中包括用户账号、商品类别等字段。此刻,如果你是技术人员,你会如何将浏览数据存放起来?在传统开发思维中很多人会选择:MySQL。
但是一天几百、几千亿的商品浏览数据,主机需要多大的磁盘才能完成数据留存?MySQL能处理这么多数据吗?如何实时高效分析出用户的浏览偏好?这需要开发者思考技术选型。
而大数据的出现,就解决了这些问题。
大数据难学么?
大数据其实是不难学的,只是要求技术层面比较广,涉及编程、网络、主机等方面知识,需要多方面知识的沉淀。大数据的深入学习需要在理论的基础上加以实践。在学习技术框架的时候,最好动手在阿里云或者虚拟机上搭建集群,一方面可以提高Linux的使用能力和了解集群的运行原理,另一方面可以在集群上进行操作练习。
其次,大数据技术在生产和测试环境中其实是不一样的。生产环境会有实际的业务场景和各种各样的问题,所以有机会接触到大数据生产环境的话,学习效率会事半功倍。