中培伟业IT资讯频道
您现在的位置:首页 > IT资讯 > 大数据 > 浅论搜索引擎的发展趋势对大数据挖掘的影响

浅论搜索引擎的发展趋势对大数据挖掘的影响

2016-07-05 15:12:30 | 来源:中培企业IT培训网

前一段时间引起举国哗然的魏泽西事件将国内搜索引擎龙头百度推上了风口浪尖,舆论的强大压力迫使百度公司不得不在竞价排名这一领域做出调整。那么从技术这一块来看,未来的搜索引擎的发展将如何发展呢?中培伟业《大数据分析及可视化技术应用实战》培训专家谢老师指出,web搜索引擎能为用户提供一种查找所需资源的服务,已经成为互联网上仅次于电子邮件的第二大服务,其对数据挖掘的发展具有重要影响。最后,谢老师预测了搜索引擎的发展方向。

搜索引擎是人们在信息海洋中漫游时的导航。它滥觞于某些软件为方便用户而设立的查找功能,经历了从单机版到网络版、从通用型向专门型、从人工型到智能型的发展,目前已经成为互联网上最受欢迎的服务之一。搜索引擎以一定的策略在互朕网中搜集、发现信息,对其进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。

智能型搜索引擎将整个互联网作为一个整体的、超大型的、动态的数据库处理。智能型搜索引擎主要实现5大功能:搜索请求提交、调度策略生成、搜索引擎调度管理、搜索接口代理转化和搜索结果处理反馈功能。其中,搜索请求提交和搜索结果处理反馈功能组成用户接口部件,其它各功能分别由调度策略生成器、搜索引擎管理器、搜索引擎代理器4大模块组成。

(1)用户接口部件:用户接口部件是系统的用户界面,负责接收用户请求,并将用户对系统界面的操作转换为系统标准请求。

(2)搜索引擎管理器:搜索引擎管理器根据包含用户请求主题、地域情况的系统标准搜索请求,向数据挖掘管理器请求本次搜索引擎代理选择策略。

(3)搜索引擎代理管理器:搜索引擎代理管理器是若干搜索引擎代理的综合。它把接收到的连接请求转化为相应搜索引擎调用的本地化连接请求,激活相关引擎工作。

(4)数据挖掘管理器:数据挖掘管理器是体现系统智能化的主要模块。它负责实现搜索引擎知识库的预处理功能,建立搜索引擎调用策略。对搜索引擎管理器发送的本次搜索记录进行统计整理,根据数据挖掘的具体算法修改下一次的搜索引擎调用策略。

标签: 大数据