大通彩票 排名优化软件 SEO优化 SEO视频教程 SEO方案 SEO案例 SEO术语 SEO问答 网站建设 站长资讯 百度官方资料 其他SEO教程 SEO百科 时事要闻
SEO入门教程 SEO基础教程 百度算法详解 SEO技能提升 移动搜索 SEO工具 SEO书籍 DIV+CSS 网站SEO准备 网站搭建案例 搜索引擎动态 网络营销
前卫SEO > 搜索引擎动态 >                          SEO服务热线:【18896806360同微信】 QQ:【1135043367】
热门文章
大通彩票百度搜索引擎工作原理-抓取、过滤 > <a class=百度搜索引擎工作原理-抓取、过滤
大通彩票禁止搜索引擎收录的方法 > <a class=禁止搜索引擎收录的方法
大通彩票搜索引擎原理简单分析带图 > <a class=搜索引擎原理简单分析带图
大通彩票如何让搜索引擎100%收录文章的技巧 > <a class=如何让搜索引擎100%收录文章的技巧
大通彩票搜索引擎优化服务的好处超越搜索 > <a class=搜索引擎优化服务的好处超越搜索
大通彩票搜索引擎检索系统概述 > <a class=搜索引擎检索系统概述
大通彩票什么样的新站能快速被搜索引擎搜 > <a class=什么样的新站能快速被搜索引擎搜
大通彩票 搜索引擎网站收录地址大全 > <a class= 搜索引擎网站收录地址大全
大通彩票扯扯淡:四大搜索引擎在站长圈的 > <a class=扯扯淡:四大搜索引擎在站长圈的
大通彩票搜索引擎提交sitemap大全(网站地图 > <a class=搜索引擎提交sitemap大全(网站地图
特别推荐
大通彩票米银俊任广东汕头市委常委、组织 > <a class=米银俊任广东汕头市委常委、组织
大通彩票我所了解的即刻搜索的研发状况 > <a class=我所了解的即刻搜索的研发状况
大通彩票【春节创乡记】那些小城镇的互联 > <a class=【春节创乡记】那些小城镇的互联
大通彩票淘宝虚假交易新规正式公布 将于 > <a class=淘宝虚假交易新规正式公布 将于
大通彩票请喝茶:带你感受广州互联网的创 > <a class=请喝茶:带你感受广州互联网的创
大通彩票莫用PC互联网营销思维做移动营销 > <a class=莫用PC互联网营销思维做移动营销
大通彩票百度又出了sitelink?到底想干啥? > <a class=百度又出了sitelink?到底想干啥?
大通彩票alt标签对SEO优化的影响 > <a class=alt标签对SEO优化的影响
大通彩票站长就是个太监 > <a class=站长就是个太监
大通彩票做淘宝代销死路一条:本人亲感句 > <a class=做淘宝代销死路一条:本人亲感句
大通彩票其实,你能做一个优秀博客 > <a class=其实,你能做一个优秀博客
大通彩票SEO优化的工作流程和思维方式到底 > <a class=SEO优化的工作流程和思维方式到底
大通彩票【爆料】2014年移动互联网薪水分析 > <a class=【爆料】2014年移动互联网薪水分析
大通彩票WEB标准-优点 > <a class=WEB标准-优点
大通彩票一位SEOer一生的学习规划 > <a class=一位SEOer一生的学习规划

搜索引擎抓取系统概述

  站长朋友们,今后定期都将在这里跟大家分享一些有关搜索引擎工作原理及网站运营相关的内容,今天先简单介绍一下关于搜索引擎抓取系统中有关抓取系统基本框架、抓取中涉及的网络协议、抓取的基本过程三部分。

  互联网信息爆发式增长,如何有效的获取并利用这些信息是搜索引擎工作中的首要环节。数据抓取系统作为整个搜索系统中的上游,主要负责互联网信息的搜集、保存、更新环节,它像蜘蛛一样在网络间爬来爬去,因此通常会被叫做“spider”。例如我们常用的几家通用搜索引擎蜘蛛被叫做:Baiduspdier、Googlebot、Sogou Web Spider等。

  Spider抓取系统是搜索引擎数据来源的重要保证,如果把web理解为一个有向图,那么spider的工作过程可以认为是对这个有向图的遍历。从一些重要的种子 URL开始,通过页面上的超链接关系,不断的发现新URL并抓取,尽最大可能抓取到更多的有价值网页。对于类似百度这样的大型spider系统,因为每时 每刻都存在网页被修改、删除或出现新的超链接的可能,因此,还要对spider过去抓取过的页面保持更新,维护一个URL库和页面库。

  1、spider抓取系统的基本框架

  如下为spider抓取系统的基本框架图,其中包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统。

  2、spider抓取过程中涉及的网络协议

  搜索引擎与资源提供者之间存在相互依赖的关系,其中搜索引擎需要站长为其提供资源,否则搜索引擎就无法满足用户检索需求;而站长需要通过搜索引擎将自己的 内容推广出去获取更多的受众。spider抓取系统直接涉及互联网资源提供者的利益,为了使搜素引擎与站长能够达到双赢,在抓取过程中双方必须遵守一定的 规范,以便于双方的数据处理及对接。这种过程中遵守的规范也就是日常中我们所说的一些网络协议。以下简单列举:

  http协议:超文本传输协议,是互联网上应用最为广泛的一种网络协议,客户端和服务器端请求和应答的标准。客户端一般情况是指终端用户,服务器端即指网 站。终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求。发送http请求会返回对应的httpheader信息,可以看到包括是否成功、服务 器类型、网页最近更新时间等内容。

  https协议:实际是加密版http,一种更加安全的数据传输协议。

  UA属性:UA即user-agent,是http协议中的一个属性,代表了终端的身份,向服务器端表明我是谁来干嘛,进而服务器端可以根据不同的身份来做出不同的反馈结果。

  robots协议:robots.txt是搜索引擎访问一个网站时要访问的第一个文件,用以来确定哪些是被允许抓取的哪些是被禁止抓取的。 robots.txt必须放在网站根目录下,且文件名要小写。详细的robots.txt写法可参考 http://www.robotstxt.org 。百度严格按照robots协议执行,另外,同样支持网页内容中添加的名为robots的meta标 签,index、follow、nofollow等指令。

  3、spider抓取的基本过程

  spider的基本抓取过程可以理解为如下的流程图:


  • 链接: http://www.daiboy.com/article/2185.html
  • 顶一下
    (0)
    0%
    踩一下
    (0)
    0%
    上一篇:禁止搜索引擎收录的方法 下一篇:百度搜索引擎工作原理-抓取、过滤、建立索引和
    相关阅读
    
    版权所有: 前卫SEO--致力于做实用的SEO优化学习网站 Email:
    通信局备案:苏ICP备17010502号
    本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规.