马海祥博客是一个专注于分享SEO优化、网站制作、网络营销和运营思维的自媒体博客!
马海祥博客 > SEO优化 > SEO研究院 > 百度搜索引擎的工作原理

百度搜索引擎的工作原理

时间:2015-07-10   文章来源:马海祥博客   访问次数:

关于百度以及其它搜索引擎的工作原理,其实大家已经讨论过很多,但随着科技的进步、互联网业的发展,各家搜索引擎都发生着巨大的变化,并且这些变化都是飞快的,本文的目的,除了从百度官方的角度发出一些声音、纠正一些之前的误读外,还希望通过不断更新内容,与百度搜索引擎发展保持同步,给各位站长带来最新的、与百度高相关的信息。

百度搜索引擎的工作原理-马海祥博客

本章主要内容分为四个章节,分别为:抓取建库;检索排序;外部投票;结果展现。

一、抓取建库

互联网信息爆发式增长,如何有效的获取并利用这些信息是搜索引擎工作中的首要环节,数据抓取系统作为整个搜索系统中的上游,主要负责互联网信息的搜集、保存、更新环节,它像蜘蛛一样在网络间爬来爬去,因此通常会被叫做“spider”,例如我们常用的几家通用搜索引擎蜘蛛被称为:Baiduspdier、Googlebot、Sogou Web Spider等。

1、Spider抓取系统的基本框架

Spider抓取系统是搜索引擎数据来源的重要保证,如果把web理解为一个有向图,那么,spider的工作过程可以认为是对这个有向图的遍历,从一些重要的种子URL开始,通过页面上的超链接关系,不断的发现新URL并抓取,尽最大可能抓取到更多的有价值网页。

对于类似百度这样的大型spider系统,因为每时每刻都存在网页被修改、删除或出现新的超链接的可能,因此,还要对spider过去抓取过的页面保持更新,维护一个URL库和页面库。

百度搜索引擎的工作原理-马海祥博客

上图为spider抓取系统的基本框架图,其中包括链接存储系统、链接选取系统、dns解析服务系统、抓取调度系统、网页分析系统、链接提取系统、链接分析系统、网页存储系统,Baiduspider即是通过这种系统的通力合作完成对互联网页面的抓取工作。

2、Baiduspider 主要抓取策略类型

上图看似简单,但其实Baiduspider在抓取过程中面对的是一个超级复杂的网络环境,为了使系统可以抓取到尽可能多的有价值资源并保持系统及实际环境中页面的一致性同时不给网站体验造成压力,会设计多种复杂的抓取策略,以下马海祥博客也为大家做下简单的介绍:

(1)、抓取友好性

互联网资源庞大的数量级,这就要求抓取系统尽可能的高效利用带宽,在有限的硬件和带宽资源下尽可能多的抓取到有价值资源,这就造成了另一个问题,耗费被抓网站的带宽造成访问压力,如果程度过大将直接影响被抓网站的正常用户访问行为,因此,在抓取过程中就要进行一定的抓取压力控制,达到既不影响网站的正常用户访问又能尽量多的抓取到有价值资源的目的。

通常情况下,最基本的是基于ip的压力控制,这是因为如果基于域名,可能存在一个域名对多个ip(很多大网站)或多个域名对应同一个ip(小网站共享ip)的问题。

实际中,往往根据ip及域名的多种条件进行压力调配控制,同时,站长平台也推出了压力反馈工具,站长可以人工调配对自己网站的抓取压力,这时百度spider将优先按照站长的要求进行抓取压力控制。

对同一个站点的抓取速度控制一般分为两类:其一,一段时间内的抓取频率;其二,一段时间内的抓取流量。

同一站点不同的时间抓取速度也会不同,例如夜深人静月黑风高时候抓取的可能就会快一些,也视具体站点类型而定,主要思想是错开正常用户访问高峰,不断的调整,在马海祥看来,对于不同站点,也需要不同的抓取速度。

(2)、常用抓取返回码示意

简单介绍几种百度支持的返回码:

①、最常见的404代表“NOT FOUND”,认为网页已经失效,通常将在库中删除,同时短期内如果spider再次发现这条url也不会抓取(具体可查看马海祥博客《404 Not Found错误页面的解决方法和注意事项》的相关介绍)。

②、503代表“Service Unavailable”,认为网页临时不可访问,通常网站临时关闭,带宽有限等会产生这种情况,对于网页返回503状态码,百度spider不会把这条url直接删除,同时短期内将会反复访问几次,如果网页已恢复,则正常抓取;如果继续返回503,那么这条url仍会被认为是失效链接,从库中删除。

③、403代表“Forbidden”,认为网页目前禁止访问。如果是新url,spider暂时不抓取,短期内同样会反复访问几次;如果是已收录url,不会直接删除,短期内同样反复访问几次,如果网页正常访问,则正常抓取;如果仍然禁止访问,那么这条url也会被认为是失效链接,从库中删除。

④、301代表是“Moved Permanently”,认为网页重定向至新url,当遇到站点迁移、域名更换、站点改版的情况时,我们推荐使用301返回码,同时使用站长平台网站改版工具,以减少改版对网站流量造成的损失。

(3)、多种url重定向的识别

互联网中一部分网页因为各种各样的原因存在url重定向状态,为了对这部分资源正常抓取,就要求spider对url重定向进行识别判断,同时防止作弊行为。

重定向可分为三类:http 30x重定向、meta refresh重定向和js重定向,另外,百度也支持Canonical标签,在效果上可以认为也是一种间接的重定向。

(4)、抓取优先级调配

由于互联网资源规模的巨大以及迅速的变化,对于搜索引擎来说全部抓取到并合理的更新保持一致性几乎是不可能的事情,因此这就要求抓取系统设计一套合理的抓取优先级调配策略,主要包括:深度优先遍历策略、宽度优先遍历策略、pr优先策略、反链策略、社会化分享指导策略等等,每个策略各有优劣,在实际情况中往往是多种策略结合使用以达到最优的抓取效果。

(5)、重复url的过滤

spider在抓取过程中需要判断一个页面是否已经抓取过了,如果还没有抓取再进行抓取网页的行为并放在已抓取网址集合中,判断是否已经抓取其中涉及到最核心的是快速查找并对比,同时涉及到url归一化识别,例如一个url中包含大量无效参数而实际是同一个页面,这将视为同一个url来对待(具体可查看马海祥博客《大量重复URL被百度索引收录的解决方法》的相关介绍)。

(6)、暗网数据的获取

互联网中存在着大量的搜索引擎暂时无法抓取到的数据,被称为暗网数据,一方面,很多网站的大量数据是存在于网络数据库中,spider难以采用抓取网页的方式获得完整内容;另一方面,由于网络环境、网站本身不符合规范、孤岛等等问题,也会造成搜索引擎无法抓取。

目前来说,对于暗网数据的获取主要思路仍然是通过开放平台采用数据提交的方式来解决,例如“百度站长平台”“百度开放平台”等等。

(7)、抓取反作弊

spider在抓取过程中往往会遇到所谓抓取黑洞或者面临大量低质量页面的困扰,这就要求抓取系统中同样需要设计一套完善的抓取反作弊系统,例如分析url特征、分析页面大小及内容、分析站点规模对应抓取规模等等。

3、Baiduspider抓取过程中涉及的网络协议

刚才提到百度搜索引擎会设计复杂的抓取策略,其实搜索引擎与资源提供者之间存在相互依赖的关系,其中搜索引擎需要站长为其提供资源,否则搜索引擎就无法满足用户检索需求;而站长需要通过搜索引擎将自己的内容推广出去获取更多的受众。

spider抓取系统直接涉及互联网资源提供者的利益,为了使搜素引擎与站长能够达到双赢,在抓取过程中双方必须遵守一定的规范,以便于双方的数据处理及对接,这种过程中遵守的规范也就是日常中我们所说的一些网络协议,以下简单列举:

(1)、http协议

超文本传输协议,是互联网上应用最为广泛的一种网络协议,客户端和服务器端请求和应答的标准。

客户端一般情况是指终端用户,服务器端即指网站,终端用户通过浏览器、蜘蛛等向服务器指定端口发送http请求,发送http请求会返回对应的httpheader信息,可以看到包括是否成功、服务器类型、网页最近更新时间等内容。

(2)、https协议

实际是加密版http,一种更加安全的数据传输协议(具体可查看马海祥博客《从SEO的角度来分析网站是否该采用HTTPS协议》的相关介绍)。

(3)、UA属性

UA即user-agent,是http协议中的一个属性,代表了终端的身份,向服务器端表明我是谁来干嘛,进而服务器端可以根据不同的身份来做出不同的反馈结果。

(4)、robots协议

robots.txt是搜索引擎访问一个网站时要访问的第一个文件,用以来确定哪些是被允许抓取的哪些是被禁止抓取的,robots.txt必须放在网站根目录下,且文件名要小写,详细的robots.txt写法可参考马海祥博客《robots协议文件的写法及语法属性解释》的相关介绍,百度严格按照robots协议执行,另外,同样支持网页内容中添加的名为robots的meta标签,index、follow、nofollow等指令。

4、Baiduspider抓取频次原则及调整方法

Baiduspider根据上述网站设置的协议对站点页面进行抓取,但是不可能做到对所有站点一视同仁,会综合考虑站点实际情况确定一个抓取配额,每天定量抓取站点内容,即我们常说的抓取频次,那么百度搜索引擎是根据什么指标来确定对一个网站的抓取频次的呢?主要指标有四个:

(1)、网站更新频率:更新快多来,更新慢少来,直接影响Baiduspider的来访频率(具体可查看马海祥博客《网站更新频率对于网站的影响》的相关介绍)。

(2)、网站更新质量:更新频率提高了,仅仅是吸引了Baiduspier的注意,Baiduspider对质量是有严格要求的,如果网站每天更新出的大量内容都被Baiduspider判定为低质页面,依然没有意义。

(3)、连通度:网站应该安全稳定、对Baiduspider保持畅通,经常给Baiduspider吃闭门羹可不是好事情。

(4)、站点评价:百度搜索引擎对每个站点都会有一个评价,且这个评价会根据站点情况不断变化,是百度搜索引擎对站点的一个基础打分(绝非外界所说的百度权重),是百度内部一个非常机密的数据,站点评级从不独立使用,会配合其它因子和阈值一起共同影响对网站的抓取和排序。

抓取频次间接决定着网站有多少页面有可能被建库收录,如此重要的数值如果不符合站长预期该如何调整呢?百度站长平台提供了抓取频次工具,该工具除了提供抓取统计数据外,还提供“频次调整”功能,站长根据实际情况向百度站长平台提出希望Baiduspider增加来访或减少来访的请求,工具会根据站长的意愿和实际情况进行调整。

5、造成Baiduspider抓取异常的原因

有一些网页,内容优质,用户也可以正常访问,但是Baiduspider却无法正常访问并抓取,造成搜索结果覆盖率缺失,对百度搜索引擎对站点都是一种损失,百度把这种情况叫“抓取异常”。

对于大量内容无法正常抓取的网站,百度搜索引擎会认为网站存在用户体验上的缺陷,并降低对网站的评价,在抓取、索引、排序上都会受到一定程度的负面影响,最终影响到网站从百度获取的流量。

下面马海祥博客向站长们介绍一些常见的抓取异常原因:

(1)、服务器连接异常

服务器连接异常会有两种情况:一种是站点不稳定,Baiduspider尝试连接您网站的服务器时出现暂时无法连接的情况;一种是Baiduspider一直无法连接上您网站的服务器。

造成服务器连接异常的原因通常是您的网站服务器过大,超负荷运转,也有可能是您的网站运行不正常,请检查网站的web服务器(如apache、iis)是否安装且正常运行,并使用浏览器检查主要页面能否正常访问,您的网站和主机还可能阻止了Baiduspider的访问,您需要检查网站和主机的防火墙。

(2)、网络运营商异常

网络运营商分电信和联通两种,Baiduspider通过电信或网通无法访问您的网站,如果出现这种情况,您需要与网络服务运营商进行联系,或者购买拥有双线服务的空间或者购买cdn服务。

(3)、DNS异常

当Baiduspider无法解析您网站的IP时,会出现DNS异常,可能是您的网站IP地址错误,或者域名服务商把Baiduspider封禁,请使用WHOIS或者host查询自己网站IP地址是否正确且可解析,如果不正确或无法解析,请与域名注册商联系,更新您的IP地址。

(4)、IP封禁

IP封禁为:限制网络的出口IP地址,禁止该IP段的使用者进行内容访问,在这里特指封禁了BaiduspiderIP,当您的网站不希望Baiduspider访问时,才需要该设置,如果您希望Baiduspider访问您的网站,请检查相关设置中是否误添加了BaiduspiderIP,也有可能是您网站所在的空间服务商把百度IP进行了封禁,这时您需要联系服务商更改设置。

(5)、UA封禁

UA即为用户代理(User-Agent),服务器通过UA识别访问者的身份。当网站针对指定UA的访问,返回异常页面(如403,500)或跳转到其他页面的情况,即为UA封禁,当您的网站不希望Baiduspider访问时,才需要该设置,如果您希望Baiduspider访问您的网站,useragent相关的设置中是否有Baiduspider UA,并及时修改。

(6)、死链

页面已经无效,无法对用户提供任何有价值信息的页面就是死链接,包括协议死链和内容死链两种形式:

①、协议死链:页面的TCP协议状态/HTTP协议状态明确表示的死链,常见的如404、403、503状态等。

②、内容死链:服务器返回状态是正常的,但内容已经变更为不存在、已删除或需要权限等与原内容无关的信息页面。

对于死链,马海祥建议站点使用协议死链,并通过百度站长平台--死链工具向百度提交,以便百度更快地发现死链,减少死链对用户以及搜索引擎造成的负面影响。

(7)、异常跳转

将网络请求重新指向其他位置即为跳转,异常跳转指的是以下几种情况:

①、当前该页面为无效页面(内容已删除、死链等),直接跳转到前一目录或者首页,百度建议站长将该无效页面的入口超链接删除掉。

②、跳转到出错或者无效页面。

注意:对于长时间跳转到其他域名的情况,如网站更换域名,百度建议使用301跳转协议进行设置。

(8)、其他异常

①、针对百度refer的异常:网页针对来自百度的refer返回不同于正常内容的行为。

②、针对百度ua的异常:网页对百度UA返回不同于页面原内容的行为。

③、JS跳转异常:网页加载了百度无法识别的JS跳转代码,使得用户通过搜索结果进入页面后发生了跳转的情况。

④、压力过大引起的偶然封禁:百度会根据站点的规模、访问量等信息,自动设定一个合理的抓取压力,但是在异常情况下,如压力控制失常时,服务器会根据自身负荷进行保护性的偶然封禁,这种情况下,请在返回码中返回503(其含义是“Service Unavailable”),这样Baiduspider会过段时间再来尝试抓取这个链接,如果网站已空闲,则会被成功抓取。

6、新链接重要程度判断

好啦,上面我们说了影响Baiduspider正常抓取的原因,下面就要说说Baiduspider的一些判断原则了。

在建库环节前,Baiduspider会对页面进行初步内容分析和链接分析,通过内容分析决定该网页是否需要建索引库,通过链接分析发现更多网页,再对更多网页进行抓取——分析——是否建库&发现新链接的流程。

理论上,Baiduspider会将新页面上所有能“看到”的链接都抓取回来,那么,面对众多新链接,Baiduspider根据什么判断哪个更重要呢?

(1)、对用户的价值

①、内容独特,百度搜索引擎喜欢unique的内容。

②、主体突出,切不要出现网页主体内容不突出而被搜索引擎误判为空短页面不抓取。

③、内容丰富。

④、广告适当。

(2)、链接重要程度

①、目录层级——浅层优先。

②、链接在站内的受欢迎程度。

7、百度优先建重要库的原则

Baiduspider抓了多少页面并不是最重要的,重要的是有多少页面被建索引库,即我们常说的“建库”,众所周知,搜索引擎的索引库是分层级的,优质的网页会被分配到重要索引库,普通网页会待在普通库,再差一些的网页会被分配到低级库去当补充材料,目前60%的检索需求只调用重要索引库即可满足,这也就解释了为什么有些网站的收录量超高流量却一直不理想。

那么,哪些网页可以进入优质索引库呢?在马海祥看来,其实总的原则就是一个:对用户的价值,包括却不仅于:

(1)、有时效性且有价值的页面

在这里,时效性和价值是并列关系,缺一不可。有些站点为了产生时效性内容页面做了大量采集工作,产生了一堆无价值面页,也是百度不愿看到的.

(2)、内容优质的专题页面

专题页面的内容不一定完全是原创的,即可以很好地把各方内容整合在一起,或者增加一些新鲜的内容,比如观点和评论,给用户更丰富全面的内容。

(3)、高价值原创内容页面

百度把原创定义为花费一定成本、大量经验积累提取后形成的文章,千万不要再问我们伪原创是不是原创(具体可查看马海祥博客《从搜索引擎的角度来看文章内容原创的问题》的相关介绍)。

(4)、重要个人页面

这里仅举一个例子,科比在新浪微博开户了,即使他不经常更新,但对于百度来说,它仍然是一个极重要的页面。

8、哪些网页无法建入索引库

上述优质网页进了索引库,那其实互联网上大部分网站根本没有被百度收录,并非是百度没有发现他们,而是在建库前的筛选环节被过滤掉了,那怎样的网页在最初环节就被过滤掉了呢?

(1)、重复内容的网页:互联网上已有的内容,百度必然没有必要再收录。

(2)、主体内容空短的网页,这包括:

①、有些内容使用了百度spider无法解析的技术,如JS、AJAX等,虽然用户访问能看到丰富的内容,依然会被搜索引擎抛弃。

②、加载速度过慢的网页,也有可能被当作空短页面处理,注意广告加载时间算在网页整体加载时间内。

③、很多主体不突出的网页即使被抓取回来也会在这个环节被抛弃。

(3)、部分作弊网页。

二、检索排序

众所周知,搜索引擎的主要工作过程包括:抓取、存储、页面分析、索引、检索等几个主要过程。

1、索引系统

在以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针,也许一定的时间内可以完成查找,但是用户等不起,从用户体验角度我们必须在毫秒级别给予用户满意的结果,否则用户只能流失,怎样才能达到这种要求呢?

如果能知道用户查找的关键词(query切词后)都出现在哪些页面中,那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程,而检索即变成了页面名称之间的比较、求交,这样,在毫秒内以亿为单位的检索成为了可能,这就是通常所说的倒排索引及求交检索的过程,如下为建立倒排索引的基本过程:

百度搜索引擎的工作原理-马海祥博客

(1)、页面分析的过程实际上是将原始页面的不同部分进行识别并标记,例如:title、keywords、content、link、anchor、评论、其他非重要区域等等。

(2)、分词的过程实际上包括了切词分词同义词转换同义词替换等等,以对某页面title分词为例,得到的将是这样的数据:term文本、termid、词类、词性等等(具体可查看马海祥博客《百度中文分词技术是什么》的相关介绍)。

(3)、之前的准备工作完成后,接下来即是建立倒排索引,形成{termàdoc},下图即是索引系统中的倒排索引过程:

百度搜索引擎的工作原理-马海祥博客

倒排索引是搜索引擎实现毫秒级检索非常重要的一个环节,下面我们要重要介绍一下索引系统建立倒排索引的重要过程——入库写库。

2、倒排索引的重要过程——入库写库

索引系统在建立倒排索引的最后还需要有一个入库写库的过程,而为了提高效率这个过程还需要将全部term以及偏移量保存在文件头部,并且对数据进行压缩,这涉及到的过于技术化在此就不多提了,在此,马海祥博客也简要给大家介绍一下索引之后的检索系统。

检索系统主要包含了五个部分,如下图所示:

百度搜索引擎的工作原理-马海祥博客

(1)、Query串切词分词即将用户的查询词进行分词,对之后的查询做准备,以“10号线地铁故障”为例,可能的分词如下(同义词问题暂时略过):

10  0x123abc
  号   0x13445d
  线   0x234d
  地铁 0x145cf
  故障 0x354df

(2)、查出含每个term的文档集合,即找出待选集合,如下:

0x123abc   1  2 3  4  7  9…..
  0x13445d   2  5 8  9  10  11……
  ……
  ……

(3)、求交,上述求交,文档2和文档9可能是我们需要找的,整个求交过程实际上关系着整个系统的性能,这里面包含了使用缓存等等手段进行性能优化。

(4)、各种过滤,举例可能包含过滤掉死链、重复数据、色情、垃圾结果以及你懂的!

(5)、最终排序,将最能满足用户需求的结果排序在最前,可能包括的有用信息如:网站的整体评价、网页质量、内容质量、资源质量、匹配程度、分散度、时效性等等。

3、影响搜索结果排序的因素

上面的内容好象有些深奥,因为涉及大量技术细节,马海祥只能说到这儿了,那下面马海祥说说大家最感兴趣的排序问题吧,用户输入关键词进行检索,百度搜索引擎在排序环节要做两方面的事情,第一是把相关的网页从索引库中提取出来,第二是把提取出来的网页按照不同维度的得分进行综合排序,“不同维度”包括:

(1)、相关性:网页内容与用户检索需求的匹配程度,比如网页包含的用户检查关键词的个数,以及这些关键词出现的位置;外部网页指向该页面所用的锚文本等。

(2)、权威性:用户喜欢有一定权威性网站提供的内容,相应的,百度搜索引擎也更相信优质权威站点提供的内容。

(3)、时效性:时效性结果指的是新出现的网页,且网页内承载了新鲜的内容,目前时效性结果在搜索引擎中日趋重要。

(4)、重要性:网页内容与用户检查需求匹配的重要程度或受欢迎程度。

(5)、丰富度:丰富度看似简单却是一个覆盖范围非常广的命题,可以理解为网页内容丰富,可以完全满足用户需求;不仅可以满足用户单一需求,还可以满足用户的延展需求。

(6)、受欢迎程度:指该网页是不是受欢迎。

以上便是百度搜索引擎决定搜索结果排序时考虑的六大原则,那么六大原则的侧重点是怎样的呢?哪个原则在实际应用时占比最大呢?其实在这里没有一个确切的答案。

在百度搜索引擎早期,这些阈值的确是相对固定的,比如“相关性”在整体排序中的重量可以占到七成,但随着互联网的不断发展,检索技术的进步,网页数量的爆发式增长,相关性已经不是难题,于是百度搜索引擎引入了机器学习机制,让程序自动产出计算公式,推进排序策略更加合理。

4、低质网页狙击策略——石榴算法

我们理解网站生存发展需要资金支持,从来不反对网站添加各种合法广告,不要再问我们“我们网站加了XX联盟的广告会不会被处罚”这类问题,有些站点好不容易在百度有了比较好的排位,却在页面上放置大量有损访问用户体验的广告,已经严重影响到百度搜索引擎用户的使用感受。

为此,百度质量团队2013年5月17日发布公告:针对低质量网页推出了石榴算法,旨在打击含有大量妨碍用户正常浏览的恶劣广告的页面,尤其是弹出大量低质广告、存在混淆页面主体内容的垃圾广告的页面(具体可查看马海祥博客《百度石榴算法的上线对站长们有什么影响》的相关介绍)。

百度质量团队希望站长能够多从用户角度出发,朝着长远发展考虑,在不影响用户体验的前提下合理地放置广告,赢得用户的长期青睐才是一个网站发展壮大的基础。

三、外部投票

曾经,“内容为王,外链为皇”的说法流行了很多年,通过超链计算得分来体现网页的相关性和重要性,的确曾经是搜索引擎用来评估网页的重要参考因素之一,会直接参与搜索结果排序计算。

1、外链的作用

随着该技术被越来越多的SEO人员了解,超链已经逐渐失去作为投票的重要意义,无论是谷歌还是百度,对超链数据的依赖程度都越来越低,那么,在现在,超链在发挥着怎样的作用?

(1)、吸引蜘蛛抓取

虽然百度在挖掘新好站点方面下了很大工夫,开放了多个数据提交入口,开避了社会化发现渠道,但超链依然是发现收录链接的最重要入口。

(2)、向搜索引擎传递相关性信息

百度除了通过TITLE、页面关键词、H标签等对网页内容进行判断外,还会通过锚文本进行铺助判断,使用图片作为点击入口的超链,也可以通过alt属性和title标签向百度传情达意。

(3)、提升排名

百度搜索引擎虽然降低了对超链的依赖,但对超链的识别力度从未下降,制定出更加严格的优质链接、正常链接、垃圾链接和作弊链接标准(具体可查看马海祥博客《垃圾外链是什么》的相关介绍)。

对于作弊链接,除了对链接进行过滤清理外,也对链接的受益站进行一定程度的惩罚,相应的,对优质链接,百度依然持欢迎的态度。

(4)、内容分享,获取口碑

优质内容被广泛传播,网站借此获得的流量可能并不多,但如果内容做得足够,也可以树立自己的品牌效应。

严格来讲,这并不属于超链的作用,在百度眼里,网站的品牌比超链要重要得多。

2、切断买卖超链的利刃——绿萝算法

百度质量团队2013年2月19日发布公告推出绿萝算法,针对买卖链接行为再次强调:买卖链接行为一方面影响用户体验,干扰搜索引擎算法;另一方面让投机建站者得利、超链中介者得利,真正勤勤恳恳做好站的站长在这种恶劣的互联网超链环境中无法获得应有的回报,因此,针对买卖链接行为在清除外链计算的基础上,以下三个类型的网站将会受到不同程度的影响:

(1)、超链中介

超链本应是互联网上相对优质的推荐,是普通用户及网站之间对页面内容、网站价值的肯定,但是现在种种超链作弊行为使得真实的肯定变成了一些人谋取利益的垫脚石,用户无法根据链接的推荐找到需要的优质资源,并且严重干扰搜索引擎对网站的评价,超链中介便是这畸形的超链市场下形成的恶之花,我们有义务维护超链的纯净维护用户利益,也有责任引导站长朋友们不再支出无谓的花销,所以超链中介将在我们的目标范围内。

(2)、出卖链接的网站

一个站点有许多种盈利方式,利用优质的原创内容吸引固定用户,引进优质广告资源,甚至举办线下活动,这些盈利方式都是我们乐于见到的,是一个网站的真正价值所在,但是一些网站内容基本采集自网络,以出卖超链位置为生;一些机构类网站或被链接中介所租用进行链接位置出售,使得超链市场泡沫越吹越多,此次的调整对这类站点同样将有所影响。

(3)、购买链接的网站

一直以来,百度对优质站点都会加以保护和扶植,这是从用户需求以及创业站长的角度出发的必然结果,而部分站长不将精力用在提升网站质量上,而选择钻营取巧,以金钱换取超链,欺骗搜索引擎进而欺骗用户。

对于没有太多资源和金钱用于此类开销的创业站长来说,也是一种无形的伤害,如果不进行遏制,劣币驱逐良币,势必导致互联网环境愈加恶劣,此次调整这类站点本身也将受到影响。

以上即百度质量团队首次推出绿萝算法时的具体情况,后来被称为绿萝算法1.0(具体可查看马海祥博客《百度绿萝算法正式上线了》的相关介绍),事隔5个月之后,百度质量团队再次推出绿萝算法2.0,针对明显的推广性软文进行更大范围更加严格的处理。

惩罚的对象重点是发布软文的新闻站点,同时包括软文交易平台、软文收益站点,惩罚方式包括:

①、针对软文交易平台,将被直接屏蔽。

②、针对软文发布站,将视不同程度而进行处理。

例如一个新闻网站,存在发布软文的现象但情节不严重,该网站在搜索系统中将被降低评价;利用子域大量发布软文的,该子域将被直接屏蔽,并且清理出百度新闻源;更有甚者创建大量子域用于发布软文,此种情况整个主域将被屏蔽。

③、针对软文受益站,一个网站的外链中存在少量的软文外链,那么此时该外链将被过滤清除出权重计算体系,该受益站点将被观察一段时间后视情况而进一步处理;一个网站的外链中存在大量的软文外链,那么,此时该受益站点将被降低评价或直接屏蔽。

四、结果展现

网页经历了抓取建库,参与了排序计算,最终展现在搜索引擎用户面前,目前在百度搜索左侧结果展现形式很多,如:凤巢、品牌专区、自然结果等,一条自然结果怎样才能获得更多的点击,是站长要考虑的重要一环。

目前,自然结果里又分为两类,第一个,即结构化展现,形式比较多样,目前覆盖80%的搜索需求,即80%的关键词下会出现这种复杂展现样式;第二个即一段摘要式展现,最原始的展现方式,只有一个标题、两行摘要、部分链接,如下图所示:

百度搜索引擎的工作原理-马海祥博客

很明显,结构化展现能够向用户明确传递信息,直击用户需求痛点,获得更好的点击自然不在话下,目前,百度结构化展现有几个样式:

1、通用问答:提取答案,方便搜索用户参考,有些结构化数据还提取出了问题。

百度搜索引擎的工作原理-马海祥博客

2、下载类展示。

百度搜索引擎的工作原理-马海祥博客

3、时间戳:对于时效性较强的资讯,将时间提取出来,吸引用户点击,还有回复的条目,能够表现这个链接的有效性和热度。

百度搜索引擎的工作原理-马海祥博客

4、在线文档:出现文档格式示意图。

百度搜索引擎的工作原理-马海祥博客

5、原创标记:原创标记的使用是最严格的,只有通过人工审核的站点才能拥有原创标志,在抓取和排序上有一定优待,所以审核非常严格,严控质量。

百度搜索引擎的工作原理-马海祥博客

6、配图:扩大面积,方便用户了解网页内容,吸引点击。

百度搜索引擎的工作原理-马海祥博客

那么,站长可以通过什么途径获得结果化展现呢?

1、参与原创星火计划:百度站长平台VIP俱乐部提供申请入口,需要经过人工审核后进行数据提交。

2、结构化数据提交工具。

3、结构化数据标注工具。

4、搜索结果配图,具体要求是:在文章主体位置;图片与内容相关;图片上没有文字;图片比例接近121*91即可。

马海祥博客点评:

每一个SEOer都应该认清楚搜索引擎优化的最根本目的就是为了获得用户,因此用户体验不能够忽视,我们在搜索引擎上获得排名的原因也是因为我们为用户提供了有价值的内容,在发展方向上,无论你是站长还是专业的SEOer,都应该朝着做用户、做产品、做服务的方面去发展,而不应该局限于SEO,此点甚为重要。

本文发布于马海祥博客文章,如想转载,请注明原文网址摘自于https://www.mahaixiang.cn/seoyjy/1222.html,注明出处;否则,禁止转载;谢谢配合!

相关标签搜索: 搜索引擎   百度   工作原理  

上一篇:从SEO的角度来分析网站是否该采用HTTPS协议
下一篇:趣谈SEO的进化史

您可能还会对以下这些文章感兴趣!

  • SEO链轮是什么?

    SEO链轮(SEO Link Wheels)是从国外引入国内的,一种比较新颖的SEO策略,是一种比较先进的网络营销方式。SEO链轮是指通过在互联网上建立大量的独立站点或是在各大门户网站上开设博客,这些独立站点或是博客群通过单向的、有策略、有计划紧密的链接,并都指向要优化的目标……【查看全文

    阅读:1139关键词: seo   seo链轮   日期:2016-02-24
  • 404 Not Found错误页面的解决方法和注意事项

    404页面就是当用户访问某网站时,点击了错误的链接时,所返回的页面。最常见的出错提示:404 Not Found。其目的就是告诉浏览者其所请求的页面不存在或链接错误,同时引导用户使用网站其他页面而不是关闭窗口离开。错误页面的文字可以自定义,有些网站没有设置404错误页面,或……【查看全文

    阅读:96618关键词: 404页面   404错误   404   日期:2014-02-16
  • 反向链接是什么意思

    反向链接又叫导入链接(Backlinks),外部链接,是指外部网站有你的网址指向你的网站,其实就是在目标文档(网页)内部进行声明,要求目标文档指向自己(网页)的链接,通俗点讲,网页A上有一个链接指向网页B,则网页A上的链接是网页B的反向链接,换言之,常规链接在文……【查看全文

    阅读:2048关键词: 反向链接   日期:2012-08-14
  • 基于用户投票的六大排名算法研究

    随着互联网的发展,网站的数量也在随着成倍的增加着,就中国的互联网来说,根据中国互联网信息中心的数据显示,目前中国的网站数量每半年都会以接近10%的数量增长。这些大量的网站涌现,也就意味着我们已进入了信息大爆炸的时代。 而如今用户担心的已不再是信息太少,而……【查看全文

    阅读:4660关键词: 用户投票   排名算法研究   排名算法   用户投票算法   日期:2013-12-28
  • 百度快照更新是什么意思?

    最近发现有很多刚入SEO行业的新手对网站seo的技巧有很多的误区,比如网站快照不更新就代表网站被惩罚。关于这个观点我们先看看什么是百度快照,百度快照的作用是什么?我们有该如何让百度快照持续更新呢?快照即为Web Cache,可以翻译为网页缓存,当搜索引擎派出蜘蛛去对网站……【查看全文

    阅读:9777关键词: 百度快照   百度快照更新   快照更新   日期:2014-03-17
  • 网站SEO优化的分析诊断报告包含了哪些内容

    SEO优化是针对搜索引擎规则做出优化以提高网站排名为目的的优化手段。其所需时间往往是长久性的,包括从网站域名、服务器、程序选取、网站结构、行业分析、竞争分析而切入的优化过程。而SEO诊断,在时间的要求上恰与其截然相反,所求目的完全与优化过程一致:提高网站友……【查看全文

    阅读:7211关键词: 网站seo   seo优化   seo分析   seo诊断   seo报告   seo   日期:2014-09-15
  • 百度移动搜索落地页体验白皮书4.0全文解读

    进入移动互联网时代,百度搜索致力于提升搜索用户的浏览体验,营造健康的搜索生态。过去一年中,在百度搜索和全网资源提供者的共同努力下,移动搜索落地页广告问题已经得到了明显的改善。现在,百度搜索发布《百度移动搜索落地页体验白皮书4.0》,旨在继续与各内容生产……【查看全文

    阅读:153关键词: 移动搜索   落地页   白皮书   日期:2018-08-15
  • linux系统或windows+iis系统设置404页面方法

    404页面通常是为用户访问了网站上不存在或已删除的页面,服务器返回404错误页面,告诉浏览者其所请求的页面不存在或链接错误,同时引导用户使用网站其他页面而不是关闭窗口离开,消除用户的疑虑。网站设置404页面后,如果网站出现死链接,搜索引擎蜘蛛爬行这类网址……【查看全文

    阅读:169关键词: 404   linux   系统   window   iis   404页面   日期:2018-11-22
  • 揭秘搜索引擎中的反SEO作弊研究

    从搜索引擎优化服务开始,分析了现在所存在的搜索引擎优化的作弊手段;然后提出了四种方法用来预防、破解作弊,并结合现实总结提出逐级分层审查刮度;最后结合Google搜索引擎,讨论并分析了Google搜索引擎的反作弊方法及其中的PR值算法……【查看全文

    阅读:687关键词: 搜索引擎   反SEO作弊   SEO研究   日期:2012-10-15
  • 落地页体验白皮书5.0解读:如何合理设置展开全文功能

    本文解读文章深度剖析展开全文功能的设置要求。白皮书5.0提到”展开全文的设置必须具有文字标示,且功能实际可用;展开全文功能最多只能出现一次,但不可出现在落地页的首屏内容中(列表页除外);展开全文与广告等引导性内容要设置一定距离间隔,避免干扰用户操作。”如何设置展开全文按钮才更符合用户的体验习惯呢?这篇文章将为你答疑解惑。百度搜索用户研究团队的用户调研发现,搜索用户进入落地页的诉求是浏览页面全部内容,展开……【查看全文

    阅读:115关键词: 落地页   白皮书   展开功能   日期:2020-04-19
  • 2011-2012年百度历次大更新数据分析

    本篇文章记录了百度从2011年到2012年中旬百度大更新记录的文章。以下数据分析以站长之家官方提供的网站监控分析数据为蓝本,结合优词网等站点观察数据和一些 优秀SEO站长工具和软件的收集,并佐以自己手上二十几个站点作参考进行综合分析,基于统计学分析原理,以大量站……【查看全文

    阅读:636关键词: 百度大更新   数据分析   日期:2012-08-09
  • 《百度搜索优质内容指南》全文解读

    今日,《百度搜索优质内容指南》在百度搜索学院悄悄地上线了,这是百度近两年,再次重新深度定义什么是百度搜索优质内容,对于SEO人员而言,特别是对于新站长而言,具有非常积极的指导意义,以免造成过多的资源浪费,给予了明确的指导规范的建议。百度搜索2020年全新发布了面向全网内容生产者的《百度搜索优质内容指南》,详细讲述了优质内容的标准,希望给广大内容生产者在生产优质内容时提供参考。关于优质内容的详细标准,请查看以下……【查看全文

    阅读:345关键词: 百度搜索   优质内容   百度指南   日期:2020-04-01
  • 落地页体验白皮书5.0解读:什么样的顶部嵌入广告符合体验标准

    《百度APP移动搜索落地页体验白皮书5.0》对页面广告的内容、形式、位置和面积的要求都做出了详细的说明,受到了全网开发者的广泛关注。关于白皮书5.0中最新提出的顶部嵌入广告标准”落地页首屏顶部允许嵌入不超过一屏面积10%的优质广告”,不少开发者对此提出疑问和反馈,本篇文章将对顶部嵌入优质广告要求做出具体解读:落地页首屏顶部允许嵌入优质广告的总体要求如下:面积:顶部嵌入广告面积必须小于首屏面积的10%。标识:广告位上有明……【查看全文

    阅读:89关键词: 落地页   白皮书   广告   广告标准   日期:2020-04-17
  • 百度最新调整后的算法规则

    最近闹得沸沸扬扬的百度6.22和6.28的K站事件到目前已经告一段落了,K站的主要原因已经渐渐明朗,以及百度将会对哪些类型的网站会做降权处理,现在也已经明朗化。针对各大站长漫长的着急等待,以及愤恨的心情,百度目前已经给出了较为明确的答案,那么百度规则和算法调整……【查看全文

    阅读:1586关键词: 百度最新算法   百度算法规则   百度最新调整   日期:2012-08-17
  • 网站最新SEO优化公式解析

    网站seo优化公式 SEO=Clock=C1+L2+K3+O4 1、是一个积分符号,C=content,L=link,K=keywords,O=others。SEO就是一个长期的对时间积分过程,内容是核心; 2、C1丰富的内容是第一位的要素,按照原创、伪原创、转载依次排列内容的重要性满足用户体验; 3、L2链接的合理与……【查看全文

    阅读:2119关键词: seo   seo优化公式   网站seo   网站优化   seo公式   日期:2012-08-06
  • 如何分析网站是否真的被降权惩罚及解决方法

    对于混迹于国内站长圈的朋友来说,每天起早贪黑发外链的网站被百度惩罚似乎在这几年已经是司空见惯的事了,所以很多时候网站流量、排名或者是收录有小幅度波动时,站长都会认为网站又被惩罚了,有到处的去抱怨。其实,很多情况都只是站长自己太过于敏感了而已,网站被百……【查看全文

    阅读:2958关键词: 网站分析   网站被惩罚   网站降权   日期:2014-04-24
  • 搜索引擎判定相似文章网页的原理

    余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1,而其他任何角度的余弦值都不大于1;并且其最小值是 -1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时,余弦相似度的值……【查看全文

    阅读:1384关键词: 搜索引擎   判定相似文章   相似文章原理   文章判定原理   日期:2013-10-13
  • Google搜索质量小组专业解答的25个SEO问题

    2013年对于众多站长和SEO可以说是最为波折的一年,这一年百度出台了百度绿萝算法、百度石榴算法和百度绿萝算法2.0,而google也相继出台了谷歌EMD算法、熊猫算法、企鹅算法2.0和蜂鸟算法。作为一个站长或SEOer,你是否对这些算法还存在很多的疑惑,尤其对于靠做外贸产品……【查看全文

    阅读:692关键词: Google   Google搜索   搜索质量   解答SEO问题   SEO问题   日期:2013-11-22
  • 百度索引量下降的原因及解决方法

    作为一名专业的SEO人员,我们很多的时候都在研究站点中有多少页面可以作为搜索候选结果,也就是一个网站的索引量,所谓网站索引量,就是搜索引擎抓取你网站的数量,这能影响到网站收录率,是一个非常重要的SEO因素,索引量是流量的基础,索引量数据的每一个变动都拨动着……【查看全文

    阅读:5771关键词: 百度索引量   百度   索引量   百度索引   日期:2015-05-21
  • 百度排名算法规则及SEO优化要点总结

    做SEO目的其实就是为访客服务,满足用户的需求,想方设法的为了用户提供他们想要看的内容,而不是一味的最求最大利益化,其实百度只是一个展示的平台,只要你有了用户的青睐,你想达到的目标,自然也就水到渠成了,做SEO的核心就是要挖掘用户的力量,只有挖掘用户的力量……【查看全文

    阅读:3006关键词: 百度   百度排名   百度算法   seo优化   日期:2015-12-31
↓ 点击查看更多 ↓

互联网更多>>

SEO优化 更多>>

如何通过IIS日志分析网站的隐形信息 百度冰桶算法4.5:发力打击Landing Page恶劣广告