百度搜索robots协议全新升级公告
Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
9月11日,百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。
如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL。
1、什么是视频极速体验页
搜索视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务,本服务针对短视频需求场景进行体验优化,将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。视频极速体验服务包含视频极速页和合作平台两部分服务,网站可前往平台完善服务设置,获取各项搜索权益。
2、设置搜索robots协议的后果
针对短视频类内容,视频搜索将不再索引、展现网站的视频资源,历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录,该目录下内容将从搜索中屏蔽,其余内容在搜索中则以正常结果展示。
3、robots.txt文件的格式
robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行分开(以CR,CR/NL,or NL作为结束符),每一条记录的格式如下所示:
"<field>:<optional space><value><optionalspace>"
在该文件中可以使用#进行注解,具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始,后面加上若干Disallow和Allow行,详细情况如下:
User-agent:
该项的值用于描述搜索引擎robot的名字。在"robots.txt"文件中,如果有多条User-agent记录说明有多个robot会受到"robots.txt"的限制,对该文件来说,至少要有一条User-agent记录。如果该项的值设为*,则对任何robot均有效,在"robots.txt"文件中,"User-agent:*"这样的记录只能有一条。如果在"robots.txt"文件中,加入"User-agent:SomeBot"和若干Disallow、Allow行,那么名为"SomeBot"只受到"User-agent:SomeBot"后面的 Disallow和Allow行的限制。
Disallow:
该项的值用于描述不希望被访问的一组URL,这个值可以是一条完整的路径,也可以是路径的非空前缀,以Disallow项的值开头的URL不会被robot访问。例如"Disallow:/help"禁止robot访问/help.html、/helpabc.html、/help/index.html,而"Disallow:/help/"则允许robot访问/help.html、/helpabc.html,不能访问/help/index.html。"Disallow:"说明允许robot访问该网站的所有url,在"/robots.txt"文件中,至少要有一条Disallow记录。如果"/robots.txt"不存在或者为空文件,则对于所有的搜索引擎robot,该网站都是开放的。
Allow:
该项的值用于描述希望被访问的一组URL,与Disallow项相似,这个值可以是一条完整的路径,也可以是路径的前缀,以Allow项的值开头的URL是允许robot访问的。例如"Allow:/hibaidu"允许robot访问/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一个网站的所有URL默认是Allow的,所以Allow通常与Disallow搭配使用,实现允许访问一部分网页同时禁止访问其它所有URL的功能。
使用"*"and"$":
Baiduspider支持使用通配符"*"和"$"来模糊匹配url。
"*"匹配0或多个任意字符
"$"匹配行结束符。
最后需要说明的是:百度会严格遵守robots的相关协议,请注意区分您不想被抓取或收录的目录的大小写,百度会对robots中所写的文件和您不想被抓取和收录的目录做精确匹配,否则robots协议无法生效(具体可查看马海祥博客《robots协议文件的写法及语法属性解释》的相关介绍)。
4、robots.txt文件用法举例
关于robots.txt文件用法如下表所示:
5、网站误封Robots该如何处理
robots文件是搜索生态中很重要的一个环节,同时也是一个很细节的环节。在网站运营过程中,很容易忽视robots文件的存在,进行错误覆盖或者全部封禁robots,造成不必要损失!
如果误封禁,请及时删除或修改robots文件,并到百度站长平台robots工具中进行检测和更新。
马海祥博客点评:
自有搜索引擎之日起,Robots协议已是一种目前为止最有效的方式,用自律维持着网站与搜索引擎之间的平衡,让两者之间的利益不致过度倾斜。它就像一个钟摆,让互联网上的搜索与被搜索和谐相处。
本文发布于马海祥博客文章,如想转载,请注明原文网址摘自于http://www.mahaixiang.cn/seoxw/2332.html,注明出处;否则,禁止转载;谢谢配合!上一篇:百度搜索推出细雨算法:促进供求黄页类站点生态健康发展
下一篇:百度搜索将推出飓风算法2.0:严厉打击恶劣采集行为
您可能还会对以下这些文章感兴趣!
-
百度PC端搜索favicon下线通知
亲爱的搜索合作伙伴:为提升搜索结果呈现的用户体验,PC端搜索结果中的favicon(如下图红框标出)即日起下线,您的搜索权益不受任何影响,特此公告。favicon的优势在于用户打开很多页面的时候,用户可以快速找到你的网站。所以现在这个图标还是要设置的!而……【查看全文】
-
2015年元旦期间百度对.cc和.cn域名网站大范围降权及K站
此次百度大范围降权k站主要波及的是.cn域名后缀的网站,主要表现出以下几点现象:1、主要波及.cn、.com.cn、.net.cn、.cc几个域名后缀,以.cn域名网站为主,影响最严重。2、受波及的网站出现关键词排名下降、长尾关键词大量消失的现象,甚至一些网站出现收录全无的现象……【查看全文】
-
关于百度搜索严厉打击虚假诈骗等违法违规信息的公告
为了维护安全健康的搜索生态,保障搜索用户的合法权益,百度搜索严厉打击电信网络中的虚假诈骗、违法交易、黄赌毒等违法违规信息。百度搜索打击的违法违规信息包括但不限于以下内容:一、虚假、诈骗类信息;二、违法交易类信息;三、黄赌毒信息;在此,我们也希望广大站……【查看全文】
-
百度推出蓝天算法:严厉打击新闻源售卖目录
百度持续打击新闻源售卖软文、目录行为,近日百度反作弊团队发现部分新闻源站点售卖目录,发布大量低质内容现象仍然存在,此举严重违反新闻源规则,并影响用户搜索体验。针对此情况,百度推出“蓝天算法”,旨在严厉打击新闻源售卖软文、目录行为,还用户一片搜索蓝天。……【查看全文】
-
百度推出最新外链查询工具beta版:首次公开给出外链数据
据百度站长平台发布的通知,百度外链工具beta版今日正式上线,这是百度网页搜索首次推出外链工具,提供链接到所查询网站的域、该主域下链接url的详细信息及查询网站被链接的网页的详细信息的展示和下载功能,可以说是百度首次给出了外链数据,而外链一直是SEO里面非重要……【查看全文】
-
烽火计划:百度移动搜索打击流量劫持推出烽火反劫持计划
近期,百度移动搜索接到用户举报,在浏览完落地页返回搜索结果页时,会进入到虚假的百度移动搜索结果页,该页面模拟了百度搜索结果首页,但实际上是一个虚假的风险站点,用户访问存在极大的安全隐患,严重影响了用户的搜索体验。针对此情况,百度移动搜索推出烽火反劫持……【查看全文】
-
细雨算法2.0即将上线:主要打击B2B领域网站恶劣违规低质内容
对于近期B2B领域出现的伤害搜索用户体验的违规低质内容,百度搜索将升级细雨算法,上线细雨算法2.0。B2B领域主要包含:供求黄页、加盟代理、生产代工、批发交易等内容。此次细雨算法2.0将覆盖百度搜索下的PC站点、H5站点、智能小程序内容。对于算法覆盖的站点或智能小程序,将会根据违规问题的恶劣程度,酌情限制搜索结果的展现。本次细雨算法升级共涉及以下两类问题:……【查看全文】
-
烽火算法2.0:百度将严惩“窃取用户数据”和“恶意劫持”行为
近期,百度搜索即将上线烽火算法2.0,将严惩“窃取用户数据”和“恶意劫持”的行为。烽火算法2.0 主要针对以下两类问题,一经发现将会永久封禁:1、未经用户允许恶意窃取用户手机号码等隐私数据的行为。2、恶意劫持百度流量的行为,主要表现在:(1)、搜索用户通……【查看全文】
-
百度搜索将推出清风算法2.0:严厉打击欺骗下载
百度搜索将于5月上旬推出清风算法2.0,对于欺骗用户下载的问题进行永久封禁。请站长尽快对照下面说明进行自查和整改。清风算法二期,欺骗下载主要有以下两种类型:1、实际下载的资源与需求不符。示例(1):网页页面标题描述为小说下载,但是下载下来的却是APP;示……【查看全文】
-
百度冰桶算法4.5:发力打击Landing Page恶劣广告
近期,经过技术挖掘,我们发现部分网页通过色情动图、露骨文本、赌博等等吸引眼球的形态诱导用户点击非法广告,为了改善用户体验以及引导行业生态向积极健康的方向发展,百度搜索再次升级冰桶算法,将针对发布恶劣诱导类广告的页面进行打击,降低其在百度搜索系统中的评……【查看全文】
分类目录
热点推荐
互联网更多>>
计算机的开机启动原理 计算机从打开电源到开始操作,整个启动可以说是一个非常复杂的过程。总体来说,计算机的整个启动过程分成四个……
互联网思维究竟是一种什么样的思维? 但凡做企业的,不管是创业的还是在互联网冲击下转型升级的传统行业企业家,“互联网思维”已经成为了大家共同……
移动互联网是什么意思? 移动互联网就是将移动通信和互联网二者结合起来成为一体,是指互联网的技术、平台、商业模式和应用与移动通信……
SEO优化 更多>>
-
外贸B2C网站该如何做SEO优化
曾几何时,外贸企业的订单主要来源于外贸会展…… -
如何提高企业网站的页面价值?
随着互联网技术的普及,很多企业已逐步向网络…… -
医院该如何打造品牌营销理念
在互联网时代,医院必须对传统营销的组织形式…… -
为什么说淘宝天猫开店已很难赚钱?
有时候创业就像趴在窗户上的苍蝇,外面的风景…… -
百度算法升级:将打击复制采集、超链
在今天下午1点左右,百度网页搜索反作弊团队再…… -
什么是绿帽SEO?
Green SEO或Green hat SEO是国外SEO领域新出的一个新概…… -
学习SEO优化最常见的100个SEO问答
在学习SEO的过程中,大家都会碰到很多这样或那…… -
如何从优化的角度选择网站的关键词
在选择关键词之前,我们应该先确定网站的内容……