新型SEO思维就是从一个全新的层次上提升seo优化的水平,达到网络信息最佳化的展示效果!
马海祥博客 > 今日话题 > Robots协议才是互联网垄断的潜规则

Robots协议才是互联网垄断的潜规则

时间:2012-09-07   文章来源:mahaixiang.cn   访问次数:

随着百度跟360的搜索引擎拉开了持久战,双方也是从技术、用户体验、市场份额等等各个方面被拉出来做对比,如今Robots协议又被拿来说事儿,有人说360违反Robots协议抓取搜索引擎搜索结果,还有人说着会引起行业大乱,随后似乎又有几个不知名的小网站随声附和。不过反驳之说,似乎只见诸文字,真对360搜索反感的网站倒还真没见到。

robots.txt文件的作用

Robots协议是什么?在百度百科里的定义,robots协议(也称为爬虫协议、爬虫规则、机器人协议等)也就是robots.txt,网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议是网站国际互联网界通行的道德规范,其目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。

当搜索蜘蛛访问站点时,它会首先检查网站根目录下是否存在Robots.txt。如果存在,搜索机器人就会按照robots文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

Robots协议对于小白用户并不重要,之前也并不广为人知。最近和Robots协议相关的新闻都发生在电子商务网站,之前有两个:一个是京东屏蔽一淘的蜘蛛,另一个是淘宝屏蔽百度的蜘蛛。现在,3B大战闹得很凶,很多人把Robots协议拿出来说事儿。

而在我看来,Robots协议充其量是互联网江湖规矩、“潜规则”而已。

Robots协议不是行业标准,只是“搜索引擎的家规”

Google是互联网江湖的大佬,Robots协议的发展恰恰与Google的发展密不可分。

当年,谷歌凭借搜索引擎飞速发展,可很多大型网站原有的商业模式遭到了严重的破坏。为了维护自身的利益,一些欧美大网站联合起来与Google谈判,要求Google必须做到“有所为有所不为”,于是就有了“Robots协议”。

对于这份所谓的Robots协议,很多企业并不买账。毕竟,这只是谷歌自己制定的规范,并不是各大搜索厂商的共识或统一的协议,也从来没有任何一家国内搜索引擎服务商公开承诺遵守Robots协议或签署类似协议或声明。所以,在很多人眼里,充其量是谷歌的“家规”。

而事实上,这个由搜索引擎制定的协议,只会规定如何与网址分享内容,绝对不会对于搜索引擎不利的条款。伴随搜索引擎的发展,Robots协议朝着相反的法相发展:

Robots协议目的是为了限制谷歌,但最终却帮助Google和百度这样的垄断企业遏制了后起的竞争者。因为,Google当年在制定这个协议时,特意留下了后门,即:协议中不仅包括是否允许搜索引擎进行搜索的内容,还包括允许谁和不允许谁进行搜索内容。Google和百度在实现了垄断地位之后,就利用这些排斥性规则挡住了后来的进入者。

这样看来,Robots协议是互联网的一份“不平等条约”“垄断条款”。

值得一提的是,尽管Robots协议造成了搜索引擎的霸权与垄断,但当年制定条款的初衷却非常值得我们尊重。Robot制定的两个原则是:

1、搜索技术应服务于人类,尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

现在,我们由Robots协议最初的两个初衷,却得到得到两个与众不同的答案:

抓取搜索页面无罪

既然,Robots协议的初衷是为了保护“信息提供的隐私”“最终信息提供者的意愿”,那么对于在搜索引擎结果中,再次抓取的行为则无罪可言:

搜索引擎的结果被抓取,实质上是经过了两次Robot。那么,如果第一次Robot是完全符合协议,保护了信息者的隐私,那么在已经保护了隐私的搜索结果里,再次检索,又怎能破坏隐私呢?

愿意把信息提供给百度的站长们,无非是希望访问用户增加、网站流量增加。那么,增加一个新的搜索引擎,检索其内容,为其带来更多流量和用户的时候,难道不是最大程度地满足信息提供者的意愿和需求吗?

所以,那些担心百度搜索结果被抓取的人们,或许你们是对百度太没信心了,你们太过于担心百度搜索结果中有“隐私”了!

搜索引擎有资格独占搜索结果么?

那么,百度能否以站长自居也使用Robots协议,拒绝其他搜索引擎的检索呢?显然不能。

对于Robot有人打了个比方:

如果将网站视为酒店里的一个房间,robots.txt就是主人在房间门口悬挂的“请勿打扰”或“欢迎打扫”的提示牌。这个文件告诉来访的搜索引擎哪些房间可以进入和参观,哪些房间因为存放贵重物品,或可能涉及住户及访客的隐私而不对搜索引擎开放。

如果房间代表是每个站长的权利,百度所抓取的内容就是整个酒店,事实上它并也没这个资格,因为搜索引擎是不生产内容的,所以,充其量百度是小区的物业。那么,物业有没有资格在大门口放一块“请勿打扰”的牌子呢?显然不能!因为,它代表不了站长,就像小区物业没法干涉你的好朋友去你家串门一样。

而且,搜索引擎不是制造内容和生产内容的网站,它不是内容的生产者(百度社区产品不在此讨论范围),就像物业一样,它只是一个托管者而已,它无权干扰和干涉它所检索的网站被更多的搜索引擎检索,更无权干涉搜索领域的后起之秀为中小网站带来更多的用户和流量。

所以,那些拿Robots协议说事儿的人们,请想想Robots协议的初衷是什么?是为了保护站长、内容的生产者,而不是保护搜索引擎。而现在,Robots协议已经变成“搜索引擎家规”和行业垄断的潜规则,这些搜索垄断巨头可对流量的垄断和控制力,正让让中小网站岌岌可危。

所以,马海祥博客认为Robots协议最缺的,不是违反设立初衷去保护日益强悍的搜索引擎,而是对搜索引擎自身的制约。而要想最好最大程度地保护站长,只有让更多搜索引擎充分竞争,打破搜索引擎垄断,才能最大程度让利给站长,也是最快和最可行互联网和谐之路。

本文为马海祥博客原创文章,如想转载,请注明原文网址摘自于http://www.mahaixiang.cn/jrht/92.html,注明出处;否则,禁止转载;谢谢配合!

相关热词搜索: 潜规则 robots Robots协议 互联网垄断

上一篇:从“赶驴网”事件分析网站发展能否走捷径?
下一篇:最年轻的行业传奇-中国互联网10年江湖录

今日话题更多>

SEO研究院 更多 >>