马海祥博客是一个专注于分享SEO优化、网站制作、网络营销和运营思维的自媒体博客!
马海祥博客 > SEO优化 > SEO思维 > 网页中死链接背后的灰色产业与利益

网页中死链接背后的灰色产业与利益

时间:2021-02-12   文章来源:马海祥博客   访问次数:

在网页新闻中,超链接时常作为一种补充资料出现,用户能够点击超链接阅读媒体所引用的资料原文。

但随着信息数据的不断堆积,网络上的许多超链接其实已经失效了,比如有时候点击一个十几年前的文章链接,会反馈一个类似于“页面已消失”的提示。

大部分用户并不会特别关注一个超链接是否还有效,但在网络上,有一些人却像盗墓者一般搜寻着这些沉睡已久的超链接并用其牟利。

超链接怎么了?谁在利用那些已经“死去”的超链接?

网页中死链接背后的灰色产业与利益-马海祥博客

本文我们将聚焦于那些已经无效的超链接,汇编并分析国外媒体所经历的无效超链接被篡改的困扰,试图揭示当下新闻归档存在的问题以及无效超链接背后巨大的灰色利益。

1、超链接之“死”

根据哈佛大学法学院一个团队对于《纽约时报》的调查,他们发现在该报553,693篇文章中的一百七十多万个深度链接(Deeplink)已经有25%完全无法使用。当用户点击这些深度链接,曾经的页面已经变成一片空白。

这样的情形被称为链接无效(linkrot),页面会出现“404”的提示(具体可查看马海祥博客《404 Not Found错误页面是什么》的相关介绍)。

深度链接是指能够导向外部网站页面的渠道,使用者能够通过该链接进入某个特定的外部页面。如果没有采用深度链接技术,则使用者需要自行搜寻相关的内容。深度链接大大缩短了用户的使用路径,在图文内容消费场景里,基本上可以将深度链接理解为我们更为熟悉的超链接。

而超链接变无效链接,主要原因则是原有内容消失、变更或者位置改变,这使得服务器无法返回有效的页面。

如《好莱坞报道》曾为前华特·迪士尼CEO罗伊·迪士尼的妻子发表一篇讣告,并附上了一个纪念网站的链接,读者可以在该网站中向慈善机构捐款以纪念逝者。之后,其家人关闭了该网站。尽管网站不复存在,但《好莱坞报道》所引用的超链接依然能够跳转,这样的超链接就成了无效链接。

网页中死链接背后的灰色产业与利益-马海祥博客
微信公众号中的超链接呈现形式

无效的情况会随着超链接年份的累积变得更为普遍,因为随着时间的流逝,当初所引用的大量网站都可能已经不再被使用。

在对《纽约时报》的这项调查结果显示,发表于2018年的文章有6%的超链接已经无效;而2008年的文章则有43%的无效超链接;到了1998年,这一指标竟达到72%之高。在整体上,53%的文章中至少存在一个无效的超链接,也就是两篇文章中至少有一篇文章有一个无效的链接。

超链接的失效也与文章类型有关,不同板块的文章在无效链接的比例上也存在差异。

例如,健康板块的无效比例最低,比平均的超链接无效比例低17个百分点;而旅游板块的无效比例则是最高的,比平均比例还要高出17个百分点。

其实话说回来,这种超链接失效的情形在网络生活中并不少见。我们往期文章探讨过“数字仓鼠”的现象,即很多网友喜欢把各种资料囤着,这其中也包括各种链接。你一定也有过这样的经历,当你打开自己所收藏的文章时,其中总有一些已经被作者或者平台删除。

在微博中,这一现象更为常见,我惊奇地发现自己曾经点赞或转发的内容几乎一半以上都已经成为无效的链接,只显示“此微博已被删除”。

网页中死链接背后的灰色产业与利益-马海祥博客
“抱歉,此微博已被作者删除。”

另一种与链接无效相似的情形是内容转移(Content Drift)。

当一个超链接的内容被转移则意味着,当用户点击该超链接,服务器所返回的页面并非原本所连接的内容(具体可查看马海祥博客《超链接超文本文档检索系统原理和分析方法》的相关介绍)。

同样,内容转移的情况也会随着文章时间愈渐久远而变得更为频繁。调查中提到,在2019年所发表的文章中,仅有4%的超链接内容发生了变化;而2009年的文章中则有四分之一的超链接内容发生了变化。

这样的情况是否仅为个例?尽管该团队仅对《纽约时报》这一家机构长达13年的文章进行调查,但素以存档专业而著称的《纽约时报》,其所属文章超链接失效或内容转移的情况都如此普遍,其他规模更小的新闻机构中的情况恐怕更不乐观。

保存新闻并不只是保留原有的新闻文本或者音视频资料,因为这些内容往往都保存于新闻机构自己的服务器中,相比之下,更为棘手的是保留文章中所引用的外部信息,也就是超链接。

超链接所导向的外部网站并不受相关新闻机构的管理,这些网站的内容能够被第三方所修改或者删除。其带来的后果不只是新闻失去参考的信息来源或者新闻情境丧失,更严重的影响是,这些超链接可能会被用来导向无关的内容,或被用于一些不正当的牟利行为。

凯瑟琳·汉森和诺拉·保罗在他们《给未来的新闻:保留历史的第一稿》中表现出对于当前新闻存档现状深深的担忧。

在他们看来,新闻所发挥的作用远不仅仅只是传递当下的信息,更为重要的是完整表现出时代的特征和人们的生活。但随着新闻行业数字化进程不断深入,新闻业大力推进革新向前进的同时却忽视了往后面看一看。

2、占用“死去”的超链接成灰色产业

超链接之“死”暴露出两个问题:一是新闻的储存无法得到百分百妥善处理,另一方面则是超链接背后隐藏着巨大的地下市场。

因为版权问题,新闻网站需要用超链接标注所引用的资料来源,但这使得新闻网站对于超链接所指向的内容缺乏控制,这就为投机者利用无效超链接埋下了隐患。基于内容转移等原理,非法供应商可以将原本失效的超链接进行偷换,重新连接到新的网站中,以此来吸引流量、谋取利益。

(1)、储存新闻的困境

相较于报纸、录像带等传统的信息储存形式,电子新闻的储存无疑更加具有便利性。那为什么新闻储存在电子时代反而会成为一个问题?

要回答这个问题,我们必须首先了解在传统媒体时代新闻是如何进行储存的。

在数字化流行之前,新闻的主要形式是报纸、广播以及电视。广播和电视节目主要由新闻机构自行进行储存,一般媒体都会设有专职人员对这些新闻原件进行归档,其作用类似于图书管理员。

报纸的保存则涉及到更为复杂的过程。由于各种机构和个人都会订阅报纸,人们在购买报纸的过程中也同时保留了新闻原件。虽然个人可能出于兴趣保存有一定量的报纸,但这样的行为往往也并不具有系统性。

主要的第三方保存机构是大大小小的图书馆。图书馆具有更为宽敞的空间以及专业的图书管理员,因此可以相对更为完整地保存报纸。可以说,报纸的储存更为弥散化,除了新闻机构本身,第三方机构也会有所参与。

但随着新闻业数字化程度不断提高,互联网成为新闻传播的重要途径。电子化的新闻似乎不再需要归档,因为它原本就被安放在服务器的不同文件夹中。

但实体的文档和数字文档毕竟存在差异,一份报纸一旦发行就难以再做改动,而数字文档则始终保持着可变动性。尤其是诸如超链接等导向外部网站的渠道,其是否进行修改或删除取决于第三方机构,媒体无法对其进行直接管理。

另一方面,对于新闻归档的忽视也显示出新闻业整体的发展趋势——追求速度。正如周睿鸣老师在论文中指出那样,新闻业陷入与自我赛跑的泥淖,新闻生产成为不断提速的过程。在这样不断往前看的过程中,重视过去的新闻似乎有些不合时宜。

尽管人们开始意识到问题所在,但对于新闻机构而言,完整、独立地保存新闻依然存在诸多问题,版权问题无疑位于核心。如何既能够尊重第三方资料来源的版权,同时又能够防止其不被居心叵测者所利用,这成为解决问题的关键。

一种可能的处理方式是备份第三方机构的超链接页面,如果无法一比一复制,还可以考虑截图的形式。但这可能赋予新闻媒体过大的权力,使其能够直接复制其他内容来源;再者,这也促成了独立、封闭的网络生态体系的形成,使得流量始终在新闻网站内部循环。

第三方机构一般不会允许媒体借用它们所生产的内容来增强媒体的用户黏性。而一旦超链接导向外部网站,媒体就无法对其内容进行控制。因此,这一切处理起来并不容易。

(2)、超链接背后的灰色市场

如果媒体发布文章中的超链接导向的是一个完全无法控制的网站,那对于媒体公信力而言是存在风险的,美国的媒体正饱受这种无效超链接被篡改之苦,而这背后就有一片巨大的灰色市场。

通常这些超链接的地址会被导向某些具有盈利性质的网站,大多类似于广告引流。

其运作逻辑大致如下:正如前文提到的,新闻网站中大量的超链接内容已然失效,但这些链接依然存在且可点击;某些供应商则将此作为契机,寻找到新闻网站中的无效链接,将其替换成为客户所需要的网站内容。

这些被篡改的外部网站大多具有广告性质,诸如推销廉价酒店、在线咨询、在线支付甚至包括网络赌博等(具体可查看马海祥博客《黑帽客如何利用黑帽SEO做快速排名谋取暴利》的相关介绍)。

虽然人们对于过去新闻的兴趣会逐渐下降,但互联网中的新闻并不会因此完全被遗忘。通过搜索引擎,用户能够随时调用过去的新闻报道。当过去的“记忆”被唤醒时,伴随着这些旧新闻一起重建天日的还有那些已经被偷偷掉包的超链接。

当用户第一次发现超链接被篡改为毫无相关的广告时,他也许只会感慨互联网中的广告真是无孔不入。但第二次、第三次呢?他可能就会对新闻网站的专业性产生质疑了。更何况无效超链接的比例如此之高,谁也不知道下一个被点开的链接是否是其原本的内容。

BuzzFeed新闻对于美国各大主要新闻网站以及BBC的调查发现,这些新闻网站都深受超链接内容篡改之苦,其中福布斯新闻所受影响尤其明显。

福布斯发言人在一次公开声明中表示,网站已经删除这些被修改内容的超链接,并且积极寻找能够规避超链接被篡改的措施。BBC则在其网站上发布免责声明,称其对外部网站的内容不承担任何责任。

提供这些篡改服务的供应商大多避开了来自美国或欧洲国家的直接监管,其服务费往往十分高昂,替换一条超链接内容的服务费从200到500美金不定。

替换超链接的行为是诸多黑帽SEO技术中的一种。SEO(Search Engine Optimization)指的是搜索引擎最优化技术,它主要用于分析搜索引擎如何进行排名的规律,通过了解搜索引擎如何抓取互联网页面、怎样确定特定关键词等技术来提高网页在搜索引擎中的排名已增加浏览量。而黑帽SEO则是通过作弊的方式来提高网站的浏览量,以图谋取短期、快速的经济效益。

为了以假乱真,供应商有时甚至会模仿原有网站发布者的身份以图迷惑用户。例如,位于德里的一家SEO机构曾替换了福布斯网站中梅根·梅森(Megan Mason)于2015年所发表文章中的某些无效链接。替换者用梅根·马特(Megan Matt)的名义重新发布了一篇文章,并将其连接到圣地亚哥一家地毯清洁公司的网站。

新闻网站并非这些非法牟利者的唯一受害者,各大搜索引擎网站也饱受其苦,毕竟黑帽SEO会使得搜索结果无法满足用户的需求。当用户在搜索引擎中搜索某个关键词所返回的都是无关的广告甚至垃圾信息,用户势必会对搜索引擎所能提供的服务产生质疑。

3、规避风险亦不可因噎废食

从大大小小的灰色产业服务商到他们为篡改超链接内容所提出的高额报酬,看似不起眼的无效超链接背后潜藏着巨大的利益空间。那为何不索性取消超链接?这样就能从根本上遏制投机者用非法的渠道进行牟利。

首先依然是版权问题。

超链接存在之初便是为了媒体能够合法地使用外部网站中的内容,使用超链接不但能够标注资料的出处,还能够用最便捷的方式寻找到原初的资料。尽管通过增加尾注或者其他方式也能够注明版权,但超链接无疑是更合适的方式。

被篡改的超链接也折射出媒体对于版权的重视。即使深受黑帽SEO之扰(具体可查看马海祥博客《SEO优化人员常用的30个灰帽SEO或黑帽SEO技巧》的相关介绍),多数媒体也并没有想要取消超链接,而是试图用技术弥补当前存在的不足。

其次也折射出媒体对于网络生态的态度。

正如我在前文中指出,没有超链接的文章形成了封闭的网络生态,用户只能在网站中浏览该媒体内部的信息,不同网站之间也没有任何联系。

而超链接恰恰提供了连接的可能,只需要轻轻一点,用户即可浏览其他渠道的页面。不同新闻之间,甚至不同新闻网站之间都能通过超链接进行关联。

这样带来的一个好处是,不同媒体之间依靠内容质量来吸引受众,技术本身并不成为壁垒,甚至双方都乐见对方生产更加优质的内容。

总而言之一句话,尽管失效超链接背后潜藏着巨大的灰色市场,尽管第三方投机者的行为给新闻网站带来了棘手的问题,但行业也并没因噎废食,媒体机构依旧试图通过提升技术手段来降低潜在风险。

马海祥博客点评:

我们身边常见的超链接,有许多竟然已经“死”了。被篡改的超链接也提醒我们,尽管互联网不是法外之地,但是试图钻技术和规则漏洞的投机者依然大有人在。如《纽约时报》这些在内容存储上相对专业的新闻媒体所引用的超链接都有可能被第三方所盗用,其他网站中可能存在的“陷阱”无疑会更多。而这些,都有待平台、媒体和相关监管机构合力形成更严密的预防和处理机制。

本文发布于马海祥博客文章,如想转载,请注明原文网址摘自于https://www.mahaixiang.cn/seosw/3217.html,注明出处;否则,禁止转载;谢谢配合!

相关标签搜索: 网页   死链接   灰色产业   网页链接  

上一篇:我们的网站为什么必须要做SEO?
下一篇:没有了

您可能还会对以下这些文章感兴趣!

  • 大型门户网站常用的SEO思路

    一般的网站SEO优化需要考虑的就是排名、流量、转化率,可是对于大型门户站的SEO优化则需要考虑很多事情,比如:网站架构、分类、路径、程序等等方面,所以马海祥觉得门户网站的SEO优化一定要提前做好规划,要有明确的SEO思路,门户网站的特点:信息量丰富,加上类别较多……【查看全文

    阅读:2284关键词: 大型网站   门户网站   网站seo   seo思路   日期:2015-03-08
  • SEO博客为什么不受欢迎?

    SEO博客不写SEO那还叫SEO博客吗?其实仔细观察不容易发现,非SEO读者之所以有这些反映也是有道理的,因为我自己也是做SEO的,博客也是写SEO,我自然不会排斥SEO类博客,相反我也会对这类博客关注比较多,至于原因你懂的,即便如此,我有的时候也会和那些不待见SEO博客……【查看全文

    阅读:687关键词: seo博客   seo   博客   日期:2014-12-23
  • SEO主管要具备哪些能力?

    管理是指通过计划、组织、指挥、协调、控制及创新等手段,结合人力、物力、财力、信息等资源,以期高效的达 到组织目标的过程。而对于一个网络团队来说seo主管就显的尤为重要。SEO主管负责了整个SEO团队日常所有优化工作,包括优化方案的制定,网站的页面设计等各项工作……【查看全文

    阅读:1407关键词: SEO主管   SEO主管能力   SEO能力   日期:2012-08-16
  • 做了竞价排名,还要不要做SEO优化排名?

    面对百度算法的不断调整,很多的客户和老板都想到了一个共同的问题:既然现在SEO优化这么难做,排名又不好,那做了竞价推广,还需要不需要SEO做自然排名呢?竞价排名与SEO优化排名是否要同时做呢?关于这个问题,对不了解什么是竞价排名和自然排名的客户来讲,还真是无从回答……【查看全文

    阅读:978关键词: 竞价排名   seo优化   seo排名   自然排名   日期:2014-07-20
  • 今年网站SEO优化要注意的6大策略

    通俗的来说,SEO技术就是一种达到SEO效果所采用的技术手段,这里包括了一些专业的知识或术语,大部分是SEOer所必须熟悉和掌握的,因为这些是做SEO的基础。SEO技术高和低的运用就能够直接影响到网站或网站某个词的排名,不过就SEO的技术本身来说,并不是什么高深莫测的!……【查看全文

    阅读:1716关键词: SEO优化策略   如何规划SEO   SEO优化   SEO策略   网站SEO   网站优化   日期:2013-01-04
  • 如何分析并评估网站的SEO效果

    网站分析与SEO的关系,并不是相互取代,而是相辅相成,现在的SEO或者SEM,单纯进行操作已经成为历史,与网站分析相结合才是王道,而网站分析对SEO的评估和促进主要来自两个层面(浅水区和深水区)以及四个方面(索引、搜索引擎结果、流量和收益),通过这些层面的评估……【查看全文

    阅读:3565关键词: 网站分析   网站评估   网站seo   seo效果   seo   日期:2014-11-06
  • 网站整体规划过程中的SEO定位和SEO优化策略

    真正的SEO是通过采用易于搜索引擎检索的合理手段,在网站规划,制作,推广等环节贯穿SEO的思维,使网站对用户和搜索引擎更友好(Search Engine Friendly),从而通过自然搜索,低成本的引入流量并转化为销量。优化良好的网站,从搜索引擎来的流量将会有很大的提高,不过……【查看全文

    阅读:2729关键词: 网站整体规划   网站SEO   网站的定位   SEO优化策略   日期:2012-09-29
  • 我们的网站为什么必须要做SEO?

    我们做的网络商场或网站必须有用户访问或者被用户知道才有价值和意义,而想被用户所了解的话,必须做网络营销推广,而SEO属于网络营销推广中的一种常见的方式,相比于其他的营销方式,SEO的优势更加适用于中小企业或个人站长。SEO就是为了让我们的网站在搜索引擎上的曝……【查看全文

    阅读:5131关键词: seo   网站seo   日期:2017-02-22
  • 竞价排名对自然排名到底有没有影响?

    关于竞价排名是否会影响到自然搜索排名的这个话题,已经是一个老生常谈的话题了,自从网络部有了“竞价专员”这个岗位以后,各种争论就一直不断。在各大论坛上我们也会经常看到有人吐槽说“网站的竞价下线后排名下降了,再上线后排名又起来了”、“百度根据竞价排名调控……【查看全文

    阅读:2001关键词: 竞价排名   自然排名   排名   日期:2014-07-16
  • 浅谈网站SEO优化的大道理小细节

    很多人在优化网站过程中喜欢扬长避短,只做好做的,薄弱的地方就不管了,比如网站内容做得比较好就一直去做内容,不断的加长这块木板,其他地方就不管了。优化网站扬长是不错的,让自己强的地方更为突出,但不要避短,要去补短,往往有的时候补短比扬长更加容易,只需简……【查看全文

    阅读:760关键词: 网站seo   seo优化   seo   日期:2014-08-08
  • 如何根据竞争对手网站来制定SEO优化策略

    由于网站SEO优化的好坏就直接关系着网站的排名,所以大多数企业网站都在做着SEO优化,有的甚至还专门聘请SEO团队来操作,有时候虽然下了很多工夫,但优化的结果有时候却并不如意,排名让然无法赶超竞争对手网站,这一方面说明网站的竞争是很大的,而另一方面则说明你对……【查看全文

    阅读:867关键词: 竞争对手   竞争网站   seo优化   seo策略   seo   日期:2015-02-14
  • 如何做指定区域或本地关键词排名的SEO优化

    作为一名专业的SEO人员,你应该已经知道如何优化一个网站,但当你只能做某一区域的关键词排名时,当你对一个区域性很强的网站来做SEO优化时,你需要集中精力添加一些本地SEO的重要元素,这些因素都对你的登陆页面非常重要,如果你从来没有注意过区域或本地SEO,那现在是……【查看全文

    阅读:4245关键词: 关键词排名   seo优化   关键词   seo排名   seo   日期:2015-01-02
  • 如何选择一家SEO优化公司

    现在,越来越多的公司都开始为自己的营销网站做SEO了,其中相当多的公司都会选择优化公司来做,但是受骗的也很多,往往因为没有选择好很有实力的SEO优化公司,而导致自己损失很大,对方也不管不问,这是一个严重的对客户不负责任,这种公司也会慢慢的走向灭亡的,由于本……【查看全文

    阅读:930关键词: seo   seo优化   seo公司   日期:2015-05-14
  • 全面解析用户价值和用户体验之间的关系

    用户体验是我们在做SEO过程中强调最多的一个话题,因为我们的网站不能只是为了给搜索引擎访问的,最关键的都是为了给用户访问,所以会涉及到用户体验的问题,而到底怎样才算是好的用户体验呢,那么用用户价值来对比衡量是比较好的。一个网站没有用户体验也可以生存,因……【查看全文

    阅读:1470关键词: 用户价值   用户体验   日期:2012-08-09
  • SEO职业的类型和级别分类

    SEO是指从自然搜索结果获得网站流量的技术和过程,是在了解搜索引擎自然排名机制的基础上,对网站进行内部及外部的调整优化,改进网站在搜索引擎中的关键词自然排名,获得更多流量,从而达成网站销售及品牌建设的目标。SEO是一个需要长期慢慢积累的行业,急于求成基本都……【查看全文

    阅读:1581关键词: seo   seo职业   seo类型   seo级别   seo分类   日期:2016-10-13
  • 网站链接建设最常用的9种策略分析及风险评估

    链接建设是一个不断成长的过程,我喜欢链接诱饵的一个原因是因为它的乐趣和创造性,找到一个你乐于创造的东西,用它作为导入链接的方法,这样,链接建设就会成为你日常生活中的一部分,而不是那种不切实际的营销方案。作为一名SEO或站长,都应该知道外链对网站关键词排名的重……【查看全文

    阅读:999关键词: 网站链接   链接建设   策略分析   风险评估   日期:2014-09-24
  • SEO人员必知的26个网站优化技巧

    到目前为止,这篇文章还是被奉为Google排名优化的圣经。很多资深的搜索引擎专家无不对这篇文章推崇倍至,而且Brett Tabke也多次骄傲的声明,就算过了四年时间,历尽了多次Google更新和Google算法的改变,他的这篇Google排名优化文章还是没什么好改动的。对此,我也特意找了这……【查看全文

    阅读:1542关键词: seo人员   seo优化   网站优化   seo技巧   网站seo   seo   日期:2014-09-10
  • 外包SEO优化项目的生命周期

    无论你是选择SEO营销的广告主,还是参与SEO营销的实施人员,都会面对一个问题就是如何科学的实施SEO项目,往往问题并不是缺乏优秀的SEO策略,而是不知道从哪开始第一步,通过我多年的SEO从业经验积累,我认为一个SEO项目是否成功,取决于过程分解以及细节把控是否到位,……【查看全文

    阅读:677关键词: seo   seo优化   日期:2015-10-01
  • 明年做SEO要关注哪些要点?

    从SEO的变迁来看,过去,1997-2000年标题描述好;2001-2004年文本分析为基础,网页中关键词布局合理;2004-2009年出现了“内容为王,外链外皇”把关键词布局好,整好内容,做链接;2009-至今,链接已经不是最重要的,从链接分析上升到只能分析,分析用户,然后满足用户需求。……【查看全文

    阅读:945关键词: seo要点   seo   日期:2016-11-01
  • 实例解析关键词聚类的方法策略

    所谓关键词聚类就是以领域特征明显的词和短语作为聚类对象,在分类系统的大规模层级分类语料库中,利用独创的文本分类的特征提取算法进行词语的领域聚类,通过控制词语频率的影响,分别获取领域通用词和领域专类词。要想做好这类做关键词的聚类,就一定要有一些基础信息……【查看全文

    阅读:10579关键词: 关键词聚类   聚类策略   关键词   日期:2014-06-05
↓ 点击查看更多 ↓

互联网更多>>

SEO优化 更多>>

全面研究了解一下谷歌搜索引擎结果页(SERP) 关于百度APP限制HTTPS页面自动下载http文件的通知