搜索引擎判定相似文章网页的原理
在上一篇文章中马海祥已经详细的介绍了利用TF-IDF算法自动提取文章关键词的原理。接下来，我们再来研究一下另一个相关的问题。这个问题也是我们做SEO的最关心的，有些时候，我们除了要明白如何找到并提取文章关键词，我们还需要找到与原文章相似的其他文章。比如，我们平时在搜索引擎的新闻栏目下搜索某条新闻的时候，在主新闻下方，还提供了多条相似的新闻。如下图所示：
为了找出相似的文章，我们就需要用到另外一个公式原理了，那就是“余弦相似性（cosine similiarity）”。
一、什么是"余弦相似性"？
余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1;并且其最小值是-1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值为1；两个向量夹角为90°时，余弦相似度的值为0；两个向量指向完全相反的方向时，余弦相似度的值为-1。在比较过程中，向量的规模大小不予考虑，仅仅考虑到向量的指向方向。余弦相似度通常用于两个向量的夹角小于90°之内，因此余弦相似度的值为0到1之间。
值得注意的是余弦相似度可以用在任何维度的向量比较中，它尤其在高维正空间中的利用尤为频繁。例如在信息检索中，每个词条拥有不同的度，一个文档是由一个由有权值的特征向量表示的，权值的计算取决于词条在该文档中出现的频率。余弦相似度因此可以给出两篇文档其主题方面的相似度。
二、搜索引擎是如何判定相似文章的？
下面，马海祥还是以举例子的方式来说明如何才能找出相似文章？
为了简单起见，我们先从句子着手。
句子A：我喜欢看电视，不喜欢看电影。
句子B：我不喜欢看电视，也不喜欢看电影。
那么我们怎样才能计算出上面两句话的相似程度呢？
马海祥建议的基本思路是：如果这两句话的用词越相似，它们的内容就应该越相似。因此，可以从词频入手，计算它们的相似程度。
第1步：分词
句子A：我/喜欢/看/电视，不/喜欢/看/电影。
句子B：我/不/喜欢/看/电视，也/不/喜欢/看/电影。
第2步：列出所有的词
我，喜欢，看，电视，电影，不，也。
第3步：计算词频
句子A：我 1，喜欢 2，看 2，电视 1，电影 1，不 1，也 0。
句子B：我 1，喜欢 2，看 2，电视 1，电影 1，不 2，也 1。
第4步：写出词频向量
句子A：[1, 2, 2, 1, 1, 1, 0]
句子B：[1, 2, 2, 1, 1, 2, 1]
到这里，问题就变成了如何计算这两个向量的相似程度。
我们可以把它们想象成空间中的两条线段，都是从原点（[0, 0, ...]）出发，指向不同的方向。两条线段之间形成一个夹角，如果夹角为0度，意味着方向相同、线段重合；如果夹角为90度，意味着形成直角，方向完全不相似；如果夹角为180度，意味着方向正好相反。因此，我们可以通过夹角的大小，来判断向量的相似程度。夹角越小，就代表越相似，如下图所示：
以二维空间为例，上图的a和b是两个向量，我们要计算它们的夹角θ。余弦定理告诉我们，可以用下面的公式求得：
假定a向量是[x1, y1]，b向量是[x2, y2]，那么马海祥觉得就可以将余弦定理改写成下面的形式：
数学家也已经证明，余弦的这种计算方法对n维向量也成立。假定A和B是两个n维向量，A是 [A1, A2, ..., An] ，B是 [B1, B2, ..., Bn] ，则A与B的夹角θ的余弦等于：
使用这个公式，我们就可以得到，句子A与句子B的夹角的余弦，如下图所示：
余弦值越接近1，就表明夹角越接近0度，也就是两个向量越相似，这就叫“余弦相似性”。所以，上面的句子A和句子B是很相似的，事实上它们的夹角大约为20.3度。
由此，我们就得到了“找出相似文章”的一种算法：
（1）使用TF-IDF算法，找出两篇文章的关键词；
（2）每篇文章各取出若干个关键词（比如20个），合并成一个集合，计算每篇文章对于这个集合中的词的词频（为了避免文章长度的差异，可以使用相对词频）；
（3）生成两篇文章各自的词频向量；
（4）计算两个向量的余弦相似度，值越大就表示越相似。
马海祥觉得“余弦相似度”也可能只是搜索引擎在文章相识度其中的一方面的算法，但的确也是一种非常有用的算法，而且就是在其他领域的，只要是计算两个向量的相似程度，都可以利用这个原理。
本文发布于马海祥博客文章，如想转载，请注明原文网址摘自于https://www.mahaixiang.cn/seoyjy/293.html，注明出处；否则，禁止转载；谢谢配合！相关标签搜索： 搜索引擎 判定相似文章 相似文章原理 文章判定原理
上一篇：搜索引擎自动提取文章关键词原理
下一篇：如何利用词频统计原理自动提取文章摘要？
您可能还会对以下这些文章感兴趣！
-
SEO链轮是什么？
SEO链轮(SEO Link Wheels)是从国外引入国内的，一种比较新颖的SEO策略，是一种比较先进的网络营销方式。SEO链轮是指通过在互联网上建立大量的独立站点或是在各大门户网站上开设博客，这些独立站点或是博客群通过单向的、有策略、有计划紧密的链接，并都指向要优化的目标……【查看全文】
-
落地页体验白皮书5.0解读：什么样的顶部嵌入广告符合体验标准
《百度APP移动搜索落地页体验白皮书5.0》对页面广告的内容、形式、位置和面积的要求都做出了详细的说明，受到了全网开发者的广泛关注。关于白皮书5.0中最新提出的顶部嵌入广告标准”落地页首屏顶部允许嵌入不超过一屏面积10%的优质广告”，不少开发者对此提出疑问和反馈，本篇文章将对顶部嵌入优质广告要求做出具体解读：落地页首屏顶部允许嵌入优质广告的总体要求如下：面积：顶部嵌入广告面积必须小于首屏面积的10%。标识：广告位上有明……【查看全文】
-
百度快照更新是什么意思？
最近发现有很多刚入SEO行业的新手对网站seo的技巧有很多的误区，比如网站快照不更新就代表网站被惩罚。关于这个观点我们先看看什么是百度快照，百度快照的作用是什么？我们有该如何让百度快照持续更新呢？快照即为Web Cache，可以翻译为网页缓存，当搜索引擎派出蜘蛛去对网站……【查看全文】
-
揭秘搜索引擎中的反SEO作弊研究
从搜索引擎优化服务开始，分析了现在所存在的搜索引擎优化的作弊手段；然后提出了四种方法用来预防、破解作弊，并结合现实总结提出逐级分层审查刮度；最后结合Google搜索引擎，讨论并分析了Google搜索引擎的反作弊方法及其中的PR值算法……【查看全文】
-
网站最新SEO优化公式解析
网站seo优化公式 SEO=Clock=C1+L2+K3+O4 1、是一个积分符号，C=content，L=link，K=keywords，O=others。SEO就是一个长期的对时间积分过程，内容是核心； 2、C1丰富的内容是第一位的要素，按照原创、伪原创、转载依次排列内容的重要性满足用户体验； 3、L2链接的合理与……【查看全文】
-
落地页体验白皮书5.0解读：如何合理设置展开全文功能
本文解读文章深度剖析展开全文功能的设置要求。白皮书5.0提到”展开全文的设置必须具有文字标示，且功能实际可用；展开全文功能最多只能出现一次，但不可出现在落地页的首屏内容中（列表页除外）；展开全文与广告等引导性内容要设置一定距离间隔，避免干扰用户操作。”如何设置展开全文按钮才更符合用户的体验习惯呢？这篇文章将为你答疑解惑。百度搜索用户研究团队的用户调研发现，搜索用户进入落地页的诉求是浏览页面全部内容，展开……【查看全文】
-
百度最新调整后的算法规则
最近闹得沸沸扬扬的百度6.22和6.28的K站事件到目前已经告一段落了，K站的主要原因已经渐渐明朗，以及百度将会对哪些类型的网站会做降权处理，现在也已经明朗化。针对各大站长漫长的着急等待，以及愤恨的心情，百度目前已经给出了较为明确的答案，那么百度规则和算法调整……【查看全文】
-
Google搜索质量小组专业解答的25个SEO问题
2013年对于众多站长和SEO可以说是最为波折的一年，这一年百度出台了百度绿萝算法、百度石榴算法和百度绿萝算法2.0，而google也相继出台了谷歌EMD算法、熊猫算法、企鹅算法2.0和蜂鸟算法。作为一个站长或SEOer，你是否对这些算法还存在很多的疑惑，尤其对于靠做外贸产品……【查看全文】
-
搜索引擎判定相似文章网页的原理
余弦相似性是指通过测量两个向量内积空间的夹角的余弦值来度量它们之间的相似性。0度角的余弦值是1，而其他任何角度的余弦值都不大于1;并且其最小值是 -1。从而两个向量之间的角度的余弦值确定两个向量是否大致指向相同的方向。两个向量有相同的指向时，余弦相似度的值……【查看全文】
-
百度排名算法规则及SEO优化要点总结
做SEO目的其实就是为访客服务，满足用户的需求，想方设法的为了用户提供他们想要看的内容，而不是一味的最求最大利益化，其实百度只是一个展示的平台，只要你有了用户的青睐，你想达到的目标，自然也就水到渠成了，做SEO的核心就是要挖掘用户的力量，只有挖掘用户的力量……【查看全文】
-
百度索引量下降的原因及解决方法
作为一名专业的SEO人员，我们很多的时候都在研究站点中有多少页面可以作为搜索候选结果，也就是一个网站的索引量，所谓网站索引量，就是搜索引擎抓取你网站的数量，这能影响到网站收录率，是一个非常重要的SEO因素，索引量是流量的基础，索引量数据的每一个变动都拨动着……【查看全文】
-
百度移动搜索落地页体验白皮书4.0全文解读
进入移动互联网时代，百度搜索致力于提升搜索用户的浏览体验，营造健康的搜索生态。过去一年中，在百度搜索和全网资源提供者的共同努力下，移动搜索落地页广告问题已经得到了明显的改善。现在，百度搜索发布《百度移动搜索落地页体验白皮书4.0》，旨在继续与各内容生产……【查看全文】
-
《百度搜索优质内容指南》全文解读
今日，《百度搜索优质内容指南》在百度搜索学院悄悄地上线了，这是百度近两年，再次重新深度定义什么是百度搜索优质内容，对于SEO人员而言，特别是对于新站长而言，具有非常积极的指导意义，以免造成过多的资源浪费，给予了明确的指导规范的建议。百度搜索2020年全新发布了面向全网内容生产者的《百度搜索优质内容指南》，详细讲述了优质内容的标准，希望给广大内容生产者在生产优质内容时提供参考。关于优质内容的详细标准，请查看以下……【查看全文】
-
如何分析网站是否真的被降权惩罚及解决方法
对于混迹于国内站长圈的朋友来说，每天起早贪黑发外链的网站被百度惩罚似乎在这几年已经是司空见惯的事了，所以很多时候网站流量、排名或者是收录有小幅度波动时，站长都会认为网站又被惩罚了，有到处的去抱怨。其实，很多情况都只是站长自己太过于敏感了而已，网站被百……【查看全文】
-
linux系统或windows+iis系统设置404页面方法
404页面通常是为用户访问了网站上不存在或已删除的页面，服务器返回404错误页面，告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开，消除用户的疑虑。网站设置404页面后，如果网站出现死链接，搜索引擎蜘蛛爬行这类网址……【查看全文】
-
网站SEO优化的分析诊断报告包含了哪些内容
SEO优化是针对搜索引擎规则做出优化以提高网站排名为目的的优化手段。其所需时间往往是长久性的，包括从网站域名、服务器、程序选取、网站结构、行业分析、竞争分析而切入的优化过程。而SEO诊断，在时间的要求上恰与其截然相反，所求目的完全与优化过程一致：提高网站友……【查看全文】
-
404 Not Found错误页面的解决方法和注意事项
404页面就是当用户访问某网站时，点击了错误的链接时，所返回的页面。最常见的出错提示：404 Not Found。其目的就是告诉浏览者其所请求的页面不存在或链接错误，同时引导用户使用网站其他页面而不是关闭窗口离开。错误页面的文字可以自定义，有些网站没有设置404错误页面，或……【查看全文】
-
基于用户投票的六大排名算法研究
随着互联网的发展，网站的数量也在随着成倍的增加着，就中国的互联网来说，根据中国互联网信息中心的数据显示，目前中国的网站数量每半年都会以接近10%的数量增长。这些大量的网站涌现，也就意味着我们已进入了信息大爆炸的时代。 而如今用户担心的已不再是信息太少，而……【查看全文】
-
反向链接是什么意思
反向链接又叫导入链接（Backlinks），外部链接，是指外部网站有你的网址指向你的网站，其实就是在目标文档（网页）内部进行声明，要求目标文档指向自己（网页）的链接，通俗点讲，网页A上有一个链接指向网页B，则网页A上的链接是网页B的反向链接，换言之，常规链接在文……【查看全文】
阅读：2048关键词： 反向链接 日期：2012-08-14 -
2011-2012年百度历次大更新数据分析
本篇文章记录了百度从2011年到2012年中旬百度大更新记录的文章。以下数据分析以站长之家官方提供的网站监控分析数据为蓝本，结合优词网等站点观察数据和一些 优秀SEO站长工具和软件的收集，并佐以自己手上二十几个站点作参考进行综合分析，基于统计学分析原理，以大量站……【查看全文】
分类目录
传统行业该如何做电子商务？
知乎问答社区的运营机制
如何撰写一份产品体验报告？
中小站长常用的5种赚钱方法
运营数据中常见的数据陷阱
O2O营销模式的深入解析
产品经理该如何做好产品的架构和流程
生活中的一些好点子教会你如何赚钱
APP消息推送的误区与真相
移动设备Web App开发与调试的相关知识要点互联网更多>>
互联网技术的50年发展回顾与分析
1998年至2008年是公认的互联网飞速发展的十年，无论是传输速率、网络规模、关键技术还是应用领域都经历了大幅的增……
云服务器的常规安全设置及基本安全策略
我们要保障云服务器数据安全，首先应树立正确的安全意识，从监控、入侵防御、数据备份等多方面做好安全措施，……
基于贝叶斯推断应用原理的过滤垃圾邮件研究
随着电子邮件的应用与普及，垃圾邮件的泛滥也越来越多地受到人们的关注。而目前正确识别垃圾邮件的技术难度非……
网站CSS代码优化的7个原则 
织梦dedecms列表页实现无限下拉加载效果的方法技巧 
交互设计的三要素：目标、任务和行为 SEO优化 更多>>
|
|
-
预约未到诊患者的回访技巧及话术整
很多朋友问预约是否有技巧，个人认为技巧是沉…… -
外贸企业网站常用的5个优化推广方法
做海外推广不同国内的网站推广，因为在文化、…… -
移动设备前端开发中viewport的理论及使
在移动设备上进行网页的重构或开发，首先得搞…… -
医疗行业该如何做免费营销推广
当前医疗网站越来越多，竞争也越来越激烈，各…… -
百度公告：关于近期出现网站劫持用
近日，百度搜索技术团队发现，搜索结果中的部…… -
医疗行业开展品牌推广急需解决的1
如今医疗行业要想在互联网上占有一席之地，就…… -
未来的站内SEO优化需要做些什么？
SEO说难不难，说简单也不是那么简单，很多人问…… -
百度对站点Logo属性审核原则的具体要
自百度搜索资源平台后台的站点属性设置开通上……