马海祥博客是一个专注于分享SEO优化、网站制作、网络营销和运营思维的自媒体博客!
马海祥博客 > 运营思维 > 数据分析 > 聚类分析的方法及应用

聚类分析的方法及应用

时间:2014-08-15   文章来源:马海祥博客   访问次数:

通常,我们在研究与处理事物时,经常需要将事物进行分类,例如地质勘探中根据物探、化探的指标将样本进行分类;古生物研究中根据挖掘出的骨骼形状和尺寸将它们分类;大坝监控中由于所得的观测数据量十分庞大,有时亦需将它们分类归并,获得其典型代表再进行深入分析等,对事物进行分类,进而归纳并发现其规律已成为人们认识世界、改造世界的一种重要方法。

聚类分析的方法及应用-马海祥博客

由于对象的复杂性,仅凭经验和专业知识有时不能确切地分类,随着多元统计技术的发展和计算机技术的普及,利用数学方法进行更科学的分类不仅非常必要而且完全可能。

近些年来,数值分类学逐渐形成了一个新的分支,称为聚类分析,聚类分析适用于很多不同类型的数据集合,很多研究领域,如工程、生物、医药、语言、人类学、心理学和市场学等,都对聚类技术的发展和应用起到了推动作用。

1、什么是聚类分析?

聚类分析也称群分析或点群分析,它是研究多要素事物分类问题的数量方法,是一种新兴的多元统计方法,是当代分类学与多元分析的结合。其基本原理是,根据样本自身的属性,用数学方法按照某种相似性或差异性指标,定量地确定样本之间的亲疏关系,并按这种亲疏关系程度对样本进行聚类。

聚类分析是将分类对象置于一个多维空问中,按照它们空问关系的亲疏程度进行分类。

通俗的讲,聚类分析就是根据事物彼此不同的属性进行辨认,将具有相似属性的事物聚为一类,使得同一类的事物具有高度的相似性。

聚类分析方法,是定量地研究地理事物分类问题和地理分区问题的重要方法,常见的聚类分析方法有系统聚类法、动态聚类法和模糊聚类法等。

2、聚类分析方法的特征

(1)、聚类分析简单、直观。

(2)、聚类分析主要应用于探索性的研究,其分析的结果可以提供多个可能的解,选择最终的解需要研究者的主观判断和后续的分析。

(3)、不管实际数据中是否真正存在不同的类别,利用聚类分析都能得到分成若干类别的解。

(4)、聚类分析的解完全依赖于研究者所选择的聚类变量,增加或删除一些变量对最终的解都可能产生实质性的影响。

(5)、研究者在使用聚类分析时应特别注意可能影响结果的各个因素。

(6)、异常值和特殊的变量对聚类有较大影响,当分类变量的测量尺度不一致时,需要事先做标准化处理。

3、聚类分析的发展历程

在过去的几年中聚类分析发展方向有两个:加强现有的聚类算法和发明新的聚类算法。现在已经有一些加强的算法用来处理大型数据库和高维度数据,例如小波变换使用多分辨率算法,网格从粗糙到密集从而提高聚类簇的质量。

然而,对于数据量大、维度高并且包含许多噪声的集合,要找到一个“全能”的聚类算法是非常困难的。某些算法只能解决其中的两个问题,同时能很好解决三个问题的算法还没有,现在最大的困难是高维度(同时包含大量噪声)数据的处理。

算法的可伸缩性是一个重要的指标,通过采用各种技术,一些算法具有很好的伸缩性。这些技术包括:数据采样、信息浓缩、网格和索引。

CLARANS是最早使用数据采样的算法,CURE使用优选的采样点,信息浓缩技术在BIRCH方法和DECLIJE方法中得到应用。

许多算法都使用了索引技术,典型的有:BIRCH方法、DBSCAN方法、小波变换方法、DENCLUE方法、DENCLUE方法、小波变换方法、STING方法和CLIQUE方法使用了网格技术。

但是以上方法仍然不能很好地处理高维度并且大数据量的集合。

最近马海祥还发现了一些新的技术如:STING+方法引入动态数据挖掘触发器:mAFIA方法引入间距尺寸自适应网格分割算法;OptiGrid算法使用迭代和网格等技术处理高维度数据。

新技术的引进大大加强了聚类算法的效能,尤其提升了处理高维度数据的能力,但是由于这些算法刚刚形成,所以在某些地方还有待完善,对于刚接触数据分析的博友,可以先看下马海祥博客的《解读常用的10种可用性研究数据类型方法》相关介绍。

4、系统聚类分析法

系统聚类法(Hierarchical Clustering Method)是目前国内外使用晟多的一种方法,有关它的研究极为丰富。其基本思想是:先将11个样本各自看成一类,然后规定样本之间的距离和类与类之间的距离;然后选择距离最小的一对并成一个新类,计算新类和其他类的距离;再将距离最小的两类合并,这样每次减少一类,直至所有的样本都成为一类为止。

在马海祥看来系统聚类法的优点在于:利用样本之问的距离最近原则进行聚类。这种系统归类过程与所规定的归类指数有关,同时也与具体的归类方法有关系,整个聚类过程可用一张聚类图(树)形象表示。

在聚类分析中,聚类要素的选择是十分重要的,它直接影响分类结果的准确性和可靠性,在地理分类和研究分区中,被聚类的对象常常是多个要素构成的。

不同要素的数据往往具有不同的单位和量纲,其数值的变异可能是很大的,这就会对分类结果产生影响,因此当分类要素的对象确定之后,在进行聚类分析之前,首先要对数据要素进行处理。

在聚类分析中,常用的聚类要素的数据处理方法有如下几种:

①、总和标准化

②、标准差标准化

③、极大值标准化

④、极差的标准化

经过这种标准化所得的新数据,各要素的极大值为1,极小值为0,其余的数值均在0与1之间。

距离是事物之间差异性的测度,差异性越大,则相似性越小,所以距离是系统聚类分析的依据和基础。

5、聚类分析的3种方法

聚类分析是数据挖掘中的一个很活跃的研究领域,并提出了许多聚类算法。

(1)、直接聚类法

直接聚类法是根据距离矩阵的结构一次并类得到结果,其基本步骤如下:

①、把各个分类对象单独视为一类;

②、根据距离最小的原则,依次选出一对分类对象,并成新类;

③、如果其中一个分类对象已归于一类,则把另一个也归入该类;如果一对分类对象正好属于已归的两类,则把这两类并为一类;每一次归并,都划去该对象所在的列与列序相同的行;

④、那么,经过m-1次就可以把全部分类对象归为一类,这样就可以根据归并的先后顺序作出聚类谱系图,直接聚类法虽然简便,但在归并过程中是划去行和列的,因而难免有信息损失,因此,直接聚类法并不是最好的系统聚类方法。

(2)、最短距离聚类法

最短距离聚类法是在原来的m×m距离矩阵的非对角元素中找出 ,把分类对象Gp和Gq归并为一新类Gr,然后按计算公式计算原来各类与新类之间的距离,这样就得到一个新的(m-1)阶的距离矩阵。

再从新的距离矩阵中选出最小者,把Gi和Gj归并成新类;再计算各类与新类的距离,这样一直下去,直至各分类对象被归为一类为止。

(3)、最远距离聚类法

最远距离聚类法与最短距离聚类法的区别在于计算原来的类与新类距离采用的公式不同。

6、系统聚类方法的步骤

(1)、对数据进行变换处理;(不是必须的,当数量级相差很大或指标变量具有不同单位时是必要的)

(2)、构造n个类,每个类只包含一个样本;

(3)、计算n个样本两两间的距离;

(4)、合并距离最近的两类为一新类;

(5)、计算新类与当前各类的距离,若类的个数等于1,转到6;否则回4;

(6)、画聚类图;

(7)、决定类的个数,从而得出分类结果。

7、聚类分析的主要应用

对于聚类分析的应用,马海祥简单的从以下6个领域为大家总结了一下:

(1)、商业

聚类分析被用来发现不同的客户群,并且通过购买模式刻画不同的客户群的特征。

聚类分析是细分市场的有效工具,同时也可用于研究消费者行为,寻找新的潜在市场、选择实验的市场,并作为多元分析的预处理。

(2)、生物

聚类分析被用来动植物分类和对基因进行分类,获取对种群固有结构的认识。

(3)、地理

聚类能够帮助在地球中被观察的数据库商趋于的相似性。

(4)、保险行业

聚类分析通过一个高的平均消费来鉴定汽车保险单持有者的分组,同时根据住宅类型,价值,地理位置来鉴定一个城市的房产分组。

(5)、因特网

聚类分析被用来在网上进行文档归类来修复信息(关于这点我也曾在马海祥博客的《实例解析关键词聚类的方法策略》一文中跟大家详细的介绍过)。

(6)、电子商务

聚类分析在电子商务中网站建设数据挖掘中也是很重要的一个方面,通过分组聚类出具有相似浏览行为的客户,并分析客户的共同特征,可以更好的帮助电子商务的用户了解自己的客户,向客户提供更合适的服务。

马海祥博客点评:

聚类分析是一种探索性的分析,在分类的过程中,人们不必事先给出一个分类的标准,聚类分析能够从样本数据出发,自动进行分类,聚类分析所使用方法的不同,常常会得到不同的结论,不同研究者对于同一组数据进行聚类分析,所得到的聚类数未必一致。

本文发布于马海祥博客文章,如想转载,请注明原文网址摘自于http://www.mahaixiang.cn/sjfx/746.html,注明出处;否则,禁止转载;谢谢配合!

相关标签搜索: 分析方法   聚类分析   应用分析  

上一篇:用一句话告诉你什么是数据分析?
下一篇:详解大数据的4个基本特征

您可能还会对以下这些文章感兴趣!

  • 企业数据报告分析的10种思维和技巧

    随着时代的发展,人们每天在互联网上产生大量的数据,对于企业来讲这些数据都是十分宝贵的资源。企业可通过数据挖掘进行战略调整以及营销部署,尤其是对于互联网公司而言,用户行为产生的数据就是企业最宝贵的资源。目前为止,在很多企业中都存在着很大的数据分析问题……【查看全文

    阅读:1464关键词: 企业数据   数据报告   数据分析   数据分析思维   数据分析技巧   日期:2014-05-19
  • 聚类分析的方法及应用

    聚类分析也称群分析或点群分析,它是研究多要素事物分类问题的数量方法,是一种新兴的多元统计方法,是当代分类学与多元分析的结合,其基本原理是:根据样本自身的属性,用数学方法按照某种相似性或差异性指标,定量地确定样本之间的亲疏关系,并按这种亲疏关系程度对样……【查看全文

    阅读:45687关键词: 聚类分析   分析方法   应用分析   日期:2014-08-15
  • 数据分析师该如何做好数据运营?

    一位高级数据分析师职位通常是数据职能架构中的火车头,可以负责一个子产品或模块级别的项目,带领团队来全面解决问题,把控手下数据分析师的工作质量。技术方面,能掌控数据分析的整个过程,对数据采集、埋点、造型、进入数据仓库的清洗有良好的手段,能够回答数据的任……【查看全文

    阅读:4066关键词: 数据分析师   数据运营   日期:2017-08-10
  • 一个优秀的站长应该具备哪些分析能力?

    网站的综合分析能力,应该是一个站长应该具备的最基本的能力,包括关键词的分析与挖掘能力、网站的基本规则与设计能力、行业分析及洞察力、基本的写作能力、网站流量的分析能力、关键词的以及长尾策略的整合营销能力、竞争对手网站基本的分析能力以及具备一些发布外链的……【查看全文

    阅读:602关键词: 分析能力   站长   站长能力   日期:2013-08-27
  • 站长必须要学会分析哪些网站SEO数据

    虽然网站数据分析是围绕着访客进行的,但公司各部门需要的数据所不一样,高层想知道宏观数据,以便于战略调整;中层想知道些微观数据,便于项目控制与短期战术计划;市场部门想知道哪些广告能带来有价值客户;编辑部门想要知道哪些文章用户喜欢;有了这些数据能更合理的……【查看全文

    阅读:2886关键词: 站长   数据分析   网站seo   seo数据   seo   日期:2014-07-27
  • 如何将数据挖掘技术应用到客户内在需求管理

    本文介绍了数据挖掘技术在客户内在需求管理中的一些应用领域,利用数据挖掘技术对客户的相关信息进行收集、加工和存储处理,以确定特定客户群体或个体的兴趣、消费习惯,消费者倾向和消费需求,分析客户的特征,探索企业和所对应市场的运营规律性,提供既定性又定量的分……【查看全文

    阅读:2246关键词: 数据挖掘   客户管理   日期:2015-01-05
  • 如何做好产品数据的竞品分析?

    竞品就是竞争产品,竞争对手的产品。那么,竞品分析顾名思义,是对竞争对手的产品进行比较分析。竞品分析的内容可以由两方面构成:客观和主观。即从竞争对手或市场相关产品中,圈定一些需要考察的角度,得出真实的情况,此时,不需要加入任何个人的判断,应该用事实说话……【查看全文

    阅读:5624关键词: 产品数据   竞品分析   数据分析   产品分析   日期:2014-03-31
  • 如何以客户为中心进行数据挖掘与分析

    数据挖掘与分析可以说是信息领域发展最快的技术,很多不同领域的专家都从中获得了发展的空间,使得数据挖掘成为企业界讨论的热门话题,随着信息技术的发展,人们采集数据的手段越来越丰富,由此积累的数据日益膨胀,数据量达到GB甚至TB级,而且大数据也成为数据分析主流……【查看全文

    阅读:7531关键词: 数据挖掘   数据分析   分析数据   日期:2014-12-27
  • 解读常用的10种可用性研究数据类型方法

    当你选择可用性研究的度量方法时,你必须要考虑很多的问题才有可能获得想要的结果,这其中包括研究目的,用户目标,技术上收集和分析数据的可行性,以及项目预算和交付的时间问题。因为每一个可用性研究具有独特的属性,我们不能确切地规定每种类型的研究应该用什么度量……【查看全文

    阅读:2152关键词: 可用性   可用性研究   数据类型   研究方法   日期:2014-04-15
  • 百度迁徙图的大数据是如何做出来的?

    百度迁徙图非常有意思,我们看到的是一个最后呈现的完整数据图,但是在这背后确有十分复杂的高精尖技术做支撑,远比我们想象中的复杂,同时我们也看到地理定位技术最先发源于军事,最后又由于移动时代的商业发展诉求得到了更为深入的发展,所以顺着这次百度迁徙我们也再……【查看全文

    阅读:4067关键词: 百度迁徙图   大数据   百度迁徙   日期:2015-02-19
↓ 点击查看更多 ↓

互联网更多>>

SEO优化 更多>>

一个完整的企业网站首页应该具备什么因素? 如何利用极客精神优化网站的网络组件和代码