马海祥博客是一个专注于分享SEO优化、网站制作、网络营销和运营思维的自媒体博客!
马海祥博客 > 运营思维 > 数据分析 > 解读2013年大数据应用与趋势的调研

解读2013年大数据应用与趋势的调研

时间:2013-12-29   文章来源:马海祥博客   访问次数:

在互联网行业,2013年可以说是被公认是具有跨时代意义的“大数据元年”。在这一年,数据比以往任何时候都要宝贵,甚至成为可以与石油资源相媲美的新能源,大数据被认为是继信息化和互联网后整个信息革命的又一次高峰。然而,大数据不是口号,需要更多的企业付诸实践,从单调的数据中挖掘出潜在价值。

解读2013年大数据应用与趋势的调研-马海祥博客

在本年初的一项调查曾指出,28%的全球企业和25%的中国企业已经开始进行大数据实践。为了进一步了解中国企业大数据应用的真实情况,有关结构展开了一项有关大数据应用与趋势的专项调查,揭示大数据给企业带来的挑战及其解决之道。

此次调查于2013年9月30日正式启动,历时一个半月,通过线上线下两种途径回收问卷500余份,人群覆盖数据架构师、数据库管理和运维工程师、数据库开发工程师、数据分析师、研发总监和IT经理等技术人员。

一、本次大数据调查的主要结论

1、每月新增数据规模在500G以上的企业由2012年的16.67%,增长到18.11%。虽然拥有大数据的企业比例有所上升,但与预测中数据增长速度还有很大差距。

2、选用国产大数据产品的企业仅占5.61%,国产厂商若抓住大数据和信息安全的重大机遇,将迎来成长的春天。

3、企业认为大数据的存储和处理过程中三个最大的难点是数据安全、系统性能瓶颈和数据类型多样化。

4、在大数据时代,企业面临的最大挑战是缺乏专业的大数据人才。

5、针对非结构化数据,企业目前最迫切需要解决的是如何对这些数据进行分析。

6、当前已经部署大数据的企业达到21.89%,计划1年内部署的占27.92%,2014年将是大数据部署的高峰期。

7、企业在大数据选型的过程中最先考虑的三个因素是产品的性能、服务与支持水平和与其他应用的兼容性。

8、大多数企业选择大数据产品或解决方案的类型是大数据分析软件。

9、被调查者最关注的大数据技术,排在前五位的分别是大数据分析、云数据库、Hadoop、内存数据库,以及数据安全。

10、被调查者认为在大数据分析中最重要的三个功能,分别是实时分析、丰富的挖掘模型和可视化界面。

二、企业大数据应用现状

对于如何定义大数据?这是一个仁者见仁、智者见智的问题。主流的有“3V”模型,即数量(Volume)、速度(Velocity)和种类(Variety),还有Gartner的定义,即大数据是超出了常用硬件环境和软件工具在可接受的时间内为其用户收集、管理和处理数据的能力。

庞大的数据量无疑是大数据最明显的一个特征。有预测称,全球信息量正以每年59%的速度增长。企业的数据规模是否达到难以承受的程度?在去年的调查中我们就曾对企业每月新增数据规模进行摸底,结果显示企业的数据规模不断增大,但还未达到企业无法掌控的程度,每月新增数据规模在500G以上的企业占到16.67%。

1、企业每月新增数据规模调查

解读2013年大数据应用与趋势的调研-马海祥博客

今年的情况又是如何呢?从上图可以看出,被调查者所在企业每月新增数据规模在10G以下的占到26.79%,11-100G的占到41.89%,101-500G的占到13.21%,500G以上的达到18.11%。

对比去年的结果可以看出,企业每月新增数据规模在500G以上的由2012年的16.67%,增长到2013年的18.11%,同比增长8.64%。拥有大数据的企业比例有所上升,但与预测中数据增长速度(59%)还有很大差距。

2、企业选用大数据厂商调查

解读2013年大数据应用与趋势的调研-马海祥博客

企业更青睐哪家大数据厂商?或许从现有产品的部署情况可以看出端倪。从上图可以看出,排在前六位的的厂商分别是IBM(18.74%)、Oracle(18.33%)、SAP(11.35%)、Microsoft(9.71%)、SAS(7.52%)和NetApp(7.52%)。

与2012年的调查数据相比,Oracle从27.93%下降到18.33%,一家独大的状况终止,取而代之的是遍地开花,各个厂商所占份额相对平均。前三位中IBM和SAP份额增长最为迅猛,分别由15.99%和7.66%增长到现在的18.74%和11.35%。

在今年的调查中,新增了国产厂商的选项。相比国外的几家IT巨头,国产厂商的占有率仅为5.61%。今年震惊一时的“棱镜门”事件给企业信息安全敲响了警钟,也给国产厂商带来巨大的机遇和挑战。大数据和信息安全领域的需求激增,国产厂商将迎来成长的春天。

三、企业大数据痛点分析

多年前,企业关注信息化和互联网化,近几年关注更多的是云计算、移动化和社交化。马海祥觉得无论哪种技术趋势,都给企业的数据处理和分析带来不少难题。数据量的激增、数据多样性和复杂性、数据安全的问题,都成为企业面临的挑战。为了进一步了解企业的真实需求,此次调查针对大数据时代的企业痛点进行分析。

1、企业大数据的存储和处理难点调查

解读2013年大数据应用与趋势的调研-马海祥博客

从上图来看,企业在大数据存储和处理上的难点分布比较均匀,所占比例最高的为数据安全(18.98%),排在第二的是系统性能瓶颈(18.42%),第三位的是数据类型多样化(18.01%)。其他还有数据分析效率低(15.24%)、数据读写瓶颈(14.96%)和存储压力(14.40%)。

选项之间的差距非常小,也说明这六项都被认为是企业数据存储和处理的难点,其中数据安全是企业最关注的问题。在大数据环境下,很多企业正在重新思考信息安全策略,保护数据资源不被侵犯。

2、企业在大数据时代面临的挑战

解读2013年大数据应用与趋势的调研-马海祥博客

在大数据时代,企业面临的挑战可以从上图中看出一些端倪。缺乏专业的大数据人才(26.99%)成为企业面临的最大挑战,其次是非结构化数据的分析和处理(26.65%)、传统技术难以处理大数据(25.27%)以及新技术门槛过高(21.13%)。

大数据相关人才的欠缺将会成为影响大数据市场发展的一个重要因素。据Gartner预测,到2015年,全球将新增440万个与大数据相关的工作岗位,且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来,大数据将会出现约100万的人才缺口,需要社会、高校和企业共同努力去培养和挖掘。

3、企业针对非结构化数据的挑战

解读2013年大数据应用与趋势的调研-马海祥博客

面对文本、图片、视频等非结构化数据,企业并不擅长处理。从上图的调查结果可以看出,企业目前最迫切需要解决的是如何对这些数据进行分析,所占比例达到38.96%。其次是与其他数据源进行集成(32.50%)、如何保存这些数据(14.72%),以及数据安全问题(13.82%)。

我曾在马海祥博客的一篇文章中提过数据的核心是发现价值,而驾驭数据的核心是分析。分析是大数据最关键的环节,尤其对于传统方式难以应对的非结构化数据,人们最先想到是把它们转化为结构化数据,然后再处理和分析。

与企业对结构化数据安全性的关注不同,非结构化数据的安全问题在企业中缺乏应有的重视。但据统计,高达80%的商业数据均以非结构化的形式保存。非结构化数据的安全问题也迫在眉睫,企业需要提前做好预警和规划。

四、企业大数据选型规划

毋庸置疑,大数据是2013年最热门的话题。热闹之余,马海祥觉得我们更应该去冷静的思考一下,企业是否需要部署大数据、需要部署哪种类型的大数据,以及如何选择适合的解决方案,需要做一个有针对性的选型规划。

根据今年的一项调查显示,全球企业软件支出近300亿美元,相比2012年增长6.4%,预计2014年企业支出将向大数据倾斜,尤其在企业内容管理、数据集成和数据质量工具三个方面。

1、部署大数据应用规划调查

解读2013年大数据应用与趋势的调研-马海祥博客

从国内企业大数据应用的现状和规划来看,情况有什么不同呢?通过上图可以看出,目前已经部署大数据应用的企业所占比例达到21.89%,计划1年内部署的企业占27.92%,计划2年内部署的企业占14.34%,没有相关计划和不确定的企业分别占11.32%和24.53%。

大数据时代,企业已经逐渐意识到数据的重要性,也慢慢开始接受从传统数据库到大数据分析的转变。但是大数据最大的难点就是落地,需要与业务需求相结合,选择一套合适的大数据解决方案。

2、大数据选型影响因素调查

解读2013年大数据应用与趋势的调研-马海祥博客

从上图可以看出,企业在大数据选型的过程中最先考虑的三个因素是产品的性能(19.79%)、服务与支持(15.20%)和兼容不同应用(13.94%)。其次是产品的价格(13.16%)、产品的易用性(12.18%)、支持移动化(11.11%)、所属厂商及品牌(7.80%),以及是否开源(6.82%)。

产品的性能排在第一位是毋庸置疑的。排名在产品价格前面的服务与支持,却似乎印证了IT厂商向服务提供商转型道路的正确性。另外,随着移动化的不断深入,支持移动版的大数据解决方案,将成为未来趋势。

3、大数据产品或解决方案类型调查

解读2013年大数据应用与趋势的调研-马海祥博客

除了产品选型时考虑的因素,企业选择什么类型的大数据产品或解决方案更适合自己呢?从上图可以看出,选择大数据分析软件的企业占32.05%、选择大数据整体解决方案的占28.96%,选择基础架构产品的占28.38%,最少选择的是大数据一体机,所占比例达到10.62%。

除了前文所述的大数据分析的重要性之外,我们还可以看到大数据一体机没有想象中那么受欢迎。据马海祥博客上的业内人士透露,大数据一体机往往针对某一业务流程设计,缺乏普适性,且价格昂贵,不是一般企业能够接受的。所以目前的大数据一体机往往针对成熟的业务流程,能极大的简化部署和维护工作。

五、企业大数据应用趋势

在很长的一段时间中,只要一提到大数据,人们的脑海中总会浮现出Hadoop,它几乎成为大数据的代名词。但其实大数据的技术领域很广,涉及数据获取、整合、治理、分析、探索、汲取智慧的方方面面。

1、大数据技术趋势调查

解读2013年大数据应用与趋势的调研-马海祥博客

从上图可以看出,被调查者最关注的大数据技术中,排在前五位的分别是大数据分析(12.91%)、云数据库(11.82%)、Hadoop(11.73%)、内存数据库(11.64%),以及数据安全(9.21%)。其次是NoSQL(8.21%)、数据仓库(8.21%)、数据集成(7.94%)、商业智能(7.13%)、列式数据库(5.96%)、大数据(数据库)一体机(3.52%),以及NewSQL(1.71%)。

令人欣慰的是,Hadoop已不再是人们心目中仅有的大数据技术,而大数据分析成为最被关注的技术。从中可以看出,人们对大数据的了解已经逐渐深入,关注的技术点也越来越多。

2、大数据分析功能调查

解读2013年大数据应用与趋势的调研-马海祥博客

既然大数据分析是最被关注的技术趋势,那么大数据分析中的哪项功能是最重要的呢?从上图可以看出,排在前三位的功能分别是实时分析(21.32%)、丰富的挖掘模型(17.97%)和可视化界面(15.91%)。其次是预测分析(13.10%)、社交数据分析(12.12%)、云端服务(11.69%),以及移动BI(7.90%)。

我们在2012年也曾做过类似的调查,当时选择丰富的挖掘模型(27.22%)比实时分析(19.88%)多7.34%。短短一年时间内,企业对实时分析的需求激增,成就了很多以实时分析为创新技术的大数据厂商。

马海祥博客点评:

本调查针对2013年大数据应用现状和趋势展开,从调查结果可以看出,企业在未来一两年中有迫切部署大数据的需求,并且已经从一开始的基础设施建设,逐渐发展为对大数据分析和整体大数据解决方案的需求。与此同时,大数据还面临人才的缺乏的挑战,需要企业和高校联合起来,培养数据领域的复合型人才,帮助企业打赢这场“数据战”。

本文发布于马海祥博客文章,如想转载,请注明原文网址摘自于http://www.mahaixiang.cn/sjfx/367.html,注明出处;否则,禁止转载;谢谢配合!

相关标签搜索: 大数据   大数据应用   大数据趋势   大数据调研  

上一篇:关于用户调研数据分析中常见的一些误区
下一篇:解读2014年中国移动互联网用户行为洞察研究报告

您可能还会对以下这些文章感兴趣!

  • 百度迁徙图的大数据是如何做出来的?

    百度迁徙图非常有意思,我们看到的是一个最后呈现的完整数据图,但是在这背后确有十分复杂的高精尖技术做支撑,远比我们想象中的复杂,同时我们也看到地理定位技术最先发源于军事,最后又由于移动时代的商业发展诉求得到了更为深入的发展,所以顺着这次百度迁徙我们也再……【查看全文

    阅读:4067关键词: 百度迁徙图   大数据   百度迁徙   日期:2015-02-19
  • 如何以客户为中心进行数据挖掘与分析

    数据挖掘与分析可以说是信息领域发展最快的技术,很多不同领域的专家都从中获得了发展的空间,使得数据挖掘成为企业界讨论的热门话题,随着信息技术的发展,人们采集数据的手段越来越丰富,由此积累的数据日益膨胀,数据量达到GB甚至TB级,而且大数据也成为数据分析主流……【查看全文

    阅读:7531关键词: 数据挖掘   数据分析   分析数据   日期:2014-12-27
  • 企业数据报告分析的10种思维和技巧

    随着时代的发展,人们每天在互联网上产生大量的数据,对于企业来讲这些数据都是十分宝贵的资源。企业可通过数据挖掘进行战略调整以及营销部署,尤其是对于互联网公司而言,用户行为产生的数据就是企业最宝贵的资源。目前为止,在很多企业中都存在着很大的数据分析问题……【查看全文

    阅读:1464关键词: 企业数据   数据报告   数据分析   数据分析思维   数据分析技巧   日期:2014-05-19
  • 一个优秀的站长应该具备哪些分析能力?

    网站的综合分析能力,应该是一个站长应该具备的最基本的能力,包括关键词的分析与挖掘能力、网站的基本规则与设计能力、行业分析及洞察力、基本的写作能力、网站流量的分析能力、关键词的以及长尾策略的整合营销能力、竞争对手网站基本的分析能力以及具备一些发布外链的……【查看全文

    阅读:602关键词: 分析能力   站长   站长能力   日期:2013-08-27
  • 站长必须要学会分析哪些网站SEO数据

    虽然网站数据分析是围绕着访客进行的,但公司各部门需要的数据所不一样,高层想知道宏观数据,以便于战略调整;中层想知道些微观数据,便于项目控制与短期战术计划;市场部门想知道哪些广告能带来有价值客户;编辑部门想要知道哪些文章用户喜欢;有了这些数据能更合理的……【查看全文

    阅读:2886关键词: 站长   数据分析   网站seo   seo数据   seo   日期:2014-07-27
  • 聚类分析的方法及应用

    聚类分析也称群分析或点群分析,它是研究多要素事物分类问题的数量方法,是一种新兴的多元统计方法,是当代分类学与多元分析的结合,其基本原理是:根据样本自身的属性,用数学方法按照某种相似性或差异性指标,定量地确定样本之间的亲疏关系,并按这种亲疏关系程度对样……【查看全文

    阅读:45687关键词: 聚类分析   分析方法   应用分析   日期:2014-08-15
  • 如何将数据挖掘技术应用到客户内在需求管理

    本文介绍了数据挖掘技术在客户内在需求管理中的一些应用领域,利用数据挖掘技术对客户的相关信息进行收集、加工和存储处理,以确定特定客户群体或个体的兴趣、消费习惯,消费者倾向和消费需求,分析客户的特征,探索企业和所对应市场的运营规律性,提供既定性又定量的分……【查看全文

    阅读:2246关键词: 数据挖掘   客户管理   日期:2015-01-05
  • 解读常用的10种可用性研究数据类型方法

    当你选择可用性研究的度量方法时,你必须要考虑很多的问题才有可能获得想要的结果,这其中包括研究目的,用户目标,技术上收集和分析数据的可行性,以及项目预算和交付的时间问题。因为每一个可用性研究具有独特的属性,我们不能确切地规定每种类型的研究应该用什么度量……【查看全文

    阅读:2152关键词: 可用性   可用性研究   数据类型   研究方法   日期:2014-04-15
  • 如何做好产品数据的竞品分析?

    竞品就是竞争产品,竞争对手的产品。那么,竞品分析顾名思义,是对竞争对手的产品进行比较分析。竞品分析的内容可以由两方面构成:客观和主观。即从竞争对手或市场相关产品中,圈定一些需要考察的角度,得出真实的情况,此时,不需要加入任何个人的判断,应该用事实说话……【查看全文

    阅读:5624关键词: 产品数据   竞品分析   数据分析   产品分析   日期:2014-03-31
  • 数据分析师该如何做好数据运营?

    一位高级数据分析师职位通常是数据职能架构中的火车头,可以负责一个子产品或模块级别的项目,带领团队来全面解决问题,把控手下数据分析师的工作质量。技术方面,能掌控数据分析的整个过程,对数据采集、埋点、造型、进入数据仓库的清洗有良好的手段,能够回答数据的任……【查看全文

    阅读:4066关键词: 数据分析师   数据运营   日期:2017-08-10
↓ 点击查看更多 ↓

互联网更多>>

SEO优化 更多>>

一个完整的企业网站首页应该具备什么因素? 如何利用极客精神优化网站的网络组件和代码