马海祥博客是一个专注于分享SEO优化、网站制作、网络营销和运营思维的自媒体博客!
马海祥博客 > 网站制作 > 网站策划 > 大型网站系统的升级演变过程

大型网站系统的升级演变过程

时间:2016-03-28   文章来源:马海祥博客   访问次数:

一个成熟的大型网站(如淘宝、京东等)的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性,它总是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术人员也从几个人发展到一个部门甚至一条产品线,所以,成熟的系统架构是随业务扩展而完善出来的,并不是一蹴而就。

不同业务特征的系统,会有各自的侧重点,例如淘宝,要解决海量的商品信息的搜索、下单、支付;例如腾讯,要解决数亿的用户实时消息传输,百度它要处理海量的搜索请求,他们都有各自的业务特性,系统架构也有所不同。

大型网站系统的升级演变过程-马海祥博客

尽管如此,我们也可以从这些不同的网站背景下,找出其中共用的技术,这些技术和手段可以广泛运行在大型网站系统的架构中,下面马海祥就通过介绍大型网站系统的演化过程,来认识这些技术和手段。

1、最开始的网站架构

最初的架构,应用程序、数据库、文件都部署在一台服务器上,如下图:

大型网站系统的升级演变过程-马海祥博客

根据客户需求分析的结果,准确定位网站目标群体,设定网站整体架构,规划、设计网站栏目及其内容,制定网站开发流程及顺序,以最大限度地进行高效资源分配与管理的设计(具体可查看马海祥博客《资深架构师如何看待大型网站系统架构》的相关介绍)。

2、应用、数据、文件分离

大型网站系统的升级演变过程-马海祥博客

随着业务的扩展,一台服务器已经不能满足性能需求,故将应用程序、数据库、文件各自部署在独立的服务器上,并且根据服务器的用途配置不同的硬件,达到最佳的性能效果。

3、利用缓存改善网站性能

在硬件优化性能的同时,同时也通过软件进行性能优化,在大部分的网站系统中,都会利用缓存技术改善系统的性能,使用缓存主要源于热点数据的存在,大部分网站访问都遵循28原则(即80%的访问请求,最终落在20%的数据上),所以我们可以对热点数据进行缓存,减少这些数据的访问路径,提高用户体验(具体可查看马海祥博客《如何实现shtml页面的局部缓存》的相关介绍)。

大型网站系统的升级演变过程-马海祥博客

缓存实现常见的方式是本地缓存、分布式缓存,当然还有CDN、反向代理等。

本地缓存,顾名思义是将数据缓存在应用服务器本地,可以存在内存中,也可以存在文件,OSCache就是常用的本地缓存组件。本地缓存的特点是速度快,但因为本地空间有限所以缓存数据量也有限。

分布式缓存的特点是,可以缓存海量的数据,并且扩展非常容易,在门户类网站中常常被使用,速度按理没有本地缓存快,常用的分布式缓存是Membercache、Redis。

4、使用集群改善应用服务器性能

应用服务器作为网站的入口,会承担大量的请求,我们往往通过应用服务器集群来分担请求数,应用服务器前面部署负载均衡服务器调度用户请求,根据分发策略将请求分发到多个应用服务器节点。

大型网站系统的升级演变过程-马海祥博客

常用的负载均衡技术硬件的有F5,价格比较贵,软件的有LVS、Nginx、HAProxy。

LVS是四层负载均衡,根据目标地址和端口选择内部服务器,Nginx和HAProxy是七层负载均衡,可以根据报文内容选择内部服务器,因此LVS分发路径优于Nginx和HAProxy,性能要高些,而Nginx和HAProxy则更具配置性,如可以用来做动静分离(根据请求报文特征,选择静态资源服务器还是应用服务器)。

5、数据库读写分离和分库分表

随着用户量的增加,数据库成为最大的瓶颈,改善数据库性能常用的手段是进行读写分离以及分表,读写分离顾名思义就是将数据库分为读库和写库,通过主备功能实现数据同步。

大型网站系统的升级演变过程-马海祥博客

分库分表则分为水平切分和垂直切分,水平切换则是对一个数据库特大的表进行拆分,例如用户表。垂直切分则是根据业务不同来切换,如用户业务、商品业务相关的表放在不同的数据库中。

6、使用CDN和反向代理提高网站性能

假如我们的服务器都部署在成都的机房,对于四川的用户来说访问是较快的,而对于北京的用户访问是较慢的,这是由于四川和北京分别属于电信和联通的不同发达地区,北京用户访问需要通过互联路由器经过较长的路径才能访问到成都的服务器,返回路径也一样,所以数据传输时间比较长。

大型网站系统的升级演变过程-马海祥博客

对于这种情况,常常使用CDN解决,CDN将数据内容缓存到运营商的机房,用户访问时先从最近的运营商获取数据,这样大大减少了网络访问的路径。比较专业的CDN运营商有蓝汛、网宿。

而反向代理,则是部署在网站的机房,当用户请求达到时首先访问反向代理服务器,反向代理服务器将缓存的数据返回给用户,如果没有没有缓存数据才会继续走应用服务器获取,也减少了获取数据的成本,反向代理有Squid,Nginx。

7、使用分布式文件系统

大型网站系统的升级演变过程-马海祥博客

用户一天天增加,业务量越来越大,产生的文件越来越多,单台的文件服务器已经不能满足需求,需要分布式的文件系统支撑。

常用的分布式文件系统有NFS。

8、使用NoSql和搜索引擎

对于海量数据的查询,我们使用nosql数据库加上搜索引擎可以达到更好的性能。

大型网站系统的升级演变过程-马海祥博客

并不是所有的数据都要放在关系型数据中,常用的NOSQL有mongodb和redis,搜索引擎有lucene。

9、将应用服务器进行业务拆分

随着业务进一步扩展,应用程序变得非常臃肿,这时我们需要将应用程序进行业务拆分,如百度分为新闻、网页、图片等业务。

大型网站系统的升级演变过程-马海祥博客

每个业务应用负责相对独立的业务运作,业务之间通过消息进行通信或者同享数据库来实现。

10、搭建分布式服务

这时我们发现各个业务应用都会使用到一些基本的业务服务,例如用户服务、订单服务、支付服务、安全服务,这些服务是支撑各业务应用的基本要素。

大型网站系统的升级演变过程-马海祥博客

我们将这些服务抽取出来利用分部式服务框架搭建分布式服务,比如淘宝的Dubbo是一个不错的选择。

总之,大型网站的架构是根据业务需求不断完善的,根据不同的业务特征会做特定的设计和考虑,本文只是讲述一个常规大型网站会涉及的一些技术和手段。

马海祥博客点评:

对于大型网站来说,前面提到的每个方法可能都会被同时使用到,我这里介绍得比较浅显,具体实现过程中很多细节还需要大家慢慢熟悉和体会。

本文发布于马海祥博客文章,如想转载,请注明原文网址摘自于http://www.mahaixiang.cn/wzch/1477.html,注明出处;否则,禁止转载;谢谢配合!

相关标签搜索: 大型网站   网站系统  

上一篇:资深架构师如何看待大型网站系统架构
下一篇:如何以用户体验为核心策划一个网站

您可能还会对以下这些文章感兴趣!

  • 网站策划必须要注意的可用性设计

    可用性主要是指使一个功能或者产品易于使用,但同时也要保持产品质量维持在高水平上。在过去十年中高品质的可用性一直是各个行业讨论的核心,因为它对用户来说越来越重要。一般来说,良好的可用性成为那些成功的初创公司的核心。多数情况下,简单的想法最具创造性的,好……【查看全文

    阅读:709关键词: 网站策划   可用性   可用性设计   日期:2013-09-05
  • 如何在网站策划中做好导航设计

    网站中导航的设计既存在着科学,也蕴涵着艺术,使用者可以用最短的时间从A点到达B点,这是导航的魅力所在,也是它的职责所在,导航不单单是链接,可以说导航是一种思维,是一种创建网站的思维,这样的思维让用户清晰可见网站中的信息内容,所有想查找的信息是处于可及范……【查看全文

    阅读:853关键词: 网站策划   导航设计   网站导航   日期:2015-11-14
  • 基于用户体验的网站可用性策划建议

    关于网站的可用性策划,我想应该是每位站长都首先要考虑的因素了。因为网站的可用性是你这个网站能否受欢迎的一个重要判定方面了,无论你进行的是企 业网站、网购网站还是其它类型的网站,马海祥觉得让你的网站界面变得容易操控,使用时令人舒服是关键,近几年已经有很……【查看全文

    阅读:813关键词: 用户体验   网站可用性   可用性策划   可用性设计   日期:2013-10-11
  • 大型网站系统的升级演变过程

    一个成熟的大型网站的系统架构并不是开始设计就具备完整的高性能、高可用、安全等特性,它总是随着用户量的增加,业务功能的扩展逐渐演变完善的,在这个过程中,开发模式、技术架构、设计思想也发生了很大的变化,就连技术人员也从几个人发展到一个部门甚至一条产品线,……【查看全文

    阅读:470关键词: 大型网站   网站系统   日期:2016-03-28
  • 物理结构(扁平结构和树形结构)与逻辑结构之间的关系区别

    在网站初期的策划建设中,一个好的网站结构也说是网站未来发展成功与否的重要成败点,同时也是我们对网站优化的指导方向。整体来说,网站结构一般分为物理结构和逻辑结构。网站物理结构就是也就是我们网站实际目录,或者说是文件实际的物理地址,指的是网站目录及所包含……【查看全文

    阅读:4243关键词: 物理结构   扁平结构   树形结构   逻辑结构   日期:2013-11-18
  • 关于网站搜索框功能的策划及设计

    如今,很多网站都有搜索框,这主要是因为搜索功能可以让用户快速查找到自己想看的内容,节省用户的时间。稍微具有一定规模的网站,在网站建设上可能都会考虑加入网站搜索功能,前期网站内容较少,网站搜索功能显示不出威力,但是,随着网站内容越来越多,那么,搜索功能……【查看全文

    阅读:2793关键词: 网站策划   搜索框   网站设计   日期:2017-08-14
  • 门户网站导航的信息结构分析

    网站导航是网站中最重要的元素,是网站提供给用户的最直接最方便的访问网站内容的工具,导航的核心目标是设计一个简便快捷的操作入口,帮助用户快速到达网站中的相应内容,设计上应当根据网站类型及内容的需求设计合理的导航信息结构,导航设计不光只是信息结构或组织方……【查看全文

    阅读:793关键词: 门户网站   网站导航   网站信息   网站结构   网站分析   日期:2014-12-18
  • 一个普通网站发展成大型网站的架构演变历程

    大型网站都有复杂的应用,这些应用必须使用数据库,那么在面对大量访问的时候,数据库的瓶颈很快就能显现出来,这时一台数据库将很快无法满足应用,于是我们需要使用数据库集群或者库表散列。在数据库集群方面,很多数据库都有自己的解决方案,Oracle、Sybase等都有很好……【查看全文

    阅读:3236关键词: 普通网站   大型网站   架构演变   演变历程   网站架构   日期:2014-09-14
  • 网盟环境下广告位置的变化对广告关注度的影响

    广告位置是指一则广告在特定媒体发布时所处的规定地位,广告位置直接对广告效果和广告成本发生影响。比如,斯塔奇研究认为,杂志封底广告比杂志内页广告吸引读者数多达65%。同样,在电视广告中,处在广告时段开头的广告和结尾的广告,比居中的广告回忆度要高。另外,广……【查看全文

    阅读:518关键词: 网盟   广告位置   广告位置变化   广告关注度   广告影响   日期:2014-05-11
  • 策划一个具有高质量度移动站点的方法步骤

    如果做个SEOer或站长们近期工作重点排名调查表的话,我估计排名首位的一定是移动站点或手机网站的建设了。移动站点之所以被站长们如此的看重,主要是因为其强大的平板电脑和手机用户群了。据悉在百度推广后台也已经有移动站点质量度的星级评价体系了,页面大小、页面内……【查看全文

    阅读:1746关键词: 移动站点   手机网站   高质量度网站   网站策划   移动站点步骤   日期:2013-09-19
↓ 点击查看更多 ↓

互联网更多>>

SEO优化 更多>>

百度搜索用户建议专区上线公告 企业网站SEO推广能给企业带来哪些好处?