淘宝应对"双11"的技术架构分析

　　缓存失效时的雪崩效应对底层系统的打击很是恐怖。遗憾的是，这个问问题前并没有很完善的解决方案。大多数系统设计者思量用加锁或者行列的方式保证缓存的单线程（历程）写，从而制止失效时大量的并发请求落到底层存储系统上。在数据魔方中，我们设计的缓存逾期机制理论上能够将各个客户端的数据失效时间匀称地漫衍在时间轴上，一定水平上能够制止缓存同时失效带来的雪崩效应。

　　竣事语

　　正是基于本文所形貌的架构特点，数据魔方现在已经能够提供压缩前80TB的数据存储空间，数据中心层glider支持天天4000万的查询请求，平均响应时间在28毫秒（6月1日数据），足以知足未来一段时间内的营业增加需求。

　　只管云云，整个系统中仍然存在许多不完善的地方。一个典型的例子莫过于各个分层之间使用短毗连模式的HTTP协议举行通讯。这样的计谋直接导致在流量岑岭期单机的TCP毗连数很是高。以是说，一个优秀的架构虽然能够在很大水平上降低开发和维护的成本，但它自身一定是随着数据量和流量的转变而不停转变的。我信赖，过不了几年，淘宝数据产物的手艺架构一定会是另外的样子。

　　其他文章摘要

　　【1】海量数据领域涵盖漫衍式数据库、漫衍式存储、数据实时盘算、漫衍式盘算等多个手艺偏向。

　　对于海量数据处置惩罚，从数据库层面来讲无非就是两点：1、压力怎样分摊，分摊的目的就是为了把集中式变为漫衍式。2、接纳多种的存储方案，针对差别的营业数据，差别的数据特点，接纳RDBMS或接纳KV Store，选择差别数据库软件，使用集中式或漫衍式存储，或者是其他的一些存储方案。

　　【2】将数据库举行拆分，包罗水平拆分和垂直拆分。

　　水平拆分主要解决两个问题：1、底层存储的无关性。2、通过线性的去增添机械，支持数据量以及会见请求包罗TPS（Transaction Per Second）、QPS（Query Per Second）的压力增加。其方式如把一张大数据表按一定的方式拆分到差别的数据库服务器上。

　　海量数据从集中式走向漫衍式，可能涉及跨多个IDC容灾备份特征。

　　【3】阿里巴巴的数据对差别地域数据的处置惩罚要领。

　　由三个产物亲近配合解决：是Erosa、Eromanga和Otter。

　　Erosa做MySQL（或其他数据库库）的Bin-Log时时剖析，剖析后放到Eromanga。Eromanga是增量数据的公布订阅的产物。Erosa发生了时时变换的数据公布到Eromanga。然后各个营业端（搜索引擎、数据堆栈或关联的营业方）通过订阅的方式，把时时变换的数据时时的通过Push或Pull的方式拉到其营业端，举行一些营业处置惩罚。而Otter就是跨IDC的数据同步，把数据能实时反映到差别的AA站。

　　数据同步可能会有冲突，暂时是以谁人站点数据为优先，好比说A机房的站点的数据是优先的，不管怎么样，它就笼罩到B的。

　　【4】对于缓存。

　　1、注重切分力度，凭据营业选择切分力度。把缓存力度划分的越细，缓存掷中率相对会越高。
　　2、确认缓存的有用生命周期。

　　【5】拆分计谋

　　1、按字段拆分（最细力度）。如把表的Company字段拆掉，就按COMPANY_ID来拆。

　　2、按表来拆，把一张表拆到MySQL，那张表拆到MySQL集群，更类似于垂直拆分。

　　3、按Schema拆分，Schema拆分跟应用相关的。如把某一模块服务的数据放到某一机群，另一模块服务的数据放到其他MySQL机群。但对外提供的整体服务是这些机群的整体组合，用Cobar来卖力协调处置惩罚。

　　Cobar类似于MySQL Proxy，剖析MySQL所有的协议，相当于可以把它看成MySQL Server来会见的。

 4/4   首页 上一页 2 3 4