海量结构化数据管理系统解决方案

数据库软件 问题形貌

现在，由于信息的爆炸式增加，基于漫衍式海量结构化数据的应用服务越来越多，其典型的应用包罗微博、即时通讯工具信息、手机短信及庞大系统日志等。这样的服务往往存在如下的特点： 

（1） 相对于其他结构化数据，其结构相对简朴；

（2） 数据天生速率很是快，每秒天生数万条甚至数十万条；

（3） 数据存量很是大，记载凌驾数万万条、上亿条，甚至数十亿条；

（4） 数据往往是“一次存储、多次应用”，对数据的读取和查询的实时性要求比力高。

　　对于这些应用服务，怎样有用地组织治理这些海量数据，从中找到有用的信息，实时监控系统中的主要信息，以及对这些信息举行数据挖掘、支持营业决议，已成为营业系统建设的迫切需求。然而，传统的关系型数据库从数据的存储容量和会见效率上，都难以知足要求，而使用漫衍式数据库手艺则够很好的知足这些信息的存储和高效使用。
 解决方案

上述手艺架构中各模块功效划分为：

(1) 数据接口层

数据接口层为应用系统提供数据导入、导出和数据剖析的功效。数据接口层可部署在多个节点上，使用多个数据导入通道，制止短时间大规模数据在系统吞吐量方面的瓶颈。

(2) 数据总线系统

友友系统数流控制系统（BitsFlow）用于实现整个系统中各个组件及节点间的信息交流，并保证信息的可靠性、实时性和一致性。该总线系统支持行列、公布/订阅、群组通讯等模式，支持了各服务器、存储器节点以及服务器端和客户端之间高容错、高性能的数据传输，是整个系统举行数据交流的基础架构。数据总线系统的性能对整个漫衍式数据库系统的性能有着主要影响。

(3) 漫衍式数据库存储系统

漫衍式数据库存储系统（DataCell）是整个存储系统的焦点模块，其特点是高性能、高容量、高可靠，使用简练的数据模子和可不停扩展的漫衍式存储资源，建设起海量结构化数据的存储和治理平台。DataCell包罗多个存储子节点，各个节点的存储资源（内存和磁盘）统一组织身分布式数据库存储系统。其中内存部门连结成高速缓存系统，从而大大提高并发搜索响应速率；磁盘空间连结成持久化数据库系统，主要软件开发

用于存储海量数据。

系统中存入的数据是数据接口层通过数据总线，凭据预先设定的数据剖析规则发送过来的。另外，系统在集群节点间实现了负载平衡机制，可以匀称使用各节点的存储空间和网络带宽，以及将并发的数据查询请求分发到多个响应节点举行处置惩罚。

DataCell是一个完全无中央节点的漫衍式系统，所有的数据都有多份拷贝，确保没有单点失效和服务器故障导致的数据损失，具有高可用、高可靠的特点。另外，相比以文件形式存储的数据，漫衍式数据库存储的数据不易窃取和窜改，越发宁静可靠。 

(4) 系统监控治理

使用智维平台提供一个可视化的系统监控治理界面工具。通过该工具，可以使用浏览器来清晰地相识到整个系统的部署状态、各节点及在其上运行服务的属性及状态，并以图形化的方式把相关的历史信息和实时的性能数据出现出来。同时，若有异常情形泛起，可以凭据预先设定的方式实时发出警报。另外，还可以通过该工具随时随地对整个系统或某些节点及其上面的服务举行调整或重新部署，自行设定系统内各部门的关联关系，实时对整个系统举行有用控制，并同时监控整个系统和各个节点的存储容量和I/O速率，从而实现全方位的远程实时作业。

(5) 数据在线查询统计

系统提供一个对于数据举行在线实时查询统计的界面，可以凭据营业需求，对数据天生时间、用户、内容等字段举行查询统计，实时返回查询效果。
 

方案价值

•通过构建漫衍式数据库系统，极大提高应用服务数据存储、会见和查询的效率。

•漫衍式数据库系统能够实现在线无缝扩容，知足连续高速增加的数据存储需求。

•异步多通道举行数据记载和处置惩罚，极大减轻数据治理系统给整个营业系统带来的肩负。

 1/2    1 2 下一页 尾页