高普数据存储快速查询系统软件V2.0

虚拟化软件

高普详单压缩 查询系统HitopDB简介
1 数据压缩必要性
1.1 数据库数据增长说带 来的问题
目前各行业数据量都在剧增，以电信业为例 

 

    详单数据平均每年将增加10%，在未来几年内需要保存的数据APP软件开发

增长为原来的几 十倍以上！    当详单数据增加率达到125%，数据需要增加很大的投入，同时系统的压力也 会大大的增加，这样的系统如果维持原来的规模，那么系统将会面临崩溃的危险，所以系统如果要是保 持持续的稳定和安全，那么系统必须要做大规模的扩容和系统的投入，那么系统的建设投入将会成倍增 加。
 1.2 数据增长带来的压力当硬件磁盘低廉，不断地增加磁盘的容量！系统磁盘容量不断地增加，并非只是数据的增加和延伸，所造成的行政成本成几何级数延伸！ 
 1.3数据增加的解决方案数据库的数据容量在很短的时间内不断增加！Hitop数据解决方案：数据压缩比：1:10-1:15,整个数据库的数据容量增长非常小。 
2 产品概述
2.1设计概况
•HitopDB是高普科技自主研发、具有独立 知识产权的多用户、多线程数据库。
•HitopDB主要目标是高压缩比、快速、健壮和易用。 
•HitopDB建立的基础是已在高要求的生产环境中应用多年的一套实用例程。
2.2 基本特性 
•数据压缩比高——1：10-1：15；
•通用性高，支持多平台；
•符合ANSI SQL92标准；
• 完善的客户端访问
•支持使用ODBC、JDBC连接服务器。
•高速查询数据库。 
 3 产品特点
1 数据类型
多种列类型：1、2、3、4和 8字节长度的有符号/无符号整数、FLOAT、DOUBLE、CHAR、VARCHAR、TEXT、BLOB、DATE、TIME、 DATETIME、TI沈阳软件开发TAMP、YEAR、SET和ENUM类型。
2 磁盘空间效率
可创建 占据很小空间的表。一个有用的HitopDB数据类型的例子是MEDIUMINT，它是3个字节长。如果你有 100,000,000个记录，每个记录节省甚至一个字节也是很重要的。
3 压缩算法 
HitopDB数据库采用独特压缩算法，数据压缩比高达1：10 - 1：15
4 通用性
•查询SELECT和WHILE部分支持全部运算符和函数；
•全面 支持SQL的GROUP BY和ORDER BY子句，支持聚合函数COUNT()、COUNT(DISTINCT)、AVG()、STD()、SUM() 、MAX()和MIN()；
•全面支持SQL的DELETE、INSERT和UPDATE；
•每张表最大支持16个索引。每个 索引长度可以由1~16个列或列的一部分组成。最大索引长度是256字节。索引可以使用一个CHAR或 VARCHAR字段的前缀；
•采用C/C++编写，在多种平台下编译；
•客户端使用TCP/IP连接或UNIX套 接字（socket）或NT下的命名管道连接。
5、具备索引压缩的快速B树磁盘表
6、数据存储采 用定长和变长记录
7、数据库支持管理高达60,000张表和5,000,000,000条记录
 4 数据压缩/恢复
1.压缩技术必须符合国际压缩标准：
近期数据（六个 月内的历史数据）压缩比不低于1:10 ；二十个月前的历史数据压缩比不低于1:15；
2.压缩数据可以 通过减压缩工具无损恢复；
3.压缩数据库可以通过工具恢复到Oracle数据库中；
4.压缩过程可 以实现多进程（或线程）进行并行操作；
5.压缩处理根据迁移出来的数据任务，自动生成压缩任务 ，实现后台自动压缩；
6.压缩前后数据需要有统一的稽核平台，检查压缩前后数据正确性和压缩比 ；
 5 数据快速查询
后台查询服务提供集群 方式，能够进行负载平衡；
查询终端数量为： 400个营业厅（各地市）
每天通过统一接口数量 ：20000 （笔），总接口：47600 ,占比例：42%；
每天高峰期：5600（一小时内）；
设计数量 为：营业厅 400， 高峰统一接口查询10000/小时
并发量为： 500
 6 产品性能

 1/2    1 2 下一页 尾页