云海Insight大数据解决方案

摘要：

云海Insight提供Hadoop、Spark、MPP等多种主流架构数据套件，搭建海量异构数据集成、高效存储、多场景盘算和剖析挖掘的综合大数据平台，知足多种数据类型（结构化、半结构化、非结构化数据）和多种盘算场景（离线、近线、实时）的差别需求，助力客户实现传统工业数字化、智能化，做大做强数字经济，为工业转型升级提供新动力。

配景先容：

据 IDC 展望，全球大数据市场规模有望在 2017 年达 530 亿美元，并在未来几年内依然保持30%以上的年复合增加率。中国市场大数据研究虽然起步较晚，可是近几年来在国家政策指引下，市场需求处于发作期，生长迅速。

从细分工业来看，各大工业对大数据的呼声越来越高，希望加速传统工业数字化、智能化，做大做强数字经济，为工业转型升级提供新动力。大数据需求兴旺，在金融、电信、政务、医疗、能源等行业已经起步，并逐步向其他行业扩展。

然而，由于大数据相关手艺更新速率快、手艺门槛高，多数传统工业在这方面积累不足，大数据转型历程中仅依赖自身气力难题重重，而且成本高昂。因此，希望有相关厂商提供成熟的大数据产物和一体化的解决方案。

解决方案先容：

由于数据的多源异构、数据量大以及种种营业处置惩罚时间的纷歧致性，给大数据处置惩罚带来了庞大挑战，仅靠单一的大数据处置惩罚手艺无法知足大数据处置惩罚需求。大数据平台项目的建设，应接纳当前主流的手艺架构系统；手艺工具自主可控，成熟先进；能支持三到五年内各种实时、近线、离线数据盘算场景；随着营业和数据规模的增添，通太过布式架构可水平扩充盘算装备和存储装备，实现资源的水平扩展。

由大数据处置惩罚平台总体架构可以看出，其应具备完整的大数据收罗、整合、存储、处置惩罚、剖析、展现和治理能力。

大数据平台建设

数据集成

平台提供统一的数据总线，在传统ETL基础上增添对非结构化数据、流数据、互联网数据的支持，通过实时数据预处置惩罚或单独的批量数据离线处置惩罚剧本，协同完成数据洗濯、去重、打标签、索引化、分发等大数据管控和治理系统建设。

对于结构化数据，从手艺实现上通过ETL工具举行数据抽取。ETL工具基于业界主流的ETL产物Kettle来实现，支持Oracle、DB2、SqlServer、MySQL等主流关系数据库之间以及到Hadoop的数据抽取。

对于非结构化数据，特殊是互联网相关的网页、图片、视音频文件等，主要通太过布式网络爬虫举行获取。该工具可实现数据收罗、抽取、预处置惩罚、使命优先级、使命监控的天真界说。通过与后端的智能化语义处置惩罚模块协作，可实现高效的互联网数据价值挖掘。

数据存储

在数据存储层面，传统数据存储方式在海量数据场景下，存储容量和读取性能方面都泛起了显着的毛病。数据通过差别渠道收罗集成到平台之后，平台凭据数据的使用方式等接纳差别的漫衍式存储手艺举行存储，使得整个数据情况具备高度的伸缩性和扩展性，知足未来快速增加的数据规模，并充实保证数据存储方式的合理性及未来软硬件的扩展能力。除了原来的关系型数据库外，大数据平台还提供如下几种存储方式：

基于HDFS漫衍式文件系统，将数据的会见和存储漫衍在大量服务器之中，在可靠的多备份存储的同时还能将会见漫衍在集群中的各个服务器之上，通太过布式存储实现数据的冗余备份，并提升大数据的会见存取性能，高效低成当地应对海量非结构化数据和不需要关联剖析、Ad-hoc查询较少的低价值密度结构化数据的存储和处置惩罚事情。

KV列式数据存储，针对结构化数据，接纳与传统数据库类似的设计模子，支持数字、字符串、二进制和布尔值等多种数据类型；针对半结构化数据，则允许开发者自界说数据模子，提供多种数据会见方式，助力高性能应用程序的开发。

MPP数据存储，针对海量数据提供无共享的漫衍式、并行处置惩罚架构，应对海量结构化数据的剖析挖掘场景。

内存数据存储，基于所有数据都在内存中的系统结构，在数据缓存、快速算法、并行操作方面举行了响应的革新，数据处置惩罚速率比传统数据库的数据处置惩罚速率提升许多，可以有用解决数据会见延时的问题。

数据盘算

集成富厚的盘算框架

 1/2    1 2 下一页 尾页