华数大数据平台解决方案

BI商业智能 大数据 熟食 饲料

第1章华数大数据剖析平台方案先容

1.1华数大数据平台总体架构

1.1.1华数大数据平台应用架构

应用架构图

基于华数多年来的开发履历，并借鉴行业大数据剖析平台的实行、治理和应用方面的乐成履历，联合禾丰牧业现实信息化情形，我们将禾丰大数据平台现实为三层架构，其中：

l基础数据源层：现在禾丰牧业所应用的数据主要泉源于营业系统（EAS）与平面文本文件（Excel）两种类型，联合未来信息化的生长，音频数据和视频数据等越来越富厚的数据类型也将陆续纳入到我们的大数据平台系统之中，因此为保证我们的大数据平台的先进性，要能支持多种类型的数据源；l大数据处置惩罚层：由于数据源类型的多样性，传统关系型数据堆栈架构或者漫衍式存储架构各有优弱点，单独使用都无法很好的知足对结构化和非结构化数据的存储和应用需求，因此我们建议接纳传统数据堆栈架构与大数据漫衍式数据堆栈架构两者相联合的架构设计，两者精密配合配合负担大数据处置惩罚使命，为大数据应用提供数据接口、数据交流、数据查询、数据剖析和数据挖掘提供数据基础；l大数据应用层：随着信息化的生长，对大数据的应用方式也越来越多，大数据剖析平台应用层需要知足诸如：牢固报表、OLAP剖析、KPI剖析、指标监控、即席查询（自助式剖析）、决议支持、邮件推送、office集成、移动BI、预警展望（数据挖掘）等多种展现方式。

1.1.2禾丰大数据平台手艺架构

手艺架构图

凭据我们实行建设大数据剖析平台多年的履历，联合禾丰牧业三层式数剖析平台系统构架，通过数据收罗(包罗数据源)、信息存储与治理（数据堆栈和Hadoop）和信息共享三部门手艺来实现。 l数据收罗：

1)结构化数据收罗：禾丰牧业现有的数据主要来自于EAS系统、青软系统、电商平台和文本文件都属于结构化数据，大数据剖析平台接纳ETL工具-kettle作为收罗结构化数据的手段。ETL(Extract, Transform, Load)是建设大数据剖析平台的主要组成部门，它将大数据剖析平台中所需的数据按数据堆栈建设的要领天天或定期从各个营业系统中收罗详尽的营业数据，并凭据各自的需求举行数据调整，数据迁徙历程中需将原始数据举行抽取、洗濯、合并和装载。在此历程中必须保证数据的完整性和数据的一致性。当营业数据量过大，未制止Mysql数据堆栈压力过大，亦可将营业数据通过kettle迁徙到hadoop平台的数据库Hbase中。

2)非结构化数据收罗：随着禾丰牧业信息化建设的生长，未来电话集会、视频集会、影音文件、微博实时数据、传感器收罗的装备数据、移动端网络的数据以及其他流数据等非结构化数据，我们将通过传感器接口、视频接入装备、网络爬虫工具和流处置惩罚程序等方式划分举行收罗并存储到HDFS和Hbase中。l大数据存储和治理：

1)结构化数据存储和治理：为利便其治理和知足未来展现的性能要求，我们选择以关系型数据库MySQL和hadoop的HBase数据库配合负担对结构化的数据的存储和治理。以MySQL建设传统数据堆栈来实现对用于结构化数据和元数据的集中存储与治理，并凭据需求建设面向部门和主题的数据集市，中央数据堆栈将被划分为三个逻辑存储区间： ODS(Operational Data Store)、DW(Data Warehourse)、DM(Data Mart)：ODS将存放各营业系统的原始数据，包罗与原结构相同的营业数据以及经由开端整理后的营业数据；DW区域存放经由整理过的数据，是大数据剖析平台真正的数据中央；DM区域存放各个应用系统（web应用、BI、OLAP、Data Mining等）所需的综合数据。与此同时我们在MySQL和HBase数据库之间建设毗连，使用Kettle准时举行数据交流，俩种数据堆栈配合大数据应用提供数据支持，从而实现数据共享，分摊压力和数据备份的目的。

2)非结构化数据存储和治理：由于Mysql不支持对非结构化数据的存储，我们使用大数据应用框架Hadoop平台的数据堆栈作为传统数据堆栈的增补，实现对非结构化数据的存储和治理，并对来自网络的海量数据查询提供支持。Hadoop平台集中了许多功效组件，其中HDFS是漫衍式文件系统，用于漫衍式存储大数据文件；Hbase是可扩展的漫衍式列存储NoSQL数据库，用于存储结构化和非结构化数据；Hive是基于Hadoop的数据堆栈工具，可以存储、查询和剖析存储在HBase中的数据；Mapreduce是用于对Hadoop平台大规模数据集举行并行查询的编程模子；Pig 是一个高级历程语言，适合于使用 Hadoop 和 MapReduce 平台来查询大型半结构化数据集。l应用与剖析：大数据剖析平台为知足差别用户的需求，需要提供多种差别的应用与剖析方式，大数据剖析平台提供三种应用方式。第一种：支持使用java或C等开发语言编写程序实现对Hadoop平台和MySQL数据堆栈中数据的应用；第二种：我们选用强盛的商务智能软件IBM-Cognos作为信息共享工具。Cognos作为多样化的前端剖析展示工具，支持建设DMR和OLAP两种模子，提供了在线沈阳软件公司

 1/2    1 2 下一页 尾页