红亚科技大数据实验系统

产品详情

一、系统介绍

实验室方案按照数据挖掘、大数据平台与算法、行业实战数据分析三个层次来搭建。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练，从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实验体系。

实验系统的硬件环境包括学生实验的PC机以及服务器环境两个大的部分。学生PC机根据实验内容需要，可以运行不同的虚拟机环境以完成数据分析或者系统搭建实验。服务器环境包括实验数据存储，为各个实验提供原始分析数据。数据挖掘算法执行环境用于实现常见的数据挖掘算法，为学生提供数据挖掘展示实验结果以及基本的数据挖掘算法执行环境。Hadoop集群为学生提供大数据分析执行环境，包括基于HIVE的数据访问以及MapReduce程序执行。

实验体系按照从易到难分为四个层次，分别实现数据挖掘展示、算法实现、大数据分析以及真实行业数据分析。此部分实验内容可供不同专业以及要求的学生选择使用。

二、系统功能

（一）、系统的组成：

本实验系统采用B/S架构管理实验内容，整个实验平台采用集中化管理，项目实施方便，平台包括设备及软件清单如下：

1、管理控制设备：提供整个平台管理功能，包括实验管理、学生管理、设备管理、存储数量等；2、Hadoop集群，Hadoop集群将实验系统所有硬件资源整合为统一的Hadoop平台，实验任务通过主服务器提交至该平台运行，每15设计软件个学生配置1台。

3、学生实验台，为学生提供实验场景，提供虚拟化桌面，每20个学生配置1台；4、交换机1台，用于服务端接入实验室局域网使用；5、教师管理系统：为教师提供，管理实验使用；6、学生实践系统：提供各实验场景；

8、大数案件库：提供近TB级数据，类型包括旅游、交通、医疗、电子商务、网络安全、物理、农业等25套案例库；9、教材：包括管理手册，实验手册；

10、机柜：42U；

（二）、系统的功能：

实验室平台按照数据挖掘、大数据平台与算法、行业实战数据分析三个层次来搭建。通过典型的算法展示、算法实现结合大数据分析的应用场景与案例对学生进行数据分析方面的综合训练，从而实现专业实验教学的由点及面、理论到应用、涵盖原理验证/综合应用/自主设计及创新的多层次实验体系，以满足不同学校的实践需求。

三、实验内容

数据挖掘与大数据分析涉及到概率论与数理统计、算法与数据结构、程序语言开发、数据挖掘、计算机网络、并行计算等多门学科。本实验课程的内容涵盖了上述所涉及到的内容，并按照实验内容的复杂度分为初级、中级以及高级三个等级。同时实验课程也根据面向的专业不同，将实验内容分为了演示实验、一般操作性实验、开发性实验以及大数据开放实验等不同实现内容。这些内容的交叉组合可以实现针对不同专业与不同层次学生的实验课程设计。