易瑞网络归档平台系统

其他建站系统/工具

WAP是采用网络Spider技术、调度与负载均衡技术、并行调度与队列管理、元数据仓储技术、海量数据存储与分布式存储技术、并行检索与分布式检索技术、文本挖掘与分类、聚合技术等成熟的信息技术作为应用核心，实现对网络资源的保存、归档和网上服务。

系统架构

功能特点
     1、采集管理
     基于用户设定的互联网对象，根据用户创建的任务，从互联网爬取对应的资源、重写URL并进行存储。
     编目管理 
     爬虫分布式管理 
     任务多机并行爬取 
     资源增量采集、断点续抓 
     爬虫任务统计，任务进度监控管理
     2、存储管理
     基于长期保存标准与规范，采用数据库与文件目录的形式，存储爬取资源。
     支持异构数据库存储 
     支持分布式并行存储 
     支持“接插式”存储与管理 
     支持数据库与文件目录相结合存储
     支持网络存储和定期自动备份
     支持存储节点容灾
     支持hadoop海量存储
     3、发布管理
     网络归档平台内的资源可以通过对象目录、时间目录、主题目录等形式展现存储的互联网信息，并对各对象进行原版原貌展现。
     站点全文检索 
     多种目录形式资源导航 
     灵活自定义专题
     对象原版原貌展现
     4、平台管理
     功能使管理员可以在后台对用户权限、采集任务、数据库存储分配、采集主题等信息灵活的进行配置与管理。
     5、体系结构
     可伸缩式三层架构：系统支持信息采集、存储、展现可伸缩式三层架构，信息采集和存储层支持热插拔。
    
适用单位
     图情机构
     政府机关事业单位 
     企业单位 
部署环境
     服务器：CPU主频≥2.0G，内存&am沈阳小程序制作

p;ge;
2GB，磁盘安装空间≥1G；支持分布式部署；
     操作系统：Windows、Linux、Unix 
     数据库：Mysql、Oracle、MS SQL Server、DB2等