乐思网络信息中心系统

       

图2：乐思网络信息中心系统架构

乐思网络信息中心系统的网络拓扑结构如下图所示，依据需要也可以分开在隔离的外网与内网中实施。

           

图3：网络拓扑结构

四、 自动采集子系统功能描述

自动采集子系统可以对任意目标网站进行自动采集。
采集的信息既可以是文本型信息（如文章，微博），也可以是数字型信息（如价格，统计数据），还可以是文件型信息（如Word, Excel, PDF文件）。用户可以通过Web界面自行配置对文本型信息的采集，也可以通过软件向导界面配制对于数字型信息的采集。由于采用了全球领先的乐思网络信息采集系统，可以对任意网站上数据进行采集与整合。数据源的发现管理工作由用户完成。
自动采集子系统的全方位监测功能如下图所示：

               

图4：自动采集子系统全方位监测

自动采集子系统具有以下几个显著特点：

1. 全球领先的自动采集功能
乐思软件的网络信息采集技术全球领先，支持对任意网页内任意数据的精确采集。乐思软件每天都为国内外用户针对各种各样的网站提供采集服务，没有高效稳定的采集平台是无法做到的。
2. 支持各种监测对象
可以实时监测新闻，论坛，博客，公共聊天室，搜索引擎，留言板，应用程序，报刊网站电子版等。
3. 无需配置直接监测几千个新闻网站
系统内置对全球范围内网站的监测配置，只需输入关键词，自动采集出文章标题与正文。
4. 强大的多语言统一处理功能26禁止9盗用0
可自动处理并保存中文，英文，法文，德文，日语，韩语，维文，阿拉伯语等多种语言。
5. 智能文章提取
对于文章类型网页，可以无需配置，直接自动提取文章正文与标题，以及作者发布日期等，自动去除广告，栏目，版权等无关的垃圾内容
6. 完美支持各种网页情况
支持当前流行的Web 2.0 AJAX动态网站
支持用户名与密码自动登录
支持表单查询
支持下一页自动浏览功能
支持多页面文章内容自动抽取与合并
可以自动下载正文内图片以及各类附件
可以选择保存原文快照以备查
支持多种互联网协议： HT沈阳软件设计

TP、HTTPS、以及FTP
支持多种网络文件格式：HTML/XML/CSV/TEXT/RSS/ATOM
…
您知道吗？--我们的系统所提供的各种特性组合起来可以处理成千上万种网页或数据的不同情况
7. 自动去重功能
每次采集时，对于同一个URL，仅采集最新的没有采集过的文章内容或回复，对于已经采集过的内容，自动忽略。对于转载文章，可以选择自动去重。
8. 内置各种后期数据处理功能
数据从网页上获取后，可进一步精加工为各种更细粒度的字段数据或者合并整合，替换统计等。 例如关键词抽取，街道地址抽取，省市名称抽取，邮编抽取，电话号码抽取，传真号码抽取，电子邮件地址抽取，QQ/MSN/Skype抽取，URL抽取等。26禁止9盗用0
9. 可无人值守全天候自动采集
可定时运行，也可7×24小时运行，可设置采集时间间隔最短为1分钟。
10. 用户可以自行添加目标网站
利用系统提供的采集平台，用户可以很容易地对目标网站进行可视化分析，填入配置参数，加入调度过程，从而可以任意修改，增加，移除目标网站。
五、 内容分析子系统功能描述
内容分析子系统抽取出内容的元信息，基于用户的关键词设置，对内容进行实时地自动分类自动聚类。
乐思研发的超高速关键词提取技术，在3万字的文章中查找1万个关键词的出现次数， 不超过6.9毫秒。
六、 界面呈现子系统功能描述
采集后的信息，对于文本型信息通过列表形式查看，对于数字型信息通过用户自定义的格式查看。
界面呈现子系统让各个数据来源的最新信息分门别类实时呈现在用户的桌面浏览器中。其功能架构如下。

 2/3   首页 上一页 1 2 3 下一页 尾页