试论热点副本创建访问趋势的策略电子论文范文论文

【软件开发论文栏目提醒】：本文主要为网学会员提供“试论热门副本建立会见趋势的计谋电子论文范文论文”，希望对需要试论热门副本建立会见趋势的计谋电子论文范文论文网友有所资助，学习一下!

 　　摘要：在剖析动态副本建立计谋的基础上，对集中式的动态建立计谋举行革新，将热门数据副本的建立与数据会见的历史记载相联合。最后通过数据网格模拟器举行模拟实验，得出并剖析了实验效果。

　　要害词：数据网格,副本优化,热门副本

　　在现代科学研究和应用领域中，大量的数据是主要的资源，如高能物理和粒子物理、生物医学研究、航空航天、数字地球、大型武器模拟、大型数据库和数据堆栈等的应用。其数据量将到达TB至PB的级别。同时，地理上普遍漫衍的科研事情者和用户都希望能会见和剖析这些重大的数据，而现有的数据治理系统结构、要领和手艺已经不能知足人们对高性能、大容量漫衍存储和漫衍处置惩罚的要求。因此，数据网格应运而生，以解决上述应用面临的问题。

　　数据网格盘算机为种种应用提供了一个高性能、大容量、高速传输的并行漫衍广域盘算平台。它是对广域规模内大规模的数据集举行漫衍式治理和剖析及使用的一个综合的系统结构，实现网格情况中宁静、可靠和有用的数据传输以及会见、复制等操作，并提供到差别存储系统的统一接口，较好地解决了上述问题， 从而使得数据麋集型的高性能盘算和大量的共享数据麋集型的事务处置惩罚及科学研究成为可能。

　　在数据网格情况下，通过数据的复制使数据更靠近用户，可以更快执行用户提交的作业，在更短的时间内会见作业所需的数据文件，以快速提高数据会见性能。作业通过资源署理(RB)提交给网格。RB将作业调理到差别的盘算单元(CE)，以提高网格的吞吐量。副本治理器在每个站点治理站点与站点、存储单元与盘算单元接口间的数据流。副本优化器卖力副本的选设计软件择、动态天生和删除。在副本优化服务执行历程中，网络性能和磁盘I/O也是影响作业调理和副本选择的主要因素。优化算法应通过检查盘算单元和各个存储单元之间的可用带宽和存储单元的磁盘I/O来从差别的存储节点获得最优的副本。讲明在网格情况下，磁盘吞吐时间能占用30%的传输时间。因此在盘算数据传输时间时，应思量网络带宽和磁盘吞吐率。这样的优化计谋可以越发靠近真实的数据网格系统。

　　本文在有限的网络带宽和磁盘吞吐能力的情形下，凭据不停转变的外部会见特征和副本会见历史记载来对副本举行优化，从而使得用户可以就近会见。整个数据网格系统到达一个负载平衡的状态。

　　1相关事情

　　在用户提交作业到作业完成这个历程中，副本治理器对作业的生命周期举行三处优化：

　　a)资源署理(RB)决议作业在哪个盘算单元上运行,即调理的优化。通过盘算一个价格函数来实现：

　　Cost=getAccessCost()+estimatedQueuingTime()。作业总的执行是作业会见文件时间和作业排队时间之和。其中作业会见数据文件时间包罗数据文件读取时间、网络带宽延迟时间和磁盘I/O时间。本文中的作业调理流程如图1所示。

　　b) 作业运行中的动态副本选择。一旦作业在盘算单元(CE)上运行，它需要会见差别的数据文件。由于一个数据文件在各个网格站点上可能存在多个副本，当一个作业需要会见某个数据文件时，副本优化器(RO)通过挪用函数getBestFile()来找到最优的文件副本。

　　c)动态副本优化，即触发在第三方站点上复制数据文件。每个站点对所请求的数据文件举行监控和记载。当特定的数据文件成为热门数据时，则可以思量将该文件复制到最有可能被会见到的第三方站点。本文通过数据文件的前N次会见历史记载来判断该数据文件是否可成为热门副本，并通过一定的算法对其举行复制。

　　本文在使用OptorSim模拟器的基础上对副本治理器的三处优化举行革新。OptorSim通过模拟(欧洲)数据网格中各个自力部件之间的交互作用，从而到达评估差别的数据治理计谋——副本优化算法性能的目的。它以EDG的结构为基础，包罗了所有必须的部件，可是重点是在数据治理的副本机制上。使用OptorSim模拟器可以用数据复制与作业调理算法相联合的手段来对差别的

 1/2    1 2 下一页 尾页