加载中 ...
非结构化数据存储系统
上述方法是对通过对ADS上运行的目标应用认真考虑的结果。如果不采用客户端缓存,由于网络速度和网络堵塞会对吞估量造成比较大的影响。
3、流水线复制
当某个客户端向ADS文件写数据的时候,一开始是写入本地临时文件,假设该文件的重点节点数设置为3,那么客户端会从ADSMasterNode 获取一张ADSSlaveNode列表来存放副本。然后客户端开始向第一个ADSSlaveNode传输数据,第一个ADSSlaveNode一小部分一小部分(4kb)地接收数据,将每个部分写入本地仓库,并且同时传输该部分到第二个ADSSlaveNode节点。第二个ADSSlaveNode也是这样,边收边传,一小部分一小部分地收,存储在本地仓库,同时传给第三个ADSSlaveNode,第三个ADSSlaveNode就仅仅是接收并存储了。这就是流水线式的复制。
九、可访问性
ADS给应用提供了多种访问方式,可以通过ADSShell通过命令行与ADS数据进行交互,可以通过java API调用,也可以通过C语言的封装API访问,并且提供了浏览器访问的方式。具体使用参考文档。
十、空间的回收
1、文件的删除和恢复
用户或者应用删除某个文件,这个文件并没有立刻从ADS中删除。相反,ADS将这个文件重命名,并转移到/ADSRecycle目录。当文件还在/ADSRecycle目录时,该文件可以被迅速地恢复。文件在/ADSRecycle中保存的时间是可配置的,当超过这个时间,ADSMasterNode就会将该文件从命名空间中删除。文件的删除,也将释放关联该文件的数据块。注意到,在文件被用户删除和ADS空闲空间的增加之间会有一个等待时间延迟。
当被删除的文件还保留在/ADSRecycle目录中的时候,如果用户想恢复这个文件,可以检索浏览/ADSRecycle目录并检索该文件。/ADSRecycle目录仅仅保存被删除文件的最近一次拷贝。/ADSRecycle目录与其他文件目录没有什么不同,除了一点:ADS在该目录上应用了一个特殊的策略来自动删除文件,目前的默认策略是删除保留超过12小时的文件,这个策略以后会定义成可配置的接口。
2、重点节点数的减小
当某个文件的重点节点数减小,ADSMasterNode会选择要删除的过剩的副本。下次心跳检测就将该信息传递给ADSSlaveNode, ADSSlaveNode就会移除相应的block并释放空间,同样,在调用set备份结点方法和集群中的空闲空间增加之间会有一个时间延迟。
“沈阳软件公司”的新闻页面文章、图片、音频、视频等稿件均为自媒体人、第三方机构发布或转载。如稿件涉及版权等问题,请与
我们联系删除或处理,客服QQ:55506560,稿件内容仅为传递更多信息之目的,不代表本网观点,亦不代表本网站赞同
其观点或证实其内容的真实性。
热门文章
分享到微信朋友圈
×
打开微信,点击底部的“发现”,
使用“扫一扫”即可将网页分享至朋友圈。
使用“扫一扫”即可将网页分享至朋友圈。