分布式文件存储查询系统

IS/DFS-Image分布式文件存储查询系统以其高可靠性、高可扩展性以及高性能和高性价比成为高性能计算平台存储系统的首选，已经在军事技术、天气预报等环境中得到广泛应用。相比其它文件系统，它具有两个特点：一是通过数据的分布存储，来提供更大的存储空间，并利用并行的I/O服务模式提供更高的I/O带宽；二是通过使用各种新颖的分布式存储体系结构，来为应用程序提供更丰富的I/O模式。比如通过使用对象存储技术，为应用程序提供面向对象的数据存储格式，并提供Peta级大小的存储空间。随着企业非结构化数据的日益增长，企业的图片文件等数据肯定会越来越多，如何解决这些文件存储也成了新的难题。如果把这些文件都完全采用大硬盘存储来解决，并不是一个好主意，因为数据量越大风险就越高，虽然文件能存得下，但是故障率相应会较高，另外重建耗费时间也比较长。所以最好的办法是尽可能考虑分布式存储，把文件想办法利用网络分散到多个机器上。基于企业这些需求我们研发了自己的IS/DFS-Image分布式文件存储查询系统。
　　IS/DFS-Image分布式文件存储查询系统是一个轻量级的分布式文件系统，支持Linux、UNIX系统。ImDFS主要解决了对海量小文件的存储和高并发访问的问题，文件存取时实现了负载均衡和互备。ImDFS使用廉价的PC硬盘进行存储，它支持存储服务器在线扩容，支持分布式文件系统的备份恢复机制。
　　IS/DFS-Image分布式文件存储查询系统适合大中型网站、呼叫中心、证券、金融、保险等行业，用来存储图片、音频、视频、文档文件等等。 

系统架构－架构图： 

 系统架构—文件访问流畅 

    IS/DFS-Image分布式文件存储查询系统检索文件不需要索引服务器，通过文件ID即可知道文件存放的具体位置，并发访问速度快高效。 

    上传文件时，文件ID由存储服务器生成并返回给客户端,文件ID包含了存储服务器组名和文件名，存储服务器可以直接根据该文件ID反解析出文件创建时间和上传的存储服务器IP地址从而定位到文件存放位置。

系统架构－上传文件流程图:

 系统架构－下载文件流程图 

系统架构－相关术语  

       Tracker Server：跟踪服务器，主要做调度工作，在访问上起负载均衡的作用。记录存储服务器的状态，是连接客户端和存储服务器的枢纽，tracker server可以配置成多台，可以避免tracker server单点故障。 

    Storage Server：存储服务器，文件和metadata都保存到存储服务器上。 

    Storage group：存储组，同组内服务器上的文件是完全相同的,文件在组里的所有storage server是互备关系，一个组有两台storage server，即可做到互备。一个组当然也可以有3台甚至更多，这个设计跟hadoop设计相同。 

    文件ID：包括两部分：组名和文件名（包含路径） 

    metadata：文件相关属性，键值对（Key Value Pair）方式，可以设定图像属性。

ImDFS特性 

  u 文件不分块存储，上传的文件和OS文件系统中的文件一一对应。 

  u 支持相同内容的文件只保存一份，节约磁盘空间。 

  u 下载文件支持HTTP协议，可以使用ImDFS内置Web Server或其他Web Server进行下载 

  u 支持在线扩容 

  u 存储服务器上可以保存文件属性（meta-data） 

  u 网络通信采用libevent，支持大并发访问，整体性能更好 

  u 磁盘IO由专门的线程处理，系统负载和连接数之间不存在线性关系，系统负载基本上不受连接数影响

存储组自动异常修复 

    采用binlog文件记录文件上传、删除等操作，根据binlog进行文件同步。binlog中只记录文件名，不记录文件内容。存储服务器生成的文件名中，包含源头存储服务器IP地址和文件创建时间戳。源头存储服务器定时向跟踪服务器报告同步情况，包括向目标服务器同步到的文件时间戳。跟踪服务器收到存储服务器的同步报告后，找出该组内每台存储服务器被同步到的时间戳（取最小值），作为存储服务器属性保存到跟踪服务器内存中。

 1/2    1 2 下一页 尾页