分布式存储系统中海量文件的随机访问技术研究

【摘要】: 随着网络和信息技术的飞速发展，各种领域的各种Internet应用，电子商务平台，可穿戴设备乃至科学研究和监控设备都产生了大量的数据信息，我们已经进入大数据时代. 面对海量数据存储和处理的需求，分布式存储技术已经被提出并被广泛使用. 分布式文件系统是分布式存储系统的重要分支，主要用于处理海量文件的随机访问问题. 本文首先研究了分布式存储系统的研究背景和发展状况，并回顾了几种典型的分布式文件系统. 其次，本文分析了具有单节点元数据服务器体系结构的分布式文件系统的特征. 为了解决存储海量文件的问题，提出了一种基于微子树的元数据管理方法. 该方法将完整的目录树划分为多个微子树，并将微子树分布到元数据服务器集群中，从而实现了元数据管理从元数据服务器到元数据服务器集群的扩展. 另外，添加了子树管理服务器来管理子树. 该方法有效地提高了元数据的存储容量和分布式文件系统的并发访问性能. 第三，基于微子树拆分的分布式文件系统具有与基于子树拆分策略的分布式文件系统相同的缺陷，即需要根据完整路径逐步查询文件元数据. 针对这一问题，本文提出了一种微树元数据分类缓存机制. 实验结果表明，该元数据缓存机制可以在一定程度上提高元数据的操作速度. 最后，根据链式复制同步的特点，详细分析文件写入操作的每个步骤分布式文件存储技术，并充分优化了文件写入的每个步骤，以加快写入小文件的响应速度. 实验证明分布式文件存储技术，链拷贝同步下的小文件写加速方法可以优化写操作流程，减少系统响应时间，提高系统吞吐量.

本文来自本站，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-284003-1.html