基于HDFS的分布式存储策略区分

Longyuan Journal基于网络的HDFS分布式存储策略分析: 致于狄建宏来源: 《智能计算机与应用》 2016年01月摘要: 本文重点介绍HDFS机架感知和用于HDFS分布的副本存储策略分析类型存储. 副本存储策略和机架感知主要使用Datanode节点形成的树状网络拓扑来获取Namenode节点，从而确定副本存储的位置. 这种方法确保了数据的极高容错能力，同时还考虑了本地数据. 它提高了集群网络中数据传输的效率. 基于此，提出了一个假设. 希望通过深入挖掘副本存储策略，根据Datanode数据节点的实时状态信息，实现数据块副本的定向存储，进而实现数据驱动的任务分配. 分配给每个Datanode数据节点. 更合适的任务来实现负载平衡并提高资源利用率. 关键字: HDFS；分布式存储；复制存储策略；数据驱动的中文图书馆分类号: TP391.41文档标识号: A文章号: 2095-2163（2015）05-摘要: 本文重点介绍ReplicationTargetChooser和RackAwareness的策略来分析HDFS分布式存储. 为了实现ReplicationTargetChooser和Rack-Awareness的策略，HDFS形成了Datanode的网络拓扑树，主要是让Namenode节点确定复制位置，从而确保在考虑数据的同时具有极高的数据容错能力本地，以提高群集网络中数据传输的效率. 在此基础上，本文提出了一个想法，希望进一步了解ReplicationTargetChooser的策略，基于实时的状态信息Datanode节点来实现数据块的定向，将数据驱动的任务重新分配给Datanode的每个节点分配更适合于实现负载平衡效果并提高资源利用率的任务. 关键字: HDFS；分布式存储；复制策略；数据驱动0简介在21世纪，社会已经处于信息时代，它每天都在产生大量数据. 如何存储和利用这些海量数据已成为IT工作者，经常遇到且日益引起人们关注的热点研究问题.

但是，就存储空间，存储速度或数据存储安全性而言，传统文件系统无法满足当前的处理要求[1]. 直到近年来Hadoop的出现，才为该问题获得了突破性的解决方案. Hadoop提出了一种现实有效的解决方案，用于存储和处理海量数据. 因此hdfs分布式存储，Hadoop已受到Google，Yahoo和Amazon等知名IT公司的青睐. 诸如腾讯，阿里，百度，华为等一些国内公司已经将Hadoop视为企业处理海量数据的解决方案[2]. HDFS分布式文件系统是Hadoop的核心组件，也是解决，海量数据存储和利用的重要技术手段. 因此，深入了解HDFS分布式文件系统的存储策略对HDFS分布式文件系统的未来应用和改进具有重要意义. 1复制机制HDFS将每个文件的数据存储在块中，每个数据块存储多个副本. 特定数量的副本可以在hdfs-site.xml [3]的dfs.replication属性中配置. 相应的数据块副本分布在不同的机器节点上. 这种数据块存储+复制策略是HDFS确保可靠性和性能的关键，主要是因为: （1）将文件存储在块中之后，将根据数据块对其进行读取. ，提高文件随机读取的效率和并发读取的效率； （2）将数据块的多个副本保存到不同的机器节点上，在实现可靠性的同时，还提高了同时读取同一数据块的效率； （3）数据阻止与MapReduce中的任务分段的思想高度一致.

在这里，副本存储策略再次成为HDFS实现高可靠性和高性能的关键和决定性主题. 2机架感知HDFS使用称为机架感知的策略来提高数据可靠性，可用性和网络带宽利用率. 通过机架识别过程，Namenode可以确定每个Datanode所属的机架ID. 实际上，Namenode根据相关的ip地址以树状网络拓扑存储已注册的Datanode节点，然后Namenode调用ReplicationTargetChooser为每个数据块副本选择适当的存储节点. 但是hdfs分布式存储，Hadoop对机架的感知不是自适应的，也就是说，Hadoop集群可以区分哪个从机属于哪个机架而不是系统自觉的，但是需要Hadoop管理器人为地通知Hadoop哪个机器属于哪个机架

本文来自本站，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-287970-1.html