HDFS整理出每个模块的技巧与关系

·1. HDFS是Hadoop分布式文件系统的组件: Hadoop分布式文件系统，它存储非常大的数据文件，并为整个Hadoop生态系统提供基本的存储服务.

首先，技术细节

1. 用于管理的节点称为NameNode

2. 用于存储的节点称为DataNode

3. 元数据: 用于存储NameNode以查找DataNode信息

存储的信息:

a. 与文件相对应的文件块

b. 每个文件块对应的节点位置

c. 每个文件块都对应于其复制位置

d. 例如:

/test/a.log,3，{b1，b2}，[{b1: [h0，h1，h3]}，{b2: [h0，h2，h4]}]]，表示存储的文件是存储在/ test目录中的.log，默认副本数为3，剪切2块

4. 将存储的数据切成块hdfs有哪些功能模块，每个块称为一个块，然后将每个块存储在某个DataNode上

5. 每个块的默认大小为128M（hadoop2.0）； hadoop1.0的默认大小为64M.

6.HDFS将备份文件块，并且该备份称为副本-复制

7. HDFS中的副本数默认为三（文件块在HDFS中具有三副本）. 上传文件后，HDFS将自动备份该文件，分为两份，总共三份.

8. 如果DataNode出现故障，NameNode会自动复制此DataNode中存储的副本并将其放置在其他节点上，以确保整个集群中的副本数量

9. NameNode中的元数据将保留在内存中，以便快速读取和写入. 每个元数据的大小约为150个字节.

10. HDFS不适合存储大量的小文件，因为大量的小文件将生成大量的元数据，这将导致NameNode的大量内存被占用，从而减少读写NameNode的效率.

11. 启动HDFS: start-dfs.sh

·我们使用图片来组织每个模块之间的关系（在后续文章中将进行具体操作）

如果整个HDFS被视为存储数据的仓库，则Namenode等效于该仓库的管理员. 进入，退出和修改必须通过Namenode;

元数据等效于分类帐. 当用户执行查询，修改等操作时，首先找到Namenode的管理员，管理员将移交元数据的分类帐. 分类帐记录文件的哪些部分被分成几部分，这些部分放在哪个架子上以及该信息的替代位置.

Datanode可以大致视为该仓库的特定存储信息的架子

第二，阻止

1. 它本身代表一个数据块

2. 块是HDFS中数据存储的基本单位

3. 默认每个区块为128M

4. 切割目的:

a. 能够存储超大文件（将超大文件分割并分配到不同的DataNode上，以减轻服务器的压力）

b. 为了能够进行快速备份（分割后，每个小块可以同时存储. 就像一吨货物一样，分离3个小车的效率将比仅使用1个小车的效率高）购物车）

三，NameNode

1. NameNode负责管理DataNode和维护元数据.

·2. 在Hadoop 1.0中，只有一个NameNode，并且存在单点问题（如果一个NameNode出现故障，则整个HDFS都会瘫痪）

在2.0中，在完全分布式中，最多可以设置2个NameNode（超过2个NameNode会导致选举和其他问题hdfs有哪些功能模块，这将降低HDFS的效率. 两个正在工作，一个处于备用状态，避免了单点问题）

·3. 元数据存储在内存和磁盘中

·

·4. 将元数据存储在内存中的目的是为了快速读写.

·5. 元数据存储在磁盘中以进行崩溃恢复

·6. 元数据的存储位置由hadoop.tmp.dir属性确定. 如果未配置，则默认值为/ tmp，因此必须配置此属性（因为tmp目录是一个临时目录，并且Linux中没有足够的内存，所以删除时，请首先考虑tmp目录中的文件）

·7. 元数据存储在dfs / name /当前目录中

·8. 记录元数据的文件:

·a. 编辑: 用于记录操作的文件

·b. fsimage: 记录元数据的文件. 此文件中的元数据不是实时的.

·10. 内存中的元数据是实时的

·11. 当每个写操作访问NameNode时. 此操作首先记录在eidts文件中. 如果编辑文件已成功写入（在磁盘中），则操作将更新到内存. 内存更新成功后，成功消息将发送回客户端（先写入磁盘，然后再写入内存以确保数据一致性）

12. fsimage中的元数据+内存中edits = metadata中的操作将编辑中的操作更新为fsimage. 此时，fsimage中的数据与内存中的数据一致.

·13. 如果NameNode重新启动，则元数据将从磁盘中恢复

·14. HDFS重新启动时，HDFS将自动将编辑操作更新为fsimage文件，以确保内存中有最新的元数据.

本文来自本站，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-288906-1.html