大数据 | 分布式文件系统 HDFS

HDFS 的特点与应用场景

1、适合存储大文件

2、容错性高

3、适用于流式的数据访问

4、适用于读多写少场景

HDFS的相关概念

数据块（Block）

NameNode和DataNode

Secondary NameNode

块缓存

HDFS 的架构

机架感知和副本机制

读写流程

读操作

简要流程：

详细流程：

1. 客户端通过调用 FileSystem 对象的 open() 方法来打开希望读取的文件，对于 HDFS 来说，这个对象是分布式文件系统的一个实例；
2. DistributedFileSystem     通过RPC 调用 NameNode 以确定文件起始块的位置，由于存在多个副本，因此Namenode会返回同一个Block的多个文件的位置，然后根据集群拓扑结构排序，就近取；
3. 前两步会返回一个 FSDataInputStream 对象，该对象会被封装成     DFSInputStream 对象，DFSInputStream 可以方便的管理 datanode 和 namenode 数据流，客户端对这个输入流调用 read() 方法；
4. 存储着文件起始块的 DataNode 地址的 DFSInputStream 随即连接距离最近的 DataNode，通过对数据流反复调用 read() 方法，可以将数据从 DataNode 传输到客户端；
5. 到达块的末端时，DFSInputStream 会关闭与该 DataNode 的连接，然后寻找下一个块的最佳 DataNode，这些操作对客户端来说是透明的，从客户端的角度来看只是读一个持续不断的流；
6. 一旦客户端完成读取，就对 FSDataInputStream 调用 close() 方法关闭文件读取。

写操作

简单流程：

详细流程：

1. 客户端通过调用 DistributedFileSystem 的 create() 方法创建新文件；
2. DistributedFileSystem     通过 RPC 调用 NameNode 去创建一个没有 Blocks 关联的新文件，创建前 NameNode 会做各种校验，比如文件是否存在、客户端有无权限去创建等。如果校验通过，NameNode 会为创建新文件记录一条记录，否则就会抛出 IO 异常；
3. 前两步结束后会返回 FSDataOutputStream 的对象，和读文件的时候相似，FSDataOutputStream     被封装成 DFSOutputStream，DFSOutputStream     可以协调 NameNode 和 Datanode。客户端开始写数据到 DFSOutputStream，DFSOutputStream 会把数据切成一个个小的数据包，并写入内部队列称为“数据队列”(Data Queue)；
4. DataStreamer     会去处理接受 Data Queue，它先问询 NameNode 这个新的 Block 最适合存储在哪几个 DataNode 里，比如重复数是 3，那么就找到 3 个最适合的 DataNode，把他们排成一个 pipeline。DataStreamer 把 Packet 按队列输出到管道的第一个 Datanode 中，第一个 DataNode 又把 Packet 输出到第二个 DataNode 中，以此类推；
5. DFSOutputStream     还有一个队列叫 Ack Quene，也是由 Packet 组成，等待 DataNode 的收到响应，当 Pipeline 中的所有 DataNode 都表示已经收到的时候，这时 Akc Quene 才会把对应的 Packet 包移除掉；
6. 客户端完成写数据后调用 close() 方法关闭写入流；
7. DataStreamer     把剩余的包都刷到 Pipeline 里然后等待 Ack 信息，收到最后一个 Ack 后，通知 NameNode 把文件标示为已完成。

本文简单讲了 HDFS 的特点与应用场景、相关概念、架构、副本机制和机架感知以及读写流程。如果觉得有帮到你或者有所收获，麻烦动动小手点个再看或随手转发。

扫码关注不迷路，第一时间获取文章哦