36、大数据Hadoop之——HDFS小文件问题与处理实战操作.docx
10墨值下载
大数据
Hadoop
之——
HDFS
小文件问题与处理实战操
作
一、背景
每个文件均按块存储，每个块的元数据存储在
NameNode
的内存中，因此
HDFS
存
储小文件会非常低效。因为大量的小文件会耗尽
NameNode
中的大部分内存。但注
意，存储小文件所需要的磁盘容量和数据块的大小无关。每个块的大小可以通过配置参
数（
dfs.blocksize
）来规定，默认的大小
128M
。例如，一个
1MB
的文件设置为
128MB
的块存储，实际使用的是
1MB
的磁盘空间，而不是
128MB
。
Hadoop
高可用环境部署，可参考我之前的文章：大数据
Hadoop
之——
Hadoop
3.3.4 HA
（高可用）原理与实现（
QJM
）
1
）小文件是如何产生的？
动态分区插入数据，产生大量的小文件，从而导致
map
数量剧增；
reduce
数量越多，小文件也越多，
reduce
的个数和输出文件个数一致；
数据源本身就是大量的小文件；
2
）文件块大小设置
同样对于如何设置每个文件块的大小，官方给出了这样的建议：
所以对于块大小的设置既不能太大，也不能太小，太大会使得传输时间加长，程序在处
理这块数据时会变得非常慢，如果文件块的大小太小的话会增加每一个块的寻址时间。
所以文件块的大小设置取决于磁盘的传输速率。
3
）
HDFS
分块目的
HDFS
中分块可以减少后续中
MapReduce
程序执行时等待文件的读取时间，
HDFS
支持大文件存储，如果文件过大
10G
不分块在读取时处理数据时就会大量的将时间耗
费在读取文件中，分块可以配合
MapReduce
程序的切片操作，减少程序的等待时间。
二、
HDFS
小文件问题处理方案
of 15
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论