Welcome everyone

HDFS存储原理

大数据 汪明鑫 720浏览 0评论

HDFS设计思想

分而治之:将大文件、大批量文件,分布式存放在大量服务器上

HDFS是一个文件系统,用来存储文件

分块存储(block)  块的大小可以设置

 

namenode是HDFS集群主节点,负责维护整个hdfs文件系统的目录树,以及每一个路径(文件)所对应的block块信息(block的id,及所在的datanode服务器)

datanode是HDFS集群从节点,每一个block都可以在多个datanode上存储多个副本(副本数量也可以通过参数设置dfs.replication)

HDFS是设计成适应一次写入,多次读出的场景,且不支持文件的修改

 

文件根据字节按照偏移量存储到不同的HDFS节点

读取数据时,客户端帮我们完成数据的拼接

按字节偏移量切开,按字节偏移量恢复

 

 

转载请注明:汪明鑫的个人博客 » HDFS存储原理

喜欢 (0)

说点什么

您将是第一位评论人!

提醒
avatar
wpDiscuz