风哥教程

培训 . 交流 . 分享
Make progress together!

Hadoop实战培训教程09_Hadoop集群环境搭建配置_HDFS配置与维护

[复制链接]
内容发布:风哥| 发布时间:2015-3-7 18:44:09
Hadoop实战培训教程09_hadoop集群环境搭建配置_HDFS配置与维护

1、HDFS简介
  HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利。

Hadoop实战培训教程09_Hadoop集群环境搭建配置_HDFS配置与维护

Hadoop实战培训教程09_Hadoop集群环境搭建配置_HDFS配置与维护
  Hadoop整合了众多文件系统,在其中有一个综合性的文件系统抽象,它提供了文件系统实现的各类接口,HDFS只是这个抽象文件系统的一个实例。提供了一个高层的文件系统抽象类org.apache.hadoop.fs.FileSystem,这个抽象类展示了一个分布式文件系统,并有几个具体实现,如下表1-1所示。
表1-1 Hadoop的文件系统
文件系统
URI方案
Java实现
(org.apache.hadoop)
定义
Local
file
fs.LocalFileSystem
支持有客户端校验和本地文件系统。带有校验和的本地系统文件在fs.RawLocalFileSystem中实现。
HDFS
hdfs
hdfs.DistributionFileSystem
Hadoop的分布式文件系统。
HFTP
hftp
hdfs.HftpFileSystem
支持通过HTTP方式以只读的方式访问HDFS,distcp经常用在不同的HDFS集群间复制数据。
HSFTP
hsftp
hdfs.HsftpFileSystem
支持通过HTTPS方式以只读的方式访问HDFS。
HAR
har
fs.HarFileSystem
构建在Hadoop文件系统之上,对文件进行归档。Hadoop归档文件主要用来减少NameNode的内存使用
KFS
kfs
fs.kfs.KosmosFileSystem
Cloudstore(其前身是Kosmos文件系统)文件系统是类似于HDFS和Google的GFS文件系统,使用C++编写。
FTP
ftp
fs.ftp.FtpFileSystem
由FTP服务器支持的文件系统。
S3(本地)
s3n
fs.s3native.NativeS3FileSystem
基于Amazon S3的文件系统。
S3(基于块)
s3
fs.s3.NativeS3FileSystem
基于Amazon S3的文件系统,以块格式存储解决了S3的5GB文件大小的限制。

  Hadoop提供了许多文件系统的接口,用户可以使用URI方案选取合适的文件系统来实现交互。
2、HDFS基础概念2.1 数据块(block)
  • HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。
  • 和普通文件系统相同的是,HDFS中的文件是被分成64M一块的数据块存储的。
  • 不同于普通文件系统的是,HDFS中,如果一个文件小于一个数据块的大小,并不占用整个数据块存储空间。

2.2 NameNode和DataNode
  HDFS体系结构中有两类节点,一类是NameNode,又叫"元数据节点";另一类是DataNode,又叫"数据节点"。这两类节点分别承担Master和Worker具体任务的执行节点。
  1)元数据节点用来管理文件系统的命名空间
  • 其将所有的文件和文件夹的元数据保存在一个文件系统树中。
  • 这些信息也会在硬盘上保存成以下文件:命名空间镜像(namespace image)及修改日志(edit log)
  • 其还保存了一个文件包括哪些数据块,分布在哪些数据节点上。然而这些信息并不存储在硬盘上,而是在系统启动的时候从数据节点收集而成的。

  2)数据节点是文件系统中真正存储数据的地方。
  • 客户端(client)或者元数据信息(namenode)可以向数据节点请求写入或者读出数据块。
  • 其周期性的向元数据节点回报其存储的数据块信息。

  3)从元数据节点(secondary namenode)
  • 从元数据节点并不是元数据节点出现问题时候的备用节点,它和元数据节点负责不同的事情。
  • 其主要功能就是周期性将元数据节点的命名空间镜像文件和修改日志合并,以防日志文件过大。这点在下面会相信叙述。
  • 合并过后的命名空间镜像文件也在从元数据节点保存了一份,以防元数据节点失败的时候,可以恢复。

Hadoop实战培训教程09_Hadoop集群环境搭建配置_HDFS配置与维护.pdf

1.44 MB, 下载次数: 17

售价: 5 IT币  [记录]

Hadoop实战培训教程09_Hadoop集群环境搭建配置_HDFS配置与维护



上一篇:Hadoop实战培训教程08_Hadoop集群环境搭建配置_Eclipse开发环境设置
下一篇:Hadoop实战培训教程10_Hadoop集群环境搭建配置_MapReduce初级案例
专业提供Oracle/MySQL/NoSQL/Linux数据库培训与技术支持服务,QQ号:113257174
关注风哥教程微信公众号itpux_com  ,了解本站最新技术资料的分享.

欢迎加QQ群,提供超多高质量Oracle/Unix/Linux技术文档与视频教程的下载。

Oracle/MySQL/Linux群4-5:189070296  150201289  
Oracle/MySQL/Linux群6-8:244609803   522261684   522651731
备注:请勿重复加群,另请注明 from itpux
回复

使用道具 举报

内容发布:leiyz| 发布时间:2017-6-2 10:55:09
好东西,值得学习,仔细都看
回复 支持 反对

使用道具 举报

内容发布:jump| 发布时间:2022-1-7 08:05:20
这个可以有,很好的,:):(
回复 支持 反对

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门文章教程

  • Hadoop实战培训教程09_Hadoop集群环境搭建
  • 风哥Oracle数据库巡检工具V1.0(附2.6网页
  • Oracle 12cR2 九大新功能全面曝光_详解云数
  • MySQL5权威指南(第3版)PDF电子版下载
  • 实战PHP与MySQL权威指南PDF电子书下载
  • Oracle19c数据库发布与下载地址
快速回复 返回顶部 返回列表