将 HDFS 搬上数人云:轻松实现集群的扩展收缩

将 HDFS 搬上数人云

HDFS 是 Hadoop Distributed File System 的简称,作为 Apache Hadoop Core 项目的一部分,提供了一个高度容错性的分布式文件系统,适合部署在廉价的机器上。HDFS 可以提供高吞吐量的数据访问,非常适合大规模数据集上的应用,很多大数据框架都已 HDFS 作为其存储方案,如 Hadoop、Spark、HBase 等。

作为分布式文件系统,HDFS 需要集群化部署,并会随着业务量的增加而不断扩展。但 HDFS 集群化部署并非易事,很多组织和项目都在尝试简化部署方法,网络上也存在着大量参差不齐的教程。这里介绍一种方式,通过数人云快速部署 HDFS 集群,并轻松实现集群的扩展和收缩,一起来体验一下吧!

第一步 镜像制作

数人云可以发布各种 Docker 应用,并进行统一管理和监控,因此,第一步是将 HDFS 集群的组件 Docker 化。

HDFS 集群有两种节点,以“管理者-工作者”的模式运行,一个 Namenode(管理者)和多个 Datanode(工作者)。Namenode 作为管理者,管理文件系统的命名空间,维护文件系统树及树内所有的文件和索引目录。Datanode 作为文件系统的工作者,存储并提供定位块的服务,并且定时向 Namenode 发送它们存储的块列表。用户通过 HDFS 客户端可以进行文件的读写操作,大致方式是通过 Namenode 获得Datanode 和存数块的信息,对 Datanode 进行数据写入或读取。其架构如下图所示。

如上图所示,一个 HDFS 集群至少需要两种 Docker 应用,Namenode 和 Datanode。

首先,Namenode 和 Datanode 都使用相同的 Hadoop 安装包,因此,先做一个安装了 Hadoop 基础环境依赖及 Hadoop 的基础镜像,具体内容见这里

有了基础镜像,就可以制作 Namenode 和 Datanode 的镜像了。这里主要是加入不同的配置文件和启动脚本。

1 Namenode 制作

先说 Namenode,需要配置以下配置项:

  1. fs.defaultFS:设置缺省的访问地址,需在 core-site.xml 中设置。这里设置为 hdfs://0.0.0.0:8020,表示本机的8020端口。
  2. dfs.permissions:权限检查开关,需要在 hdfs-site.xml 中设置。如果没有权限控制要求,则设置为 false。
  3. dfs.name.dir:Namenode 的数据存储路径,需要在 hdfs-site.xml 中设置。
  4. dfs.namenode.datanode.registration.ip-hostname-check:Datanode 的主机名解析检查,需要在 hdfs-site.xml 中设置。如果没有特殊的安全性考虑,设置为 false。

启动 Namenode 时,需要判断是否是首次部署,若首次部署,则需要进行格式化。

if [ ! -f ${HDFS_NAMENODE_ROOT_DIR}/current/VERSION ]; then
    echo Formatting namenode root fs in ${HDFS_NN_ROOT_DIR}

    bin/hdfs namenode -format
fi

最后,就可以启动 Namenode 了。

具体的 Dockerfile 和相关文件见这里

2 Datanode 制作

再说 Datanode,需要配置一下配置项:

  1. dfs.permissions:同 Namenode。
  2. dfs.data.dir:Datanode 的数据存储路径,需要在 hdfs-site.xml 中设置。

启动 Datanode 时,需要指定 Namenode,这里通过HDFS_NAMENODE_RPC_HOSTHDFS_NAMENODE_RPC_PORT两个环境变量来设置 Namenode 地址,并写入 core-site.xml 配置文件,脚本如下:

sed "s/HDFS_NAMENODE_RPC_HOST/$HDFS_NAMENODE_RPC_HOST/;s/HDFS_NAMENODE_RPC_PORT/$HDFS_NAMENODE_RPC_PORT/" ${HADOOP_INSTALL_DIR}/etc/hadoop/core-site.xml.template > ${HADOOP_INSTALL_DIR}/etc/hadoop/core-site.xml

最后,就可以启动 Datanode 了。

具体的 Dockerfile 和相关文件见这里

注:以上只是描述了 HDFS 最少的必要配置,其他配置项请根据自己的实际使用需求进行添加。

第二步 部署

数人云作为云时代的操作系统,统一管理和调度集群的计算资源,并以 Docker 的形式发布和管理应用。我们先将自己的计算资源(云主机、虚拟机或是物理机)创建一个数人云集群,就可以在该集群上部署 HDFS 集群了。具体的创建集群方法见创建/删除集群

1 新建应用hdfs-namenode:

以下镜像由数人云提供,仅用于测试。若生产环境使用,请构建自己的镜像仓库和 Docker 镜像。

  • 应用名称: hdfs-namenode
  • 选择集群: (选择你的集群)
  • 镜像地址: index.shurenyun.com/dataman/hdfs-namenode
  • 镜像版本: 2.7.1
  • 网络模式: HOST
  • 选择主机: 标签不选; 主机: (选择一台主机)
  • 挂载点:
    • 数据路径: /home/data/hdfs-namenode, 容器路径: /var/hdfs/namenode
  • 容器规格
    • CPU: 0.5
    • 内存: 1024MB
  • 容器个数: 1,不勾选1容器:1主机
  • 高级设置
    • 应用地址
    • 环境变量

注:挂载点的“容器路径”就是dfs.name.dir的取值。

2 新建应用hdfs-datanode:

  • 应用名称: hdfs-datanode
  • 选择集群: (选择你的集群)
  • 镜像地址: index.shurenyun.com/dataman/hdfs-datanode
  • 镜像版本: 2.7.1
  • 网络模式: HOST
  • 选择主机: 标签不选; 主机:(选择你要部署的主机)
  • 挂载点:
    • 数据路径: /home/data/hdfs-datanode, 容器路径: /var/hdfs/datanode
  • 容器规格
    • CPU: 0.5
    • 内存: 1024MB
  • 容器个数: 3(需要启动的节点数),勾选1容器:1主机
  • 高级设置
    • 应用地址
    • 环境变量
    • KEY: HDFSNAMENODERPCHOST, VALUE: (Namenode 所在节点的 IP)
    • KEY: HDFSNAMENODERPCPORT, VALUE: (Namenode 的访问端口,与fs.defaultFS取值一致,默认为8020)

注:挂载点的“容器路径”就是dfs.data.dir的取值。

创建应用后,进入应用详情页的事件标签页,查看部署的操作状态,显示

应用名称:hdfs-datanode 事件类型:应用扩展操作 事件结果:部署操作成功

同时,应用状态显示为

应用状态:运行中

则应用部署已经成功。

访问namenode地址,http:// HDFSNAMENODERPC_HOST:50070。

结束语

有以下几点说明:

  1. 集群扩展:HDFS 的 Datanode 可以通过数人云的应用扩展功能轻松实现扩展。但需要注意,如果在“选择主机”处选择了固定数量的主机,则 Datanode 数量不能超过选定的主机数。
  2. 资源分配:通过数人云管理界面发布应用时,目前最大容器规格限定在1CPU、4G 内存,这对于一些大数据环境是不够的,你可能需要给这些应用分配更多的资源。这一点可以通过数人云 API 实现,不受限制地分配资源给任一容器。
  3. 单点问题:本文中部署的 HDFS 集群只有一个 Namenode,存在单点问题。HDFS 提供了解决单点问题的方法,需要 Journalnode 和 Zookeeper。作为一种高可用的、用于生产环境的 HDFS 集群部署方法,数人云同样可以做到快速部署,将在稍后介绍。