centos 7.3 安装 CDH5.12.0

本文档讲述 CENTOS7.3 操作系统部署 CDH 5.12.0 的过程。安装主要分为 4 个步骤:

  1. 集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等;
  2. 外部数据库安装
  3. 安装 Cloudera 管理器;
  4. 安装 CDH 集群;
  5. 集群完整性检查,包括 HDFS 文件系统、MapReduce、Hive 等是否可以正常运行。

 

 

安装环境准备

  1. 系统:CentOS-7-x86_64-DVD-1611.iso (最小化安装,选择兼容包和开发包))
  2. jdk:jdk-8u121-linux-x64.rpm
  3. cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
  4. CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
  5. KAFKA-2.2.0-1.2.2.0.p0.68-el7.parcel
  6. mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar
  7. 主机列表如下:
    硬件:
    cpu:Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz
    内存:128G
主机 IP 内存 CPU 硬盘 备注
DOSERCN60001 192.168.19.55 64G 8核 800G NameNode 1
DOSERCN60002 192.168.19.47 64G 8核 800G NameNode 2
DOSERCN60003 192.168.19.48 64G 8核 800G DataNode
DOSERCN60004 192.168.19.49 64G 8核 800G DataNode
DOSERCN60005 192.168.19.53 64G 8核 800G DataNode
DOSERCN60006 192.168.19.54 64G 8核 800G DataNode
DOSERCN60007 192.168.19.38 64G 8核 800G Cloudera Manager

安装环境要求:

  1. 系统权限
    1.1 软件安装:root 或sudo 权限
    1.2 服务启停:root 或sudo 权限
  2. 系统配置
    2.1 /目录大小:100GB以上可用空间
    2.2 SELinux 防火墙:关闭
    2.3 Transparent Huge Page: 关闭
    禁用Transparent Hugepage Compaction - 这个Linux特性会显著降低
    CDH 集群的性能
    • 参看该参数状态: $ cat defrag_file_pathname
    • 关闭该参数状态: $ echo never > defrag_file_pathname
    2.4 设置vm.swappiness
    系统默认值是60, 不适合Hadoop集群的计算特性
    • Cloudera 推荐设置vm.swappiness 在1和10,之间, 推荐1保证最小
    swapping (之前的版本推荐0,但是版本kernel 3.5-rc1后的Linux 推荐
    使用1,降低频繁发生out of memory错误)
    • 查看当前vm.swappiness 设置: cat /proc/sys/vm/swappiness
    • 设置vm.swappiness 的值: sudo echo 1 > /proc/sys/vm/swappiness
    2.5 系统时钟同步:
    如客户提供统一的系统时钟服务器,请客户负责配置;
    否则可以使用集群的管理节点做时钟服务器
  3. CPU/磁盘/内存配比
    3.1 CPU :内存= 1 core : 4 GB ~1 core : 12 GB
    3.2 CPU :磁盘数= 2 core : 1 块磁盘, 最大不超过1:1
  4. 硬件配置
    4.1 建议数据磁盘直接挂载,不做RAID
    如果硬件使用的是RAID卡,建议使用单盘RAID 0
  5. 文件系统
    5.1 文件系统格式:建议ext4,支持ext3
    5.2 atime:建议关闭 /dev/sdb1 /data1 ext4 defaults, noatime 0

详细安装文档请点击查看:

https://www.kancloud.cn/book/cxfeel/cdh5_12_1/preview/%E5%BA%8F%E8%A8%80.md

Be the first to comment

Leave a Reply

Your email address will not be published.


*