本文档讲述 CENTOS7.3 操作系统部署 CDH 5.12.0 的过程。安装主要分为 4 个步骤:
- 集群服务器配置,包括安装操作系统、关闭防火墙、同步服务器时钟等;
- 外部数据库安装
- 安装 Cloudera 管理器;
- 安装 CDH 集群;
- 集群完整性检查,包括 HDFS 文件系统、MapReduce、Hive 等是否可以正常运行。
安装环境准备
- 系统:CentOS-7-x86_64-DVD-1611.iso (最小化安装,选择兼容包和开发包))
- jdk:jdk-8u121-linux-x64.rpm
- cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
- CDH-5.12.0-1.cdh5.12.0.p0.29-el7.parcel
- KAFKA-2.2.0-1.2.2.0.p0.68-el7.parcel
- mysql-5.7.16-1.el7.x86_64.rpm-bundle.tar
- 主机列表如下:
硬件:
cpu:Intel® Xeon® CPU E5-2650 v2 @ 2.60GHz
内存:128G
主机 | IP | 内存 | CPU | 硬盘 | 备注 |
---|---|---|---|---|---|
DOSERCN60001 | 192.168.19.55 | 64G | 8核 | 800G | NameNode 1 |
DOSERCN60002 | 192.168.19.47 | 64G | 8核 | 800G | NameNode 2 |
DOSERCN60003 | 192.168.19.48 | 64G | 8核 | 800G | DataNode |
DOSERCN60004 | 192.168.19.49 | 64G | 8核 | 800G | DataNode |
DOSERCN60005 | 192.168.19.53 | 64G | 8核 | 800G | DataNode |
DOSERCN60006 | 192.168.19.54 | 64G | 8核 | 800G | DataNode |
DOSERCN60007 | 192.168.19.38 | 64G | 8核 | 800G | Cloudera Manager |
安装环境要求:
- 系统权限
1.1 软件安装:root 或sudo 权限
1.2 服务启停:root 或sudo 权限 - 系统配置
2.1 /目录大小:100GB以上可用空间
2.2 SELinux 防火墙:关闭
2.3 Transparent Huge Page: 关闭
禁用Transparent Hugepage Compaction - 这个Linux特性会显著降低
CDH 集群的性能
• 参看该参数状态: $ cat defrag_file_pathname
• 关闭该参数状态: $ echo never > defrag_file_pathname
2.4 设置vm.swappiness
系统默认值是60, 不适合Hadoop集群的计算特性
• Cloudera 推荐设置vm.swappiness 在1和10,之间, 推荐1保证最小
swapping (之前的版本推荐0,但是版本kernel 3.5-rc1后的Linux 推荐
使用1,降低频繁发生out of memory错误)
• 查看当前vm.swappiness 设置: cat /proc/sys/vm/swappiness
• 设置vm.swappiness 的值: sudo echo 1 > /proc/sys/vm/swappiness
2.5 系统时钟同步:
如客户提供统一的系统时钟服务器,请客户负责配置;
否则可以使用集群的管理节点做时钟服务器 - CPU/磁盘/内存配比
3.1 CPU :内存= 1 core : 4 GB ~1 core : 12 GB
3.2 CPU :磁盘数= 2 core : 1 块磁盘, 最大不超过1:1 - 硬件配置
4.1 建议数据磁盘直接挂载,不做RAID
如果硬件使用的是RAID卡,建议使用单盘RAID 0 - 文件系统
5.1 文件系统格式:建议ext4,支持ext3
5.2 atime:建议关闭 /dev/sdb1 /data1 ext4 defaults, noatime 0
详细安装文档请点击查看:
https://www.kancloud.cn/book/cxfeel/cdh5_12_1/preview/%E5%BA%8F%E8%A8%80.md
Leave a Reply