(转)CDH安装指南

Cloudera Manager离线环境搭建指南

一、相关文件下载

1、Cloudera Manager下载地址:

http://archive.cloudera.com/cm5/cm/5/

2、CDH parcel包下载地址:

http://archive.cloudera.com/cdh5/parcels

注意操作系统版本不同对应CDH版本也不同,例centos6.5 64bit 对应el6版本


二、系统环境搭建

注意虚拟机每个节点硬盘空间至少20G,master内存至少6G,slave内存至少4G
 

1、网络配置(所有节点)

(1)修改主机名: vim /etc/sysconfig/network

image

(2)修改主机名与IP映射关系:vim /etc/hosts

image

(3)修改网络配置:vim /etc/sysconfig/network-scripts/ifcfg-eth0

image

2、配置SSH(所有节点)

(1)每个节点生成密匙对:ssh-keygen -t rsa

      生成的公匙在~ /.ssh/id_rsa.pub文件中,将所有节点的公匙添加到~ /.ssh /authorized_keys 文件中

(2)修改authorized_keys文件权限:chmod 600   ~/.ssh/authorzied_keys

3、安装Oracle的Java(所有节点)

(1)卸载OpenJDK

      查询系统已有相关的java包:rpm -qa | grep java
 
      若有OpenJDK则卸载:rpm -e –nodeps 包名
 
      注意:CDH需要使用Oracle的数据库,但有些操作系统自带OpenJDK,若有则需卸载,若无则跳过此步骤

(2)解压Oracle JDK:tar -zxvf jdk1.8.0_161
(3)修改环境变量: vi /etc/profile

image

(4)使环境变量生效:source /etc/profile

4、安装MySQL(主节点)

(1)安装:yum -y install mysql mysql mysql-server mysql-devel

      其中mysql为客户端程序,mysql-server为服务端程序,mysql-devel为开发设计的库

(2)设置开机启动:chkconfig mysqld on
(3)启动:service mysqld start
(4)设置root用户密码:mysqladmin -u root password ‘XXXX’

      其中xxxx为密码
 

(5)进入mysql命令行:mysql -uroot -pxxxx
(6)创建以下数据库:

      #hive
 
      create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 
      #activity monitor
 
      create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
 

(7)授权root访问以上数据库

      grant all privileges on . to ‘root’@’n1’ identified by ‘xxxx’ with grant option;
 
      #其中n1为主机名,xxxx为root用户密码
 
      flush privileges;
 

5、关闭防火墙和SELinux(所有节点)

(1)关闭防火墙:

      #临时生效
 
      service iptables stop
 
      #永久生效
 
      chkconfig iptables off
 

(2)关闭SELinux

      #临时生效
 
      setenforce 0
 
      #永久生效
 
      vi /etc/selinux/config/
 
      修改SELINUX=disabled
 

6、配置NTP服务

(1)所有节点安装ntp服务:yum install ntp
(2)所有节点设置开机启动:chkconfig ntpd on
(3)所有节点检查是否设置成功:chkconfig –list ntpd

      若2~5都为on则成功

(4)主节点先对时:ntpdate us.pool.ntp.org

      若出现the NTP socket is in use, exiting的错误提示,则说明端口占用,使用lsof -i:123查看占用进程,然后杀死该进程

(5)主节点启动ntp:service ntpd start
(6)检查主节点是否对时成功:ntpstat

      出现以下内容则成功:
 
image
 
      注意:如果出现时间未同步,请等2~3分钟,

(7)所有从节点与主节点对时:ntpdate n1

      其中n1为主节点主机名
 

(8)从节点启动ntp
(9)检查从节点是否对时成功:ntpstat

 


三、配置Cloudera Manager

1、Master配置

(1)解压(主节点):

       tar xzvf cloudera-manager*.tar.gz
      注意:CM的默认目录为/opt,将解压后的文件放到/opt目录下

(2)下载JDBC驱动,并将mysql-connector-java-版本号-bin.jar放到/opt/cm-版本号/share/cmf/lib中:

        http://dev.mysql.com/downloads/connector/j/

(3)主节点初始化CM5数据库:

       /opt/cm-5.7.1/ share/cmf/schema/scm_prepare_database.sh mysql cm -hn1 -uroot -pxxxx –scm-host n1 scm scm scm
      其中n1为主节点主机名,xxxx为数据库密码

2、Agent配置

(1)修改/opt/cm-版本号/etc/cloudera-scm-agent/config.ini中的server_host为主节点主机名
(2)同步cm-版本号文件夹到各从节点:

        scp -r /opt/cm-版本号 root@n2:/opt/

(3)所有节点创建cloudera-scm用户:

        useradd –system –home=/opt/cm-版本号/run/cloudera-scm-server/ –no-create-home –shell=/bin/false –comment “Cloudera SCM User” cloudera-scm

3、准备Parcel包

(1)将以下CDH相关Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中

        CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel

        CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha1

        manifest.json
 
        注意:下载相应版本的manifest.json

(2)将CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha1重命名为CDH-5.7.1-1.cdh5.7.1.p0.5-el6.parcel.sha

4、启动脚本

(1)主节点启动server和agent:

        opt/cm-5.7.1/etc/init.d/cloudera-scm-server start
 
        opt/cm-5.7.1/etc/init.d/cloudera-scm-agent start

(2)从节点启动agent

四、CDH安装

(1)登录,地址为主节点的7180端口,用户名密码均为admin

image

(2)选择Cloudera版本(这里选择了express版)

image

(3)选择需要组成集群的主机

image

(4)若出现自己下载的CDH包名,则本地Parcel包配置无误,否则重启server及agent

image

(5)点击继续,此时已下载选项应该已经为100%,其他选项完成速度取决于节点之间的传输速度

image

(6)若期间安装失败,则:
①删除agent节点的UUIDs:rm -rf /opt/cm-5.7.1/lib/cloudera-scm-agent/*
②清空主节点cm数据库:drop database cm;
③在主节点上重新初始化cm数据库:/opt/cm-5.7.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hn1 -uroot -pxxxx –scm-host n1 scm scm scm(n1为主机名)
(7)主机检查出现以下问题:

image

①sysctl /pro/sys/vm/swappiness=0
②编辑/etc/sysctl.conf
③echo never > /sys/kernel/mm/tansparent_hugepage/defrag
④将上一条命令加入/etc/rc.local中
⑤重新检查主机正确性

五、搭建相关环境(以HBase为例)

(1)选择相应集群,添加服务

image

(2)选择HBase

image

(3)根据具体需要进行相关配置

image

(4)装好后配置HA(HDFS,若未启用HA,则图中禁用位置为启用High Availability)

image

(5)选择备用主节点,进行相关配置

六、进入Shell

1、HDFS

(1)进入hdfs用户:su hdfs
(2)执行相关操作

        如:hdfs dfs -mkdir /test

2、HBase

        直接执行hbase shell,这里给出官方文档的所有使用方式,不一一列举:
 
        https://www.cloudera.com/documentation/enterprise/5-7-x/topics/cdh_ig_hbase_shell1.html

Add a Comment

电子邮件地址不会被公开。 必填项已用*标注