CDH离线安装手册

Home » CDH » CDH离线安装手册

yurnom2014年12月25日

8条评论18,233次浏览

公司终于有升级Hadoop版本的意思了，于是强烈推荐CDH版本，终于在再三的推荐下初步确定使用CDH版本了。于是CDH的测试集群搭建开始了。撒花...

CDH版本：5.3.0
操作系统版本：CentOS 6.3
JDK版本：jdk-7u71-linux-x64
资源下载：
- Cloudera Manager，选择操作系统对应的版本。
- CDH，下载CDH和对应的sha1文件以及manifest.json文件。
- mysql-connector-java-5.1.34-bin.jar，需要登录下载。

系统环境搭建

打通SSH
配置Hosts
关闭IPv6
关闭SELINUX
关闭防火墙
打开句柄限制
安装JDK
NTP

以上步骤参考Hadoop集群搭建全过程。其中JDK安装可能需要卸载操作系统自带的OpenJDK，命令：

rpm -qa | grep java
rpm -e --nodeps 包名

1 2	rpm -qa \| grep java rpm -e --nodeps 包名

安装Mysql

yum install mysql-server

1	yum install mysql-server

添加为自启动

chkconfig mysqld on

1	chkconfig mysqld on

启动mysql

service mysqld start

1	service mysqld start

修改root密码

mysqladmin -u root password '123456'

1	mysqladmin -u root password '123456'

进入mysql

mysql -uroot -p123456

1	mysql -uroot -p123456

创建数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue default charset utf8 collate utf8_general_ci;

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue default charset utf8 collate utf8_general_ci;

授权

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;

1 2	grant all privileges on . to 'root'@'%' identified by '123456' with grant option; flush privileges;

其它配置

在.bashrc中添加

echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
echo 0 > /proc/sys/vm/swappiness

1 2	echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag echo 0 > /proc/sys/vm/swappiness

并source .bashrc。

自此准备工作完毕。

安装CDH

所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.3.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

1	useradd --system --home=/opt/cm-5.3.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

安装Cloudera Manager

解压下载好的Cloudera Manager解压至/opt下，产生2个文件夹cloudera和cm-5.3.0。

添加mysql connector包

将mysql-connector-java-5.1.34-bin.jar拷贝至/opt/cm-5.3.0/share/cmf/lib/和/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/lib/hive/lib/下

初始化CM5的数据库数据库

/opt/cm-5.3.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

1	/opt/cm-5.3.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

修改Agent配置

将/opt/cm-5.3.0/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名

同步Agent到其他节点

scp -r /opt/cm-5.3.0 root@slave[1-xx]:/opt/

1	scp -r /opt/cm-5.3.0 root@slave[1-xx]:/opt/

准备Parcels

将下载好的CDH-xxx.parcels文件、CDH-xxx.parcels.sha1文件和manifest.json文件移至/opt/cloudera/parcel-repo/中，并将CDH-xxx.parcels.sha1重命名为CDH-xxx.parcels.sha。

启动Cloudera Manager

主节点

/opt/cm-5.3.0/etc/init.d/cloudera-scm-server start

1	/opt/cm-5.3.0/etc/init.d/cloudera-scm-server start

所有slave节点

/opt/cm-5.3.0/etc/init.d/cloudera-scm-agent start

1	/opt/cm-5.3.0/etc/init.d/cloudera-scm-agent start

等待1-3分钟后可通过http://主节点IP:7180来访问CM，用户名密码都为admin。剩下的就是一直点下一步和根据具体的需求来配置集群了。

（转载本站文章请注明作者和出处程序员的自我修养 – SelfUp.cn ，请勿用于任何商业用途）

分类：CDH

标签：cdh, Hadoop

8条评论

ashley说道：

2014年12月27日下午8:37

http://www.astropy.org/

回复
徐说道：

2015年11月26日下午6:40

我照着你的帖子安装了单个节点，一点问题也没有。但是我今天添加主机的时候遇到了一堆问题，能赐教一下吗？我的邮箱zerppen@outlook.com

回复
111111说道：

2016年2月23日上午9:31

Cloudera Manager 解压后 /opt下，产生2个文件夹cloudera和cm-5.3.0
将mysql-connector-java-5.1.34-bin.jar拷贝至/opt/cm-5.3.0/share/cmf/lib/和/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.30/lib/hive/lib/下

但是我解压后 /opt/cloudera/ 这个目录下根本没有parcels这个目录啊导致我安装HIVE报错

回复
11111说道：

2016年3月1日上午10:45

请教一下在主节点上 /opt/cm-5.3.0/etc/init.d/cloudera-scm-server start启动服务端还需要在主节点上启动/opt/cm-5.3.0/etc/init.d/cloudera-scm-agent start启动Agen服务吗
还是只在主节点上启动/opt/cm-5.3.0/etc/init.d/cloudera-scm-server start 而在其他节点上启动/opt/cm-5.3.0/etc/init.d/cloudera-scm-agent start

回复
- yurnom说道：
  
  2016年3月8日上午11:52
  
  主节点如果也需要启动hdfs yarn等服务的话是需要同时启动server和agent的
  
  回复
  - 111111说道：
    
    2016年5月9日下午1:42
    
    请教一下我按照你的教程在主节点 ResourceManager 那台机器启动了cloudera-scm-server start 在其它节点机器启动了 cloudera-scm-agent start 但是我在后来的界面安装里找不到主节点了怎么回事呢
    
    回复
晴子说道：

2017年3月15日上午10:37

在主节点初始化CM5数据库的时候报错误：Verifying that we can write to /opt/cm-5.9.0/etc/cloudera-scm-server
log4j:ERROR Could not find value for key log4j.appender.A
log4j:ERROR Could not instantiate appender named "A".
[2017-03-15 10:06:57,474]ERROR 0[main] - com.cloudera.enterprise.dbutil.DbProvisioner.executeSql(DbProvisioner.java) - Exception when creating/dropping database with user 'root' and jdbc url 'jdbc:mysql://localhost/?useUnicode=true&characterEncoding=UTF-8'
com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Can't find any matching row in the user table
请教下这是什么原因呢？？谢谢了

回复
- 匿名说道：
  
  2017年11月29日上午11:20
  
  这个问题可以忽略。不影响
  
  回复

发表评论给11111

点击这里取消回复。

Weldondouff: company website гидра зеркало
亚博体育官网: 不赖!真的不赖!
ascend: Error:(36, 29) wrong number of type parameters for overloaded method value createDirectStream with...
Anonymous:
Anonymous:
Anonymous:
Anonymous:
Anonymous: 运行报错：java.lang.Abstr actMethodError
Anonymous:
Anonymous:
Anonymous:
Anonymous:
zzg: 请问zz你问题核实了没� ��我也遇到了这个奇葩� ��问题，我们也是基�...
Anonymous:
kuyuzasur: what do i tell doctor to get viagra. edhelprie.mdhelpserv.com – how long we can take viagra,
Anonymous: 这个问题可以忽略。不影响
Anonymous:
Anonymous: 牛
Anonymous: 楼主你好，我偶尔也会遇到Reconnect due to socket error: java.nio.channels.ClosedCha...
Anonymous: sdfs