Hadoop集群搭建全过程 | 程序员的自我修养 | 关注Java、大数据、机器学习

最近需要紧急搭建Hadoop集群，以前搭建都没留下文档和记录，导致这次忙的晕头转向。现在终于搞定了，决定将全部过程记录下来，方便下次使用。

软件环境

操作系统：Centos 6.4
JDK：1.6.0_27
Hadoop:1.0.4
HBase:0.94.17
Zookeeper:3.4.5

前置步骤

范围：Hadoop集群所有机器

操作身份：root用户

创建Hadoop用户

adduser hadoop
passwd hadoop

1 2	adduser hadoop passwd hadoop

关闭SELINUX

vi /etc/sysconfig/selinux

1	vi /etc/sysconfig/selinux

修改：

SELINUX=disabled

1	SELINUX=disabled

关闭防火墙

chkconfig --level 345 iptables off

1	chkconfig --level 345 iptables off

修改最大句柄数等限制

vi /etc/security/limits.conf

1	vi /etc/security/limits.conf

加入：

hadoop   soft    nproc   20470
hadoop   hard    nproc   163840
hadoop   soft    nofile  10240
hadoop   hard    nofile  655360
hadoop   soft    stack   10240

hadoop soft nproc 20470

hadoop hard nproc 163840

hadoop soft nofile 10240

hadoop hard nofile 655360

hadoop soft stack 10240

vi /etc/pam.d/login

1	vi /etc/pam.d/login

加入：

session required pam_limits.so

1	session required pam_limits.so

修改Hosts+关闭IPv6

vi /etc/hosts

1	vi /etc/hosts

加入并修改，其中当前机器名需要放在127.0.0.1这一行前面，以免hbase报错，并删除IPv6行，类似下面代码：

192.168.60.3 master
127.0.0.1 master  localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.60.4 slave01
192.168.60.5 slave02
... ...

192.168.60.3 master

127.0.0.1 master localhost localhost.localdomain localhost4 localhost4.localdomain4

192.168.60.4 slave01

192.168.60.5 slave02

... ...

修改主机名+关闭IPv6

vi /etc/sysconfig/network

1	vi /etc/sysconfig/network

加入并修改主机名：

NETWORKING_IPV6=no
HOSTNAME=master

1 2	NETWORKING_IPV6=no HOSTNAME=master

关闭IPv6

vi /etc/modprobe.d/dist.conf

1	vi /etc/modprobe.d/dist.conf

加入：

alias net-pf-10 off
alias ipv6 off

1 2	alias net-pf-10 off alias ipv6 off

挂载硬盘（可选）

可用fdisk -l查看未挂载盘的情况。

将sdb挂载到/opt/hdfs，需提前创建好目录，并将所有者改成hadoop用户。

mkdir /opt/hdfs
mkfs -t ext3 /dev/sdb
mount /dev/sdb /opt/hdfs
chown -R hadoop /opt/hdfs

mkdir /opt/hdfs

mkfs -t ext3 /dev/sdb

mount /dev/sdb /opt/hdfs

chown -R hadoop /opt/hdfs

vi /etc/fstab

1	vi /etc/fstab

加入：

/dev/sdb	/opt/hdfs	ext3	defaults	0	0

1	/dev/sdb /opt/hdfs ext3 defaults 0 0

安装JDK

chmod +x jdk-6u27-linux-x64.bin
./jdk-6u27-linux-x64.bin
mv jdk1.6.0_27/ /usr/share/
rm jdk-6u27-linux-x64.bin

chmod +x jdk-6u27-linux-x64.bin

./jdk-6u27-linux-x64.bin

mv jdk1.6.0_27/ /usr/share/

rm jdk-6u27-linux-x64.bin

重启

reboot

reboot

ssh免密码登录

范围：Hadoop集群所有机器

操作身份：hadoop用户

在master机器上操作，将生成的authorized_keys拷贝至slaves机器上，可能需要预先创建.ssh文件夹：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
chmod 600 authorized_keys
scp ~/.ssh/authorized_keys hadoop@slaves:~/.ssh/

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

chmod 600 authorized_keys

scp ~/.ssh/authorized_keys hadoop@slaves:~/.ssh/

此时可以免密码登录，若不能，需至slaves机器上运行：

chmod 600 ～/.ssh/authorized_keys
chmod 700 ～/.ssh

1 2	chmod 600 ～/.ssh/authorized_keys chmod 700 ～/.ssh

安装Hadoop

范围：Hadoop集群所有机器

操作身份：hadoop用户

解压Hadoop至/home/hadoop目录下。

tar zxvf hadoop-1.0.4.tar.gz

1	tar zxvf hadoop-1.0.4.tar.gz

配置mapred-site.xml

添加：

<property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
</property>
<property>
        <name>mapred.child.java.opts</name>
        <value>-Xmx2000m</value>
</property>

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

<name>mapred.child.java.opts</name>

</property>

配置core-site.xml

添加：

<property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
</property>
<property>
        <name>fs.checkpoint.period</name>
        <value>3600</value>
</property>
<property>
        <name>fs.checkpoint.size</name>
        <value>67108864</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hdfs/hdfs_data/tmp</value>
</property>

<name>fs.default.name</name>

<value>hdfs://master:9000</value>

</property>

<name>fs.checkpoint.period</name>

</property>

<name>fs.checkpoint.size</name>

</property>

<name>hadoop.tmp.dir</name>

</property>

配置hdfs-site.xml

添加：

<property>
        <name>dfs.name.dir</name>
        <value>/opt/hdfs/hdfs_data/name</value>
</property>
<property>
        <name>dfs.data.dir</name>
        <value>/opt/hdfs/hdfs_data/data</value>
</property>
<property>
        <name>dfs.replication</name>
        <value>2</value>
</property>
<property>
        <name>dfs.datanode.max.xcievers</name>
        <value>4096</value>
</property>
<property>
        <name>dfs.datanode.socket.write.timeout</name>
        <value>1800000</value>
</property>
<property>
        <name>dfs.socket.timeout</name>
        <value>1800000</value>
</property>
<property>
        <name>dfs.block.size</name>
        <value>268435456</value>
</property>

</property>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.datanode.max.xcievers</name>

</property>

<name>dfs.datanode.socket.write.timeout</name>

</property>

<name>dfs.socket.timeout</name>

</property>

<name>dfs.block.size</name>

</property>

配置masters

添加：

master

master

配置slaves

添加，这里把master也当做slave（虽然我一直反对这么做，但为了节约资源，只能这么妥协）：

master
slave01
slave02
slave03
... ...

master

slave01

slave02

slave03

... ...

配置hadoop-env.sh

添加，ssh的端口为18933：

export JAVA_HOME=/usr/share/jdk1.6.0_27
export HADOOP_HOME_WARN_SUPPRESS=1
export HADOOP_HEAPSIZE=2048
export HADOOP_OPTS=-server
export HADOOP_PID_DIR=/home/hadoop/hadoop-1.0.4/pids
export HADOOP_SSH_OPTS="-p 18933"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/hadoop/hadoop-1.0.4/lib/native/Linux-amd64-64/:/usr/local/lib/

export JAVA_HOME=/usr/share/jdk1.6.0_27

export HADOOP_HOME_WARN_SUPPRESS=1

export HADOOP_HEAPSIZE=2048

export HADOOP_OPTS=-server

export HADOOP_PID_DIR=/home/hadoop/hadoop-1.0.4/pids

export HADOOP_SSH_OPTS="-p 18933"

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/hadoop/hadoop-1.0.4/lib/native/Linux-amd64-64/:/usr/local/lib/

分发

将配置好的Hadoop分发到其它节点上去。

安装Zookeeper

范围：Zookeeper集群所有机器

操作身份：zookeeper用户

解压Zookeeper至/home/zookeeper目录下。

配置zoo.cfg

cp zoo-sample.cfg zoo.cfg

1	cp zoo-sample.cfg zoo.cfg

添加:

dataDir=/opt/hdfs/zookeeper/data
dataLogDir=/opt/hdfs/zookeeper/log
server.1=192.168.60.19:2888:3888
server.2=192.168.60.20:2888:3888
server.3=192.168.60.21:2888:3888

dataDir=/opt/hdfs/zookeeper/data

dataLogDir=/opt/hdfs/zookeeper/log

server.1=192.168.60.19:2888:3888

server.2=192.168.60.20:2888:3888

server.3=192.168.60.21:2888:3888

在dataDir目录下创建myid文件，内容为该机器对应的server.X中的X，如192.168.60.19机器的myid内容为1.

分发

将配置好的Zookeeper分发到其它节点上去，注意修改myid的值即可。

安装HBase

范围：Hadoop集群所有机器

操作身份：hadoop用户

解压HBase至/home/hadoop目录下。

配置hbase-env.sh

添加:

export JAVA_HOME=/usr/share/jdk1.6.0_27
export HBASE_MANAGES_ZK=false
export HADOOP_HOME=/home/hadoop/hadoop-1.0.4/
export HBASE_HOME=/home/hadoop/hbase-0.94.17/
export HBASE_SSH_OPTS="-p 18933"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/hadoop/hadoop-1.0.4/lib/native/Linux-amd64-64/:/usr/local/lib/
export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:/home/hadoop/hbase-0.94.17/lib/native/Linux-amd64-64/:/usr/local/lib/

export JAVA_HOME=/usr/share/jdk1.6.0_27

export HBASE_MANAGES_ZK=false

export HADOOP_HOME=/home/hadoop/hadoop-1.0.4/

export HBASE_HOME=/home/hadoop/hbase-0.94.17/

export HBASE_SSH_OPTS="-p 18933"

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/hadoop/hadoop-1.0.4/lib/native/Linux-amd64-64/:/usr/local/lib/

export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:/home/hadoop/hbase-0.94.17/lib/native/Linux-amd64-64/:/usr/local/lib/

配置hbase-site.xml

添加:

<property>
 <name>hbase.rootdir</name>
 <value>hdfs://master:9000/hbase</value>
</property>
<property>
 <name>hbase.cluster.distributed</name>
 <value>true</value>
</property>
<property>
 <name>hbase.master</name>
 <value>master:60000</value>
</property>
<property>
 <name>hbase.master.port</name>
 <value>60000</value>
</property>
<property>
 <name>hbase.zookeeper.property.clientPort</name>
 <value>2181</value>
</property>
<property>
 <name>hbase.zookeeper.quorum</name>
 <value>zookeeper01,zookeeper02,zookeeper03</value>
</property>
<property>
 <name>hbase.zookeeper.property.dataDir</name>
 <value>/opt/hdfs/zookeeper/data</value>
</property>

<name>hbase.rootdir</name>

<value>hdfs://master:9000/hbase</value>

</property>

<name>hbase.cluster.distributed</name>

</property>

<name>hbase.master</name>

<value>master:60000</value>

</property>

<name>hbase.master.port</name>

</property>

<name>hbase.zookeeper.property.clientPort</name>

</property>

<name>hbase.zookeeper.quorum</name>

<value>zookeeper01,zookeeper02,zookeeper03</value>

</property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/opt/hdfs/zookeeper/data</value>

</property>

配置regionservers

master
slave01
slave02
slave03
... ...

master

slave01

slave02

slave03

... ...

分发

将配置好的HBase分发到其它节点上去。

后置操作

范围：Hadoop集群所有机器

操作身份：hadoop用户

配置.bashrc

添加：

export HADOOP_PREFIX=/home/hadoop/hadoop-1.0.4
export HADOOP_CONF_DIR=$HADOOP_PREFIX/conf
JAVA_HOME=/usr/share/jdk1.6.0_27
PATH=$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME
export PATH
export CLASSPATH
export HBASE_HOME=/home/hadoop/hbase-0.94.17
export HBASE_CONF_DIR=$HBASE_HOME/conf
export PATH=$PATH:$HBASE_HOME/bin

export HADOOP_PREFIX=/home/hadoop/hadoop-1.0.4

export HADOOP_CONF_DIR=$HADOOP_PREFIX/conf

JAVA_HOME=/usr/share/jdk1.6.0_27

PATH=$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export JAVA_HOME

export PATH

export CLASSPATH

export HBASE_HOME=/home/hadoop/hbase-0.94.17

export HBASE_CONF_DIR=$HBASE_HOME/conf

export PATH=$PATH:$HBASE_HOME/bin

source ~/.bashrc

1	source ~/.bashrc

启动Hadoop

master机器上：

.～/hadoop-1.0.4/bin/start-all.sh

1	.～/hadoop-1.0.4/bin/start-all.sh

启动Zookeeper

所有zookeeper机器上：

.～/zookeeper-3.4.5/bin/zkServer.sh start

1	.～/zookeeper-3.4.5/bin/zkServer.sh start

启动HBase

master机器上：

.～/hbase-0.94.17/bin/start-hbase.sh

1	.～/hbase-0.94.17/bin/start-hbase.sh

最后

要是有自动化部署工具该多好，虽然有了ambari这个东西，但完全不好用有木有，反而使问题变得更多，而且大部分集群都是离线的吧。

补充——时间同步

由于HBase的原因，集群的机器必须时间同步，至少不能差太远，不然会导致无法启动。

范围：Hadoop集群所有机器

操作身份：root用户

master机器上：

若master机器可以联网，可以先与中国国家授时中心服务器同步下时间ntpdate -u 210.72.145.44。

vi /etc/ntp.conf

1	vi /etc/ntp.conf

修改并添加：

server 127.127.1.0
fudge 127.127.1.0 stratum 8
#server 0.rhel.pool.ntp.org
#server 1.rhel.pool.ntp.org
#server 2.rhel.pool.ntp.org
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

server 127.127.1.0

fudge 127.127.1.0 stratum 8

#server 0.rhel.pool.ntp.org

#server 1.rhel.pool.ntp.org

#server 2.rhel.pool.ntp.org

restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap

启动ntpd服务

service ntpd start

1	service ntpd start

slaves机器上：

ntpdate master
/sbin/hwclock -w

1 2	ntpdate master /sbin/hwclock -w

设置每小时和master机器同步一次时间:

crontab -e

1	crontab -e

添加：

0 */1 * * * /usr/sbin/ntpdate master

1	0 /1 * * /usr/sbin/ntpdate master

（转载本站文章请注明作者和出处程序员的自我修养 – SelfUp.cn ，请勿用于任何商业用途）

3条评论

11111说道：

2016年2月18日上午9:21

你好你这个文章里有点小错误你在 ssh免密码登录上写的是
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
其实应该是 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

回复
- yurnom说道：
  
  2016年3月8日上午11:57
  
  ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 这条命令用的是dsa。当然你也可以用rsa，那后面就相应的如你所说用rsa。
  
  回复
27说道：

2017年4月26日下午4:11

dsa会报错，rsa不会

回复

发表评论

点击这里取消回复。

张瑞昌: 有很多，比较常见的是Jacob迭代法，一次迭代O(n^3)，迭代次数不清楚。如果是手动算的话按照定义求就可以了
Anonymous:
lc277: 你好我想问下一般删除节点要多久，要删除的datanode大概用了 1t，解除授权已经30多小时还没完成，请问是出现什么问题了吗麻烦告诉下谢谢 qq1844554123
Anonymous: 你好我想问下一般删除节点要多久，要删除的datanode大概用了 1t，解除授权已经30多小时还没完成，请问是出现什么问题了吗
Anonymous:
李雪璇: 想要完整代码，可以帮忙发给我吗
Anonymous: 请问一下,那个 user的推荐结果楼主查看了么? 为什么输入数据最高是五分,输出结果都是7分8分啥的?怎么设置输出的分数的最大值?
Anonymous: 那个 user的推荐结果楼主查看了么? 为什么输入数据最高是五分,输出结果都是7分8分啥的?
Anonymous: stopGracefullyOnShutdown在yarn- client模式下我测试的无效，你的呢
Anonymous: 另外,import的lib包能否发个列表.
Anonymous: 部分程序已经无法使用, 另外你的import代码也应该放上来哈
wzq: 赞
增达网: 受教了！呵呵！
Anonymous:
27: dsa会报错，rsa不会
Anonymous: 看错了忽略我
Anonymous: UserSideCF这个类在哪里
晴子: 在主节点初始化CM5数据库的时候报错误：Verifying that we can write to /opt/cm-5.9.0/etc/cloudera-scm -server log4j:ERROR Could not...
zhangnew: 就4题
linxh: “ 但要是遇到预先并不知道数组的长度而又需要获取正确的（或者称之为原始的）split长度时，该如何处理呢。。？ ” 印象中可以split函数参数传-1？