程序员的自我修养
Home » Apache Hadoop, Apache HBase » Hadoop集群搭建全过程

Hadoop集群搭建全过程

3条评论2,983次浏览

最近需要紧急搭建Hadoop集群,以前搭建都没留下文档和记录,导致这次忙的晕头转向。现在终于搞定了,决定将全部过程记录下来,方便下次使用。

软件环境

  • 操作系统:Centos 6.4
  • JDK:1.6.0_27
  • Hadoop:1.0.4
  • HBase:0.94.17
  • Zookeeper:3.4.5

前置步骤

范围:Hadoop集群所有机器

操作身份:root用户

创建Hadoop用户

关闭SELINUX

修改:

关闭防火墙

修改最大句柄数等限制

加入:

加入:

修改Hosts+关闭IPv6

加入并修改,其中当前机器名需要放在127.0.0.1这一行前面,以免hbase报错,并删除IPv6行,类似下面代码:

修改主机名+关闭IPv6

加入并修改主机名:

关闭IPv6

加入:

挂载硬盘(可选)

可用fdisk -l查看未挂载盘的情况。

将sdb挂载到/opt/hdfs,需提前创建好目录,并将所有者改成hadoop用户。

加入:

安装JDK

重启

ssh免密码登录

范围:Hadoop集群所有机器

操作身份:hadoop用户

在master机器上操作,将生成的authorized_keys拷贝至slaves机器上,可能需要预先创建.ssh文件夹:

此时可以免密码登录,若不能,需至slaves机器上运行:

安装Hadoop

范围:Hadoop集群所有机器

操作身份:hadoop用户

解压Hadoop至/home/hadoop目录下。

配置mapred-site.xml

添加:

配置core-site.xml

添加:

配置hdfs-site.xml

添加:

配置masters

添加:

配置slaves

添加,这里把master也当做slave(虽然我一直反对这么做,但为了节约资源,只能这么妥协):

配置hadoop-env.sh

添加,ssh的端口为18933:

分发

将配置好的Hadoop分发到其它节点上去。

安装Zookeeper

范围:Zookeeper集群所有机器

操作身份:zookeeper用户

解压Zookeeper至/home/zookeeper目录下。

配置zoo.cfg

添加:

dataDir目录下创建myid文件,内容为该机器对应的server.X中的X,如192.168.60.19机器的myid内容为1.

分发

将配置好的Zookeeper分发到其它节点上去,注意修改myid的值即可。

安装HBase

范围:Hadoop集群所有机器

操作身份:hadoop用户

解压HBase至/home/hadoop目录下。

配置hbase-env.sh

添加:

配置hbase-site.xml

添加:

配置regionservers

分发

将配置好的HBase分发到其它节点上去。

后置操作

范围:Hadoop集群所有机器

操作身份:hadoop用户

配置.bashrc

添加:

启动Hadoop

master机器上:

启动Zookeeper

所有zookeeper机器上:

启动HBase

master机器上:

最后

要是有自动化部署工具该多好,虽然有了ambari这个东西,但完全不好用有木有,反而使问题变得更多,而且大部分集群都是离线的吧。

补充——时间同步

由于HBase的原因,集群的机器必须时间同步,至少不能差太远,不然会导致无法启动。

范围:Hadoop集群所有机器

操作身份:root用户

master机器上:

若master机器可以联网,可以先与中国国家授时中心服务器同步下时间ntpdate -u 210.72.145.44

修改并添加:

启动ntpd服务

slaves机器上:

设置每小时和master机器同步一次时间:

添加:

(转载本站文章请注明作者和出处 程序员的自我修养 – SelfUp.cn ,请勿用于任何商业用途)
标签:,
3条评论
  1. 11111说道:

    你好 你这个文章里有点小错误 你在 ssh免密码登录 上写的是
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    其实应该是 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

    • yurnom说道:

      ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 这条命令用的是dsa。当然你也可以用rsa,那后面就相应的如你所说用rsa。

  2. 27说道:

    :razz: dsa会报错,rsa不会

发表评论


profile
  • 文章总数:79篇
  • 评论总数:280条
  • 分类总数:31个
  • 标签总数:44个
  • 运行时间:1130天

大家好,欢迎来到selfup.cn。

这不是一个只谈技术的博客,这里记录我成长的点点滴滴,coding、riding and everthing!

最新评论
  • 张瑞昌: 有很多,比较常见的是Jacob迭代法,一次迭代O(n^3), 迭代次数不清楚。 如果是手动算的话按照定义求就可以了
  • Anonymous: :mrgreen:
  • lc277: 你好 我想问下一般删除节点要多久,要删除的datanode大概用了 1t,解除授权已经30多小时还没完成,请问是出现什么问题了吗 麻烦告诉下谢谢 qq1844554123
  • Anonymous: 你好 我想问下一般删除节点要多久,要删除的datanode大概用了 1t,解除授权已经30多小时还没完成,请问是出现什么问题了吗
  • Anonymous: :smile: :grin: :eek:
  • 李雪璇: 想要完整代码,可以帮忙发给我吗
  • Anonymous: 请问一下,那个 user的推荐结果楼主查看了么? 为什么输入数据 最高是五分,输出结果都是7分8分啥的?怎么设置输出的分数的最 大值?
  • Anonymous: 那个 user的推荐结果楼主查看了么? 为什么输入数据 最高是五分,输出结果都是7分8分啥的?
  • Anonymous: stopGracefullyOnShutdown在yarn- client模式下我测试的无效,你的呢
  • Anonymous: 另外,import的lib包能否发个列表.
  • Anonymous: 部分程序已经无法使用, 另外 你的import代码 也应该放上来哈
  • wzq: 赞
  • 增达网: 受教了!呵呵!
  • Anonymous: :!: :smile: :oops: :grin: :eek: :shock:
  • 27: :razz: dsa会报错,rsa不会
  • Anonymous: 看错了 忽略我
  • Anonymous: UserSideCF这个类在哪里
  • 晴子: 在主节点初始化CM5数据库的时候报错误:Verifying that we can write to /opt/cm-5.9.0/etc/cloudera-scm -server log4j:ERROR Could not...
  • zhangnew: 就4题 :?:
  • linxh: “ 但要是遇到预先并不知道数组的长度而又需要获取正确的(或者称之 为原始的)split长度时,该如何处理呢。。? ” 印象中可以split函数参数传-1?