hadoop分布式集群安装(1)

hadoop分布式集群安装的第一步是先准备好集群节点,即Linux主机节点。

1、搭建虚拟机:

虚拟机的安装比较简单,这里可以参考VMware虚拟机的安装

2、虚拟机安装Linux主机(centos系统)

虚拟机安装centos系统,这里可以参考VMware虚拟机安装centos

3、配置集群节点

这里我采用三台Linux节点搭建hadoop集群,分别为:

角色
主机名
IP地址
主节点 hdp-master-01 192.168.100.100
子节点 hdp-slave-01 192.168.100.101
子节点 hdp-slave-02 192.168.100.102

3.1、配置主节点名(hdp-master-01、hdp-slave-01、hdp-slave-02):

修改network配置文件,增加节点名,命令如下:

vi /etc/sysconfig/network

添加内容:

NETWORKING=yes
HOSTNAME=hdp-master-01

hadoop分布式集群安装

同理,对子节点添加节点名:hdp-slave-01、hdp-slave-02。

3.2、设定集群节点的静态IP:

修改ifcfg-ens33文件中的本机IP地址,命令如下:

vi /etc/sysconfig/network-scripts/ifcfg-ens33

hadoop分布式集群安装

同理,对集群的子节点都修改成静态IP,修改完后重启一下节点系统。

3.3、修改配置集群节点的主机信息:

打开主节点的host文件,配置hadoop集群节点的主机名对应的IP地址。命令如下:

 vi /etc/hosts

添加三台hadoop集群节点的主机名和对应的IP地址,如下图:

hadoop分布式集群安装

保存退出后,把主节点的hosts文件copy到两个子节点上,命令如下:(这里因为节点root用户设置了密码,还未做SSH免密码访问,所以暂且通过手动再修改一下其它子节点的hosts文件)

scp   /etc/hosts root@192.168.100.101:/etc/
scp   /etc/hosts root@192.168.100.102:/etc/

然后测试一下,各个集群节点通过主机名是否能够访问,如下:

3.4、查看、配置防火墙:

查看一下防火墙状态:

firewall-cmd --state

如果防火墙开启,那就关闭,并禁止开启启动:

systemctl stop firewalld.service
systemctl disable firewalld.service

3.5、查看集群节点时间是否同步:

查看时间的命令是:

date

hadoop分布式集群安装

假如,时间不同步,可以从yum管理器那边下载时间插件,命令如下:

yum install ntp 
ntpdate  -u  ntp1.aliyun.com

至此,hadoop分布式集群安装的第一步已经完成了,准备好了各个集群节点。