hadoop分布式集群安装的第一步是先准备好集群节点,即Linux主机节点。
虚拟机的安装比较简单,这里可以参考VMware虚拟机的安装。
虚拟机安装centos系统,这里可以参考VMware虚拟机安装centos。
这里我采用三台Linux节点搭建hadoop集群,分别为:
角色 | 主机名 | IP地址 |
主节点 | hdp-master-01 | 192.168.100.100 |
子节点 | hdp-slave-01 | 192.168.100.101 |
子节点 | hdp-slave-02 | 192.168.100.102 |
3.1、配置主节点名(hdp-master-01、hdp-slave-01、hdp-slave-02):
修改network配置文件,增加节点名,命令如下:
vi /etc/sysconfig/network
添加内容:
NETWORKING=yes HOSTNAME=hdp-master-01
同理,对子节点添加节点名:hdp-slave-01、hdp-slave-02。
3.2、设定集群节点的静态IP:
修改ifcfg-ens33文件中的本机IP地址,命令如下:
vi /etc/sysconfig/network-scripts/ifcfg-ens33
同理,对集群的子节点都修改成静态IP,修改完后重启一下节点系统。
3.3、修改配置集群节点的主机信息:
打开主节点的host文件,配置hadoop集群节点的主机名对应的IP地址。命令如下:
vi /etc/hosts
添加三台hadoop集群节点的主机名和对应的IP地址,如下图:
保存退出后,把主节点的hosts文件copy到两个子节点上,命令如下:(这里因为节点root用户设置了密码,还未做SSH免密码访问,所以暂且通过手动再修改一下其它子节点的hosts文件)
scp /etc/hosts root@192.168.100.101:/etc/ scp /etc/hosts root@192.168.100.102:/etc/
然后测试一下,各个集群节点通过主机名是否能够访问,如下:
3.4、查看、配置防火墙:
查看一下防火墙状态:
firewall-cmd --state
如果防火墙开启,那就关闭,并禁止开启启动:
systemctl stop firewalld.service systemctl disable firewalld.service
3.5、查看集群节点时间是否同步:
查看时间的命令是:
date
假如,时间不同步,可以从yum管理器那边下载时间插件,命令如下:
yum install ntp ntpdate -u ntp1.aliyun.com
至此,hadoop分布式集群安装的第一步已经完成了,准备好了各个集群节点。