FREE教程
目录
  • 主页
  • Oracle教程
  • redis教程
  • hadoop
  • ODI教程
  • BIEE教程
hadoop教程
hadoop教程 初识hadoop hadoop vs 其它系统 Hadoop HDFS文件系统介绍 hadoop 详细安装步骤 hadoop分布式集群安装(1) hadoop安装(2)_配置节点SSH无密码访问 hadoop安装(3)_Linux配置JDK环境 hadoop安装(4)_下载安装配置hadoop hadoop不同版本区别 hadoop hdfs 命令行客户端(shell)常用使用命令 web界面访问hadoop hdfs管理界面 idea 访问hadoop hdfs方法 idea 搭建hadoop开发环境 java Api操作hdfs文件系统 MapReduce介绍 hadoop的Mapreduce运行机制(一) hadoop的Mapreduce运行机制(二) Mapreduce中Map任务的运行机制 Mapreduce中reduce任务的运行机制 Mapreduce入门程序wordcount
分类导航
Oracle基础教程 PL/SQL教程 Oracle管理 Oracle备份和恢复 Oracle RAC Oracle优化 Oracle技术 redis基础教程 hadoop教程
    首页->hadoop->hadoop教程->hadoop分布式集群安装(1)
hadoop 详细安装步骤
hadoop安装(2)_配置节点SSH无密码访问

hadoop分布式集群安装(1)

hadoop分布式集群安装的第一步是先准备好集群节点,即Linux主机节点。

1、搭建虚拟机:

虚拟机的安装比较简单,这里可以参考VMware虚拟机的安装。

2、虚拟机安装Linux主机(centos系统)

虚拟机安装centos系统,这里可以参考VMware虚拟机安装centos。

3、配置集群节点

这里我采用三台Linux节点搭建hadoop集群,分别为:

角色
主机名
IP地址
主节点
hdp-master-01
192.168.100.100
子节点
hdp-slave-01
192.168.100.101
子节点
hdp-slave-02192.168.100.102

3.1、配置主节点名(hdp-master-01、hdp-slave-01、hdp-slave-02):

修改network配置文件,增加节点名,命令如下:

vi /etc/sysconfig/network

添加内容:

NETWORKING=yes
HOSTNAME=hdp-master-01

1578392849334_085842.png

同理,对子节点添加节点名:hdp-slave-01、hdp-slave-02。

3.2、设定集群节点的静态IP:

修改ifcfg-ens33文件中的本机IP地址,命令如下:

vi /etc/sysconfig/network-scripts/ifcfg-ens33

1578395356912_575172.png

同理,对集群的子节点都修改成静态IP,修改完后重启一下节点系统。

3.3、修改配置集群节点的主机信息:

打开主节点的host文件,配置hadoop集群节点的主机名对应的IP地址。命令如下:

 vi /etc/hosts

添加三台hadoop集群节点的主机名和对应的IP地址,如下图:

1578393862684_243483.png

保存退出后,把主节点的hosts文件copy到两个子节点上,命令如下:(这里因为节点root用户设置了密码,还未做SSH免密码访问,所以暂且通过手动再修改一下其它子节点的hosts文件)

scp   /etc/hosts root@192.168.100.101:/etc/
scp   /etc/hosts root@192.168.100.102:/etc/

然后测试一下,各个集群节点通过主机名是否能够访问,如下:

1578396650079_395821.png

3.4、查看、配置防火墙:

查看一下防火墙状态:

firewall-cmd --state

如果防火墙开启,那就关闭,并禁止开启启动:

systemctl stop firewalld.service
systemctl disable firewalld.service

3.5、查看集群节点时间是否同步:

查看时间的命令是:

date

1578397475430_303718.png

假如,时间不同步,可以从yum管理器那边下载时间插件,命令如下:

yum install ntp 
ntpdate  -u  ntp1.aliyun.com

至此,hadoop分布式集群安装的第一步已经完成了,准备好了各个集群节点。

hadoop 详细安装步骤
hadoop安装(2)_配置节点SSH无密码访问
关于我们 | 免责声明 | Copyright ? 2018 FREE教程 | 备案号:闽ICP备18020855号-1
公安备案

闽公网安备 35020602001245号