hadoop 详细安装步骤

hadoop介绍章节和hadoop HDFS文件系统的介绍中我们对hadoop有了一点理论上的认知,那么本文给大家讲解一下hadoop是如何安装和运行的。


hadoop官网给我提供了三种安装模式,分别为:

单机模式不能使用HDFS,只能使用MapReduce,所以单机模式最主要的目的是在本机调试mapreduce代码.

伪分布式模式:用多个线程模拟多台真实机器,即模拟真实的分布式环境。

完全分布式模式:用多台机器(或启动多个虚拟机)来完成部署集群。

现实的生产环境当中我们都是为了利用hadoop作为分布式系统的解决方案,因此本文将利用虚拟机模拟搭建多台机器来完成完全分布式模式的集群部署。

hadoop虽然支持window系统的搭建,但是为了更贴近生产情况,我们也将采用Linux系统作为安装hadoop的操作系统。

hadoop大体安装步骤如以下几个部分:

1、准备hadoop集群节点,配置相关节点(Linux主机)的配置信息。

2、安装SSH,并配置SSH无密码访问,连通各个节点。

3、配置节点JDK环境

4、下载安装hadoop

5、配置启动hadoop。