hadoop

Hadoop安装

Posted by linhuanjie on 2019-03-09

Hadoop运行环境搭建

也可使用这篇手册

1. 虚拟机环境准备

1.克隆虚拟机

右键虚拟机名称 –> 管理 –> 克隆

1552109643291

2.修改克隆虚拟机的静态IP

1
步骤一：vim /etc/udev/rules.d/70-persistent-net.rules

1552110179714

​ 1）删除上图中红色圈中的文字；

​ 2）记录下蓝色圈中的网卡号（网卡的物理地址）；

​ 3）将 eth2 改为 eth0

1
步骤二：vim /etc/sysconfig/network-scripts/ifcfg-eth0

​ 1）将图中蓝色圈中位置，修改为步骤一记录下的网卡号；

​ 2）修改红色圈中的信息

3.修改主机名

1
2
vim /etc/sysconfig/network
vim /etc/hosts

4.关闭防火墙

1
chkconfig iptables off      #centos6永久关闭防火墙

5.创建用户

1
2
useradd lhj   #增加用户名为'lhj'的用户
passwd lhj

6.配置用户具有root权限

修改 /etc/sudoers 文件，找到root一行，在root下面添加一行，如下所示：

1
2
3
4
5
6
7
## Allow root to run any commands anywhere
root ALL=(ALL) ALL
lhj ALL=(ALL) ALL

如果Linux保存文件提示：readonly option is set （add！to override）
使用 :wq!
进行保存

7．在/opt目录下创建文件夹

（1）在/opt目录下创建module、software文件夹

1
2
[lhj@hadoop1 opt]$ sudo mkdir module
[lhj@hadoop1 opt]$ sudo mkdir software

（2）修改module、software文件夹的所有者cd 

1
2
3
4
5
[lhj@hadoop1 opt]$ sudo chown lhj:lhj module/ software/
[lhj@hadoop1 opt]$ ll
总用量 8
drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:37 module
drwxr-xr-x. 2 atguigu atguigu 4096 1月  17 14:38 software

2.安装JDK

1.卸载现有JDK

（1）查询是否安装Java软件：

1
[lhj@hadoop1 opt]$ rpm -qa | grep java

（2）如果安装的版本低于1.7，卸载该JDK：

1
[lhj@hadoop1 opt]$ sudo rpm -e 软件包

（3）查看JDK安装路径：

1
[lhj@hadoop1 ~]$ which java

2.使用工具将JDK上传到 /opt/software

3.在Linux系统下的opt目录中查看软件包是否导入成功

1
2
3
[lhj@hadoop1 opt]$ cd software/
[lhj@hadoop1 software]$ ls
hadoop-2.7.2.tar.gz  jdk-8u144-linux-x64.tar.gz

4.解压JDK到/opt/module目录下

1
[lhj@hadoop1 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5.配置JDK环境变量

​ （1）先获取JDK路径

1
2
[lhj@hadoop1 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

​ （2）打开/etc/profile文件

1
[lhj@hadoop1 software]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径

1
2
3
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

​ （3）保存后退出 :wq

​ （4）让修改后的文件生效

1
[lhj@hadoop1 jdk1.8.0_144]$ source /etc/profile

6.测试JDK是否安装成功

1
2
3
4
5
[lhj@hadoop1 jdk1.8.0_144]# java -version
java version "1.8.0_144"
# 注意：重启（如果java -version可以用就不用重启）
[lhj@hadoop1 jdk1.8.0_144]$ sync
[lhj@hadoop1 jdk1.8.0_144]$ sudo reboot

3.安装Hadoop

0.Hadoop下载地址：

https://archive.apache.org/dist/hadoop/common/hadoop-2.7.2/

1.使用工具将hadoop-2.7.2.tar.gz 上传到 /opt/software

2.进入到Hadoop安装包路径下

1
[lhj@hadoop1 ~]$ cd /opt/software/

3.解压安装文件到/opt/module下面

1
[lhj@hadoop1 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

4.查看是否解压成功

1
2
[lhj@hadoop1 software]$ ls /opt/module/
hadoop-2.7.2

5.将Hadoop添加到环境变量

（1）获取Hadoop安装路径

1
2
[lhj@hadoop1 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

（2）打开/etc/profile文件

1
[lhj@hadoop1 hadoop-2.7.2]$ sudo vi /etc/profile

在profile文件末尾添加JDK路径：（shitf+g）

1
2
3
4
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

（3）保存后退出 :wq

（4）让修改后的文件生效

[lhj@ hadoop1 hadoop-2.7.2]$ source /etc/profile

6.测试是否安装成功

1
2
[lhj@hadoop1 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2

7.重启(如果Hadoop命令不能用再重启)

1
2
[lhj@ hadoop1 hadoop-2.7.2]$ sync
[lhj@ hadoop1 hadoop-2.7.2]$ sudo reboot