Hadoop部署本地模式

​ 本地模式即运行在单台机器上。没有分布式的思想使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便因此这种模式适合用在开发阶段。

平台软件说明

安装JDK

1. 卸载之前的JDK

   # 卸载之前的原因主要是需要保证安装的JDK版本的正确性。
   [root@qianfeng01 ~]# rpm -qa | grep jdk     		# 如果有,请卸载
   [root@qianfeng01 ~]# rpm -e xxxxxxxx --nodeps      	# 将查询到的内置jdk强制卸载
   复制代码

2. 上传JDK安装包到指定的路径

   使用MobaXterm或者FinalShell直接上传即可上传到 /root/softwares 下
   复制代码

3. 解压JDK到指定安装路径

   [root@qianfeng01 ~]# cd /root/softwares && tar -zxvf jdk-8u321-linux-x64.tar.gz -C /usr/local
   复制代码

4. 配置环境变量

   [root@qianfeng01 local]# vim /etc/profile
   
   ...上述内容省略在末尾添加即可...
   # Java Environment
   export JAVA_HOME=/usr/local/jdk1.8.0_321
   export PATH=$PATH:$JAVA_HOME/bin
   复制代码

5. 重新引导使得环境变量生效

   [root@qianfeng01 local]# source /etc/profile
   复制代码

6. 验证JDK是否配置完成

   [root@qianfeng01 local]# java -version
   复制代码

安装Hadoop

1. 上传Hadoop到指定的路径

   使用MobaXterm或者FinalShell上传到 /root/softwares 下即可
   复制代码

2. 解压安装

   [root@qianfeng01 ~]# cd /root/softwares && tar -zxvf hadoop-3.3.1.tar.gz -C /usr/local
   复制代码

3. 配置环境变量

   [root@qianfeng01 ~]# vim /etc/profile
   ...上述内容省略在最下方添加即可...
   # Hadoop Environment
   export HADOOP_HOME=/usr/local/hadoop-3.3.1
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   复制代码

4. 重新引导使得环境变量生效

   [root@qianfeng01 ~]# source /etc/profile
   复制代码

5. 验证是否配置成功

   [root@qianfeng01 ~]# hadoop version
   复制代码

Hadoop的目录说明Hadoop的目录说明

iShot2022-01-28 12.22.58

案例演示 

1. 新建一个目录存放文本文件

   # 将若干个存储单词的文件放入这个目录下
   [root@qianfeng01 ~]# mkdir ~/input
   复制代码

2. 执行wordcount

   [root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount ~/input ~/output
   复制代码

3. 查看结果

   [root@qianfeng01 ~]# cat ~/output/*
   复制代码

案例演示: pi 

直接计算pi的结果

[root@qianfeng01 ~]# hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 10

也可以观看视频