• 1 安装前准备
  • 1.1 下载安装包
  • 1.2 jdk安装
  • 1.3 免密登录设置
  • 2. 安装hadoop
  • 2.1 上传安装包
  • 2.2 解压
  • 3、配置
  • 3.1环境变量配置
  • 3.1 hadoop-env.sh 配置JAVA_HOME
  • 3.2core-site.xml配置
  • 3.3 slaves文件配置
  • 3.4 格式化
  • 3.5 本地host文件配置
  • 3.6 启动
  • 3.7 访问验证


1 安装前准备

1.1 下载安装包

官网下载地址:https://hadoop.apache.org/releases.html。
本实例下载2.6.5

1.2 jdk安装

本实例通过rpm方式安装jdk1.8,需要准备jdk1.8rpm安装包
安装前先检查是否已安装jdk

rpm -qa|grep java

hadoop 伪分布式搭建实例_java


上图结果表示没有安装过

rpm -ivh jdk-8u221-linux-x64.rpm

hadoop 伪分布式搭建实例_hadoop 安装实例_02


然后配置环境变量

hadoop 伪分布式搭建实例_hadoop 安装实例_03


查看java 最终的安装路径

ls -l /usr/java/

hadoop 伪分布式搭建实例_JAVA_04


可以看到 java 安装路径是为 /user/java/default 通过软连接 最终指向了/usr/java/jdk1.8.0_221-amd64,

所以JAVA_HOME配置 /user/java/default 或者 /usr/java/jdk1.8.0_221-amd64都可以。

vim /etc/profile

在配置文件最后添加

export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$PATH:$JAVA_HOME/bin

让配置文件生效

source /etc/profile

检查安装是否成功

jps
java -version

hadoop 伪分布式搭建实例_java_05

1.3 免密登录设置

如果不设置的话,后面启动hadoop时需要多次输入密码 启动namenode、datanode、SecondaryNameNode都需要输入密码
进入home目录
删除.ssh 目录

rm -rf .ssh/

hadoop 伪分布式搭建实例_java_06

ssh-keygen  -t  dsa  -P  ''  -f  ~/.ssh/id_dsa
cat  ~/.ssh/id_dsa.pub  >>  ~/.ssh/authorized_keys

hadoop 伪分布式搭建实例_hadoop 安装实例_07

2. 安装hadoop

2.1 上传安装包

2.2 解压

tar -zxvf hadoop-2.6.5.tar.gz -C /opt/app/

hadoop 伪分布式搭建实例_java_08

验证解压是否无问题
hdfs 然后再输入table 键会出现如下结果

hadoop 伪分布式搭建实例_hadoop_09


或者 输入 hadoop 在table出现如下结果

hadoop 伪分布式搭建实例_JAVA_10

3、配置

3.1环境变量配置

vim /etc/profile

添加hadoop 解压路径

export HADOOP_HOME=/opt/app/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

使配置文件生效

source /etc/profile

hadoop 伪分布式搭建实例_hadoop 安装实例_11

3.1 hadoop-env.sh 配置JAVA_HOME

vim /opt/app/hadoop-2.6.5/etc/hadoop/hadoop-env.sh

hadoop 伪分布式搭建实例_hadoop 安装实例_12

3.2core-site.xml配置

vim /opt/app/hadoop-2.6.5/etc/hadoop/core-site.xml

configuration节点配置如下,node5 指安装hadoop机器的主机名称

<configuration>
  <!-- 指定访问HDFS的时候路径的默认前缀  /  hdfs://node1:9000/ -->
  <property>
<name>fs.defaultFS</name>
<value>hdfs://node5:9000</value>
  </property>
  <!-- 指定hadoop的临时目录位置,它会给namenode、secondarynamenode以及datanode的存储目录指定前缀 -->
  <property>
<name>hadoop.tmp.dir</name>
<value>/var/wh/hadoop/pseudo</value>
  </property>
</configuration>

hadoop 伪分布式搭建实例_hadoop_13

3.3 slaves文件配置

这里node5也是本机主机名

vim /opt/app/hadoop-2.6.5/etc/hadoop/slaves
node5

3.4 格式化

hdfs  namenode  -format

hadoop 伪分布式搭建实例_hadoop_14


hadoop 伪分布式搭建实例_hadoop 安装实例_15

3.5 本地host文件配置

C:\Windows\System32\drivers\etc\hosts

文件中添加下面hadoop安装主机的名映射

hadoop 伪分布式搭建实例_java_16

3.6 启动

start-dfs.sh

hadoop 伪分布式搭建实例_java_17

3.7 访问验证

浏览输入http://node5:50070/

hadoop 伪分布式搭建实例_hadoop_18


表示安装成功


阿里云国内75折 回扣 微信号:monov8
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6
标签: Hadoop