hadoop 伪分布式搭建实例
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |
- 1 安装前准备
- 1.1 下载安装包
- 1.2 jdk安装
- 1.3 免密登录设置
- 2. 安装hadoop
- 2.1 上传安装包
- 2.2 解压
- 3、配置
- 3.1环境变量配置
- 3.1 hadoop-env.sh 配置JAVA_HOME
- 3.2core-site.xml配置
- 3.3 slaves文件配置
- 3.4 格式化
- 3.5 本地host文件配置
- 3.6 启动
- 3.7 访问验证
1 安装前准备
1.1 下载安装包
官网下载地址:https://hadoop.apache.org/releases.html。
本实例下载2.6.5
1.2 jdk安装
本实例通过rpm方式安装jdk1.8,需要准备jdk1.8rpm安装包
安装前先检查是否已安装jdk
rpm -qa|grep java
上图结果表示没有安装过
rpm -ivh jdk-8u221-linux-x64.rpm
然后配置环境变量
查看java 最终的安装路径
ls -l /usr/java/
可以看到 java 安装路径是为 /user/java/default 通过软连接 最终指向了/usr/java/jdk1.8.0_221-amd64,
所以JAVA_HOME配置 /user/java/default 或者 /usr/java/jdk1.8.0_221-amd64都可以。
vim /etc/profile
在配置文件最后添加
export JAVA_HOME=/usr/java/jdk1.8.0_221-amd64
export PATH=$PATH:$JAVA_HOME/bin
让配置文件生效
source /etc/profile
检查安装是否成功
jps
java -version
1.3 免密登录设置
如果不设置的话,后面启动hadoop时需要多次输入密码 启动namenode、datanode、SecondaryNameNode都需要输入密码
进入home目录
删除.ssh 目录
rm -rf .ssh/
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
2. 安装hadoop
2.1 上传安装包
2.2 解压
tar -zxvf hadoop-2.6.5.tar.gz -C /opt/app/
验证解压是否无问题
hdfs 然后再输入table 键会出现如下结果
或者 输入 hadoop 在table出现如下结果
3、配置
3.1环境变量配置
vim /etc/profile
添加hadoop 解压路径
export HADOOP_HOME=/opt/app/hadoop-2.6.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
使配置文件生效
source /etc/profile
3.1 hadoop-env.sh 配置JAVA_HOME
vim /opt/app/hadoop-2.6.5/etc/hadoop/hadoop-env.sh
3.2core-site.xml配置
vim /opt/app/hadoop-2.6.5/etc/hadoop/core-site.xml
configuration节点配置如下,node5 指安装hadoop机器的主机名称
<configuration>
<!-- 指定访问HDFS的时候路径的默认前缀 / hdfs://node1:9000/ -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node5:9000</value>
</property>
<!-- 指定hadoop的临时目录位置,它会给namenode、secondarynamenode以及datanode的存储目录指定前缀 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/var/wh/hadoop/pseudo</value>
</property>
</configuration>
3.3 slaves文件配置
这里node5也是本机主机名
vim /opt/app/hadoop-2.6.5/etc/hadoop/slaves
node5
3.4 格式化
hdfs namenode -format
3.5 本地host文件配置
C:\Windows\System32\drivers\etc\hosts
文件中添加下面hadoop安装主机的名映射
3.6 启动
start-dfs.sh
3.7 访问验证
浏览输入http://node5:50070/
表示安装成功
阿里云国内75折 回扣 微信号:monov8 |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |