Hadoop学习总结（搭建Hadoop集群(伪分布式模式)）-CSDN博客

阿里云国内75折回扣微信号：monov8

阿里云国际，腾讯云国际，低至75折。AWS 93折免费开户实名账号代冲值优惠多多微信号：monov8 飞机：@monov6

如果前面有搭建过Hadoop集群完全分布式模式现在搭建Hadoop伪分布式模式可以选择直接克隆完全分布式模式中的主节点(hadoop001)。以下是在搭建过完全分布式模式下的Hadoop集群的情况进行

伪分布式模式下的Hadoop功能与完全分布式模式下的Hadoop功能相同。

一、克隆主节点为hadoop0

对完全分布式模式下的Hadoop集群主节点(hadoop001)进行克隆

点击完成后等待克隆

克隆完毕

二、修改主机名和hosts、宿主电脑的hosts

IP不用修改还是使用hadoop001的IP所以可以使用远程连接工具Xshell或者SecurityCRT进行修改

1、修改主机名为hadoop0

vi /etc/hostname

2、修改主机hosts

vi /etc/hosts

修改完成后进行重启可以看到主机名为hadoop0

3、修改宿主机的hosts

通过win+R进入命令提示符页面然后ping通虚拟机

三、重做免密登录

使用远程连接工具Xshell或者SecurityCRT

因为是通过对完全分布式模式下的Hadoop集群主节点(hadoop001)克隆的hadoop0原来已经进行过免密登录了可以删除原来生成的密钥重新生成新密钥再进行发密钥

以下删除原来生成的密钥重新生成新密钥再进行发密钥

删除原来的密钥

rm -rf .ssh

重新生成密钥

ssh-keygen -t rsa

一直回车

查看

进入 .ssh

cd .ssh

发密钥ssh-copy-id hadoop0

ssh-copy-id hadoop0

进行查看是否生成

cat authorized_keys

四、修改Hadoop集群节点

进入Hadoop里

cd $HADOOP_HOME/etc/hadoop

1、修改 core-site.xml 文件

 vi core-site.xml

该文件是Hadoop的核心配置文件其目的是配置 HDFS 地址、端口号以及临时文件目录。配置文件中配置了 HDFS 的主进程NameNode运行主机也就是此次Hadoop集群的主节点位置同时配置了Hadoop运行时生成数据的临时文件。

添加以下内容
<property>
    <!--用于设置Hadoop的文件系统由URL指定-->
    <name>fs.defaultFS</name>
    <!--用于指定namenode地址在hadoop0机器上-->
    <value>hdfs://hadoop0:9000</value>
</property>
<!--配置Hadoop的临时目录,默认/tmp/hadoop-${user.name}-->
<property>
    <name>hadoop.tmp.dir</name>
    <!--Hadoop安装路径-->
    <value>/opt/module/hadoop-2.7.4/data</value>
</property>

2、修改 hdfs-site.xml 文件

vi hdfs-site.xml

该文件作用于设置 HDFS 的NameNode 和 DataNode 两大进程。

添加以下内容
<property>
    <!--指定 HDFS 副本的数量-->
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!--secondary namenode 所在主机的IP和端口-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop0:50090</value>
</property>

3、修改 yarn-site.xml 文件

vi yarn-site.xml

本文件是 YARN 框架的核心配置文件需要指定 YARN 集群的管理者。在配置文件中配置 YARN 的主进程 ResourceManager 运行主机为hadoop0同时配置了 NodeManager 运行时的附属服务需要配置为 mapreduce_shuffle 才能正常运行 MapReduce 默认程序。

添加以下内容
<property>
    <!--指定 YARN集群的管理者(ResourceManager)的地址-->
    <name>yarn.resourcemanager.hostname</name>
   <!-- 主机名-->
    <value>hadoop0</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>