今天重装了下hadoop,特在此记录下!

一.准备好hdk和hadoop安装文件,上传到linux

linux安装hadoop详细步骤(伪分布式)_xml

二.安装jdk,我之前博客有专门写过安装jdk步骤,这里就不重复了,有需要的小伙伴可以去翻翻之前的

三.安装hadoop

    1.解压hadoop tar -zxvf hadoop文件

    2.修改配置文件/usr/wangjian/software/hadoop/hadoop-2.10.0/etc/hadoop

hadoop-env.sh

vim hadoop-env.sh
         export JAVA_HOME=/usr/wangjian/software/jdk/jdk1.8.0_241

       

第二个:core-site.xml

    

<!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
         <property>
             <name>fs.defaultFS</name>
             <value>hdfs://wangjian:9000</value>
         </property>
         <!-- 指定hadoop运行时产生文件的存储目录 -->
         <property>
             <name>hadoop.tmp.dir</name>
             <value>/usr/wangjian/software/hadoop/hadoop-2.10.0/data</value>
     </property>

第三个:hdfs-site.xml  
  

<!-- 指定HDFS副本的数量 -->
         <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>

第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
      

mv mapred-site.xml.template mapred-site.xml
         vim mapred-site.xml
         <!-- 指定mr运行在yarn上 -->
         <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
     </property>

第五个:yarn-site.xml
  

<!-- 指定YARN的老大(ResourceManager)的地址 -->
         <property>
             <name>yarn.resourcemanager.hostname</name>
             <value>wangjian</value>
     </property>
         <!-- reducer获取数据的方式 -->
     <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
      </property>

3.将hadoop添加到环境变量

linux安装hadoop详细步骤(伪分布式)_xml_02

4.格式化namenode(是对namenode进行初始化)

    hadoop namenode -format

linux安装hadoop详细步骤(伪分布式)_xml_03

5.启动hadoop     cd /usr/wangjian/software/hadoop/hadoop-2.10.0/sbin
        先启动HDFS
        sbin/start-dfs.sh
        需要输入几次登录密码

        jps查看启动程序

linux安装hadoop详细步骤(伪分布式)_linux_04


        再启动YARN

        sbin/start-yarn.sh

       输入密码

6.验证是否启动

jps

linux安装hadoop详细步骤(伪分布式)_HDFS_05

在浏览器输入地址http://192.168.36.239:50070 (HDFS管理界面)

linux安装hadoop详细步骤(伪分布式)_linux_06

http://192.168.36.129:8088 (MR管理界面)

linux安装hadoop详细步骤(伪分布式)_HDFS_07

阿里云国内75折 回扣 微信号:monov8
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6
标签: linuxHadoop