[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件②
阿里云国际版折扣https://www.yundadi.com |
阿里云国际,腾讯云国际,低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号:monov8 飞机:@monov6 |
👨🎓👨🎓博主发量不足
个人简介耐心自信来源于你强大的思想和知识基础
📑📑本期更新内容安装Hadoop、配置Hadoop 配置文件②🔥🔥🔥
📑📑下篇文章预告安装Hadoop、配置Hadoop 配置文件③🔥🔥🔥
目录
二、配置 mapred-site.xml Mapreduce参数
一、配置 core-site.xml 文件参数
1 vi core-site.xml 集群全局参数
2 在文件中<configuration>和</configuration>一对标签之间追加以下配置信息
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.196.101:9000</value>
</property>
<property>
<name>io.file.buffer.size</name>
<value>131072</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/opt/module/hadoop/tmp</value>
</property>
注IP地址是master的
二、配置 mapred-site.xml Mapreduce参数
1 cp mapred-site.xml.template mapred-site.xml
2 vi mapred-site.xml
3 在文件中<configuration>和</configuration>一对标签之间追加以下配置信息
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
三、配置 yarn-site.xml
1 集群资源管理系统参数
vi yarn-site.xml
2 在文件中<configuration>和</configuration>一对标签之间追加以下配置信息
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>