记录第一次搭建hadoop(hadoop2.9.2版本by虚拟机CentOS-6.5)伪分布式集群

1. 前期准备.

1. 对虚拟机的网络和ip进行设置
2. 使用root用户进入操作系统
3. 关闭防火墙-

1. chkconfig iptables off

4. 禁用selinux

1. vim /etc/sysconfig/selinux
2. 将SELINUX设置为disabled

5. 修改主机名

1. vim /etc/sysconfig/network
2. HOSTNAME=hadoop

6. 修改机名与ip的对应关系

1. vim /etc/hosts
2. 新开一行并添加 格式为（IP     机名）

7. 重启

1. reboot

8. ssh免密钥登录

1. ssh-keygen -t rsa（之后连续按回车）
2. ssh-copy-id ip地址（之后连续按回车）

9. 创建不同的目录

1. cd /home
2. rm -rf hadoop
3. mkdir data softwares tools
4. cd softwares
5. mkdir java8

10. 配置JDK

1. 安装文件导入软件

1. yum -y install lrzsz
2. cd /home/tools
3. 选中JDK1.8并添加

2. 将添加的JDK解压到softwares/java8

1. tar -zxf JDK -C ../sortwares/java8

3. cd ../softwares/java8
4. pwd 将路径进行复制
5. vim /etc/profile
6. 在最后一行添加

1. export JAVA_HOME=之前复制的java8路径
2. export PATH=$PATH:$JAVA_HOME/bin

7. source /etc/profile
8. java -version

11. 配置 apache-maven(3.6.1) + protobuf(3.1.0) + findbugs(3.0.1)

1. 返回到tools目录下

1. cd /home/tools

2. 上传上述三个压缩包

1. rz

3. 对压缩包进行解压

1. tar -zxf xxxx -C ../softwares

4. cd ../softwares
5. apache-maven和findbugs配置过程和JDK相同
6. 配置protobuf

1. 进入到该软件目录下
2. 运行 ./configure 进行查看
3. yum -y install automake libtool cmake ncurses_devel openssl-devel lzo-devel zlib-devel gcc gcc-c++
4. 再一次运行 ./configure
5. make install 等待安装完成

2. 配置文件

1. 用notepad++与服务器建立连接
2. 在hadoop-env.sh将export JAVA_HOME设置为/home/softwares/java8
3. 在core-site.xml添加

1. <property><name>fs.defaultFS</name><value>hdfs://hadoop:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/softwares/hadoop-2.9.2/data/tmp</value></property>

4. 在hdfs-site.xml添加

1. <property><name>dfs.replication</name><value>1</value></property>

5. 在hadoop目录下创建一个data/tmp文件夹

1. mkdir -p data/tmp

6. 格式化文件系统

1. bin/hdfs namenode -format

7. 运行文件系统

1. sbin/start-dfs.sh

8. 配置yarn

1. 修改mapred-site.xml

1. <property><name>mapreduce.framework.name</name><value>yarn</value></property>

2. 修改yarn-site.xml

1. <property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
2. 启动yarn

1. sbin/start-yarn.sh