hadoop 相关环境搭建
21.Windows下安装Hadoop Hive MySQL版_hadoop hive windows安装_学无止境的大象的博客-CSDN博客 https://www.cnblogs.com/...
大数据处理架构Hadoop
大数据处理架构 Hadoop 概述Hadoop简介Hadoop的特性 Hadoop项目架构Hadoop的安装和使用Hadoop的安装方式Hadoop的安装配置单机/伪分布式SSH登...
Hadoop常用命令
Hadoop常用命令 1.创建文件夹2.上传文件的两种方式3.上传文件夹4.删除目录dir:5.查看目录 文件6.查看文件内容7.下载文件8.查看文件夹下的文件数量9.Hadoop上移动...
Hadoop的shuffle过程及调优
MapReduce 中的Shuffle 发生在 map 输出到 reduce 输入的过程它的中文解释是 “洗牌”顾名思义该过程涉及数据的重新分配主要分为两部分 map 任务输出的数据分组、排序写入本...
构建大数据环境：Hadoop、MySQL、Hive、Scala和Spark的安装与配置
前言 在当今的数据驱动时代构建一个强大的大数据环境对于企业和组织来说至关重要。本文将介绍如何安装和配置Hadoop、MySQL、Hive、Scala和Spark以搭建一个完整的大数据环境。 简介...
CENTOS上的网络安全工具（二十四）Windows下的Hadoop+Spark编程环境构建
前面我们搭建了hadoop集群spark集群也利用容器构建了spark的编程环境。但是一般来说就并行计算程序的开发一刚开始一般是在单机上的比如hadoop的single node。但是...
Hadoop集群搭建
系列文章目录 Ubuntu常见基本问题 Hadoop3.1.3安装单机、伪分布 Hadoop集群搭建 HBase2.2.2安装单机、伪分布 Zookeeper集群搭建 HBase集群搭建 Spark...
Hadoop（HA）
文章目录 1、HA 概述2、HDFS-HA 集群搭建3、HDFS-HA 核心问题4、HDFS-HA 手动模式4.1 环境准备4.2 规划集群4.3 配置 HDFS-HA 集群4.4 启动...
linux搭建hadoop集群
linux搭建hadoop集群 1、创建4台虚拟机2、修改主机名3、配置网络4、配置hosts文件5、分配本地网络给虚拟机6、下载jdkhadoop压缩包7、用xftp传输到虚拟机8、配...
hadoop配置
提前下载好hadoop的tar包 上传安装包到hadoop01 解压到指定目录 tar -zxvf /bigdata/soft/hadoop-3.3.3.tar.gz -C /b...