Hadoop3教程（二十一）：MapReduce中的压缩-CSDN博客
文章目录 123压缩概述在Map阶段启用在Reduce阶段启用 124压缩案例实操如何在Map输出端启用压缩如何在Reduce端启用压缩 参考文献 123压缩概述...
Hadoop面试题（HDFS篇）-CSDN博客
1.HDFS写流程?以及参与的组件 ----------------------流程图--------------------------- A(Client) -- 发送写请求 --> B(...
Hadoop3教程（三十二）：（生产调优篇）NameNode故障恢复与集群的安全模式-CSDN博客
文章目录 159NameNode故障处理160集群安全模式&磁盘修复集群安全模式磁盘修复等待安全模式 参考文献 159NameNode故障处理 如果NameNo...
spark获取hadoop服务token-CSDN博客
spark 作业一直卡在accepted 问题现象问题排查1.查看yarn app日志2.问题分析与原因 问题现象 通过yarn-cluster模式提交spark作业客...
Hadoop学习总结（搭建Hadoop集群(完全分布式模式)）-CSDN博客
学习搭建Hadoop集群完全分布式模式 链接https://pan.baidu.com/s/1wwTKk-XxHbccHjE-Xk2PTA 提取码q7j7 在SecurityC...
设置hadoop+安装java环境-CSDN博客
上一篇 http://t.csdnimg.cn/K3MFS 基本操作 接着上一篇 先导入之前导出的虚拟机 选择导出到对应的文件夹中 这里修改一下保存虚拟机的位置当然你默认也可以...
Hadoop3教程（二十七）：（生产调优篇）HDFS读写压测-CSDN博客
文章目录 146HDFS压测环境准备147HDFS读写压测写压测读压测 参考文献 146HDFS压测环境准备 对开发人员来讲压测这个技能很重要。 假设你刚搭建好一个集...
Hadoop3教程（二十六）：（生产调优篇）NameNode核心参数配置与回收站的启用-CSDN博客
文章目录 143NameNode内存配置144NN心跳并发配置145开启回收站参考文献 143NameNode内存配置 每个文件块的元数据等在内存中大概 占用150byte一...
Hadoop3教程（十一）：MapReduce的详细工作流程-CSDN博客
文章目录 94MR工作流程Map阶段Reduce阶段 参考文献 94MR工作流程 本小节将展示一下整个MapReduce的全工作流程。 Map阶段 首先是Map阶段...
Hadoop面试题（2）-CSDN博客
1.什么是数据倾斜如何处理数据倾斜 数据倾斜指的是在分布式计算中数据在某些节点上不均匀地分布导致某些节点的负载过重影响整体计算性能。 处理数据倾斜的方法主要包括以下几种 增加分区数量通过增加数据...