大数据开发中的秘密武器:探索Hadoop纠删码的奇妙世界-CSDN博客

随着大数据技术的发展HDFS作为Hadoop的核心模块之一得到了广泛的应用。为了系统的可靠性HDFS通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本这也使得存储利用率仅为1/3每TB数据都...

【数据仓库】hadoop生态圈与数据仓库-CSDN博客

文章目录 1.大数据定义2. Hadoop与数据仓库3. 关系数据库的可扩展性瓶颈4. CAP理论5. Hadoop数据仓库工具5.1. RDS和TDS5.2. 抽取过程5.3. 转换与...

大数据Hadoop之——部署hadoop+hive+Mysql环境(window11)-CSDN博客

一、安装JDK8 【温馨提示】对应后面安装的hadoop和hive版本这里使用jdk8这里不要用其他jdk了可能会出现一些其他问题。 1JDK下载地址 Java Downloads...

Hadoop3教程(十五):MapReduce中的Combiner-CSDN博客

文章目录 103Combiner概述什么是CombinerCombiner有什么用处Combiner有什么特点如何自定义Combiner 104Combiner合并案例实操如何从日...

Hadoop3教程(三):HDFS文件系统常用命令一览-CSDN博客

文章目录 语法格式44 HDFS的文件系统命令开发重点参考文献 语法格式 hdfs命令的完整形式 hdfs [options] subcommand [subcommand...

统计Hadoop空间增量

#!/bin/bash # 设置Hadoop路径 hadoop_path="/path/to/hadoop" # 获取当前日期 current_date=$(da...

Hadoop3教程(十六):MapReduce中的OutputFormat

文章目录 105OutputFormat概述106自定义OutputFormat案例需求分析107/108自定义OutputFormat案例实现自定义Mapper自定义Reducer自定...

Hadoop3教程(十七):MapReduce之ReduceJoin案例分析-CSDN博客

文章目录 113ReduceJoin案例需求分析114ReduceJoin案例代码实操 - TableBean115ReduceJoin案例代码实操 - TableMapper116Re...

2.3 初探Hadoop世界-CSDN博客

文章目录 零、学习目标一、导入新课二、新课讲解一Hadoop的前世今生1、Google处理大数据三大技术2、Hadoop如何诞生3、Hadoop主要发展历程 二Hadoop的优势...

Hadoop 安装教程 (Mac m1/m2版)

安装JDK1.8 这里最好是安装1.8版本的jdk 1. 进入官网Java Downloads | Oracle Hong Kong SAR, PRC,下滑到中间区域找到JDK8 2.选择m...