Hadoop基础之《（1）—大数据基本概念》

一、Hadoop
1、Hadoop大数据框架处理分布式环境下数据存储和计算
2、Hadoop的HDFS处理存储
3、Hadoop的MapReduce处理计算
map让任务数据拆分到每一台去执行
reduce处理后的任务合并
4、Hive作用是在Hadoop上能够让用户来写SQL处理数据
Hive的执行引擎会把SQL语句翻译成一个MapReduce的任务去执行

二、Spark
1、Spark本身也是一个计算框架它和Hadoop的MapReduce对比相当于MapReduce升级版。不同点是Spark是一个基于内存的计算MapReduce是基于磁盘的计算Spark速度会比Hadoop快2-3倍
2、Spark也有Spark SQL的这个模块让用户在Spark的API上面去写SQL

三、Hadoop的HDFS
1、Hadoop的分布式文件存储系统
2、数据分布在许多计算机中以块的形式存储但是用户看起来就是一块磁盘

四、Hadoop的MapReduce
MapReduce将数据分成多个部分并在不同的数据节点上分别处理每个部分然后将各个结果汇总并输出

五、Hadoop的Yarn
1、资源管理器分配资源
2、节点管理器处理节点并监控节点中的资源使用情况
3、应用管理器管理应用
4、容器包含物理资源的集合

5、处理创建的MapReduce任务
1应用管理器从节点管理器请求容器
2节点管理器获得资源后将它们发送给资源管理器
3这样Yarn在Hadoop中就可以处理任务请求并管理集群资源

六、Hadoop其他管理、处理、分析工具
Hive、Pig、Spark、Flume、Scoop等等

七、Flink
用于实时计算可以与yarn集成

八、Hbase
用于海量存储