Hadoop史诗级入门详解

1.Hadoop概述

1.1 什么是Hadoop

Hadoop是由apache基金会所开发的分布式系统基础架构Hadoop是使用Java编写允许分布在集群使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 Hadoop框架应用工程提供跨计算机集群的分布式存储和计算的环境。 Hadoop是专为从单一服务器到上千台机器扩展每个机器都可以提供本地计算和存储。

从自身含以上来说Hadoop更像一个生态圈咱们简称为Hadoop生态圈

1.2 Hadoop发展历史

• Hadoop创始人Doug Cutting为了实现跟Google相似的全文搜索功能他在Lucene框架的基础上进行了优化升级查询引擎和索引引擎而Hadoop的图标灵感来源于他儿子的小象玩偶。

• 2001年年底Lucene成为Apache基金会的一个子项目。

• 对于海量数据的场景Lucene框架面对与Google同样的难题比如存储海量数据困难检索海量速度慢。有时候博主感觉有了那些先驱者们世界的互联网才能发展那么快以此致敬那些计算机先驱者们。
  

• 学习和模仿Google解决这些问题的方法微型版Nutch

• 在某种意义上来说Google是Hadoop的思想之源
  可以在tor上查找Google在大数据方面的三篇论文
  GFS–>HDFS
  Map-Reduce–>MR
  BigTable–>HBase

• 在2003-2004年Google公开了部分GFS和MapReduce思想的细节以此为基础DougCutting等人用了2年业余时间实现了HDFS和MapReduce机制使Nutch性能规升。

• 2005年Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会。

• 2006年三月份Map-Reduce和Nutch Distributed Fie Svstem(NDFS)分别被纳入到Hadoop项目中Hadoop就此正式诞生标志着大数据时代来临。
  下面配上一张历史性的大象感觉这个大象比我i岁数大多了

1.3 Hadoop的三大发行版本

Hadoop三大发行版本Apache、Cloudera、Hortonworks。
Apache版本最原始最基础的版本对于入门学习最好。2006
Cloudera内部集成了很多大数据框架对应产品CDH。2008
Hortonworks文档较好对应产品HDP。2011
Hortonworks现在已经被Cloudera公司收购推出新的品牌CDP。

1Apache Hadoop

官网地址
http://hadoop.apache.org
下载地址
https://hadoop.apache.org/releases.html

2Cloudera Hadoop

官网地址
https://www.cloudera.com/downloads/cdh
下载地址
https://docs.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_6_download.html
12008年成立的Cloudera是最早将Hadoop商用的公司为合作伙伴提供Hadoop的商用解决方案主要是包括支持、咨询服务、培训。
22009年Hadoop的创始人Doug Cutting也加盟Cloudera公司。Cloudera产品主要为CDHCloudera ManagerCloudera Support
3CDH是Cloudera的Hadoop发行版完全开源比Apache Hadoop在兼容性安全性稳定性上有所增强。Cloudera的标价为每年每个节点10000美元。
4Cloudera Manager是集群的软件分发及管理监控平台可以在几个小时内部署好一个Hadoop集群并对集群的节点及服务进行实时监控。

3Hortonworks Hadoop

官网地址https://hortonworks.com/products/data-center/hdp/
下载地址https://hortonworks.com/downloads/#data-platform
12011年成立的Hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
2公司成立之初就吸纳了大约25名至30名专门研究Hadoop的雅虎工程师上述工程师均在2005年开始协助雅虎开发Hadoop贡献了Hadoop80%的代码。
3Hortonworks的主打产品是Hortonworks Data PlatformHDP也同样是100%开源的产品HDP除常见的项目外还包括了Ambari一款开源的安装和管理系统。
42018年Hortonworks目前已经被Cloudera公司收购。

1.4 Hadoop具有什么优势呢

1.高可靠性Hadoop底层维护了多个数据副本所以即使Hadoop集群某个节点计算元素或者存储出现了故障也不会导致数据丢失。

2.高扩展性在Hadoop集群间分配任务数据可方便的扩展以千为单位的节点。

3.高效性在MapReduce的思想下Hadoop的中是并行工作的用来加快任务的处理速度。

4.高容错性能够自动将失败的任务重新分配。

1.5 Hadoop的组成面试重点

在Hadoop1.x时代 Hadoop中的MapReduce同时处理业务逻辑运算和资源的调度耦合性较大。
在Hadoop2x时代增加了Yarn。Yarn只负责资源的调度 MapReduce只负责运算。
Hadoop3.x在组成上没有变化。

1.5.1 HDFS详解

Hadoop文件系统使用分布式文件系统设计开发。它是运行在普通硬件。不像其他的分布式系统HDFS是高度容错以及使用低成本的硬件设计。

HDFS拥有超大型的数据量并提供更轻松地访问。为了存储这些庞大的数据这些文件都存储在多台机器。这些文件都存储以冗余的方式来拯救系统免受可能的数据损失在发生故障时。 HDFS也使得可用于并行处理的应用程序。

1HDFS的特点

它适用于在分布式存储和处理。

Hadoop提供的命令接口与HDFS进行交互。

名称节点和数据节点的帮助用户内置的服务器能够轻松地检查集群的状态。

流式访问文件系统数据。

HDFS提供了文件的权限和验证。

2HDFS架构

HDFS遵循主从架构它具有以下元素。

1名称节点 - Namenode

名称节点是包含GNU/Linux操作系统和软件名称节点的普通硬件。它是一个可以在商品硬件上运行的软件。具有名称节点系统作为主服务器它执行以下任务

• 管理文件系统命名空间。 规范客户端对文件的访问。

• 它也执行文件系统操作如重命名关闭和打开的文件和目录。

2数据节点 - Datanode

Datanode具有GNU/Linux操作系统和软件Datanode的普通硬件。对于集群中的每个节点(普通硬件/系统)有一个数据节点。这些节点管理数据存储在它们的系统。

数据节点上的文件系统执行的读写操作根据客户的请求。

还根据名称节点的指令执行操作如块的创建删除和复制。

3块

一般用户数据存储在HDFS文件。在一个文件系统中的文件将被划分为一个或多个段和/或存储在个人数据的节点。这些文件段被称为块。换句话说数据的HDFS可以读取或写入的最小量被称为一个块。缺省的块大小为64MB但它可以增加按需要在HDFS配置来改变。

3HDFS的目标

故障检测和恢复由于HDFS包括大量的普通硬件部件故障频繁。因此HDFS应该具有快速和自动故障检测和恢复机制。

巨大的数据集HDFS有数百个集群节点来管理其庞大的数据集的应用程序。
数据硬件请求的任务当计算发生不久的数据可以高效地完成。涉及巨大的数据集特别是它减少了网络通信量并增加了吞吐量。

在这里配上尚硅谷的一个经典老图

1.5.2 初识MapReduce

MapReduce是一种处理技术和程序模型基于Java的分布式计算。 MapReduce算法包含了两项重要任务即Map 和 Reduce。Map采用了一组数据并将其转换成另一组数据其中各个元件被分解成元组(键/值对)。其次减少任务这需要从Map 作为输入并组合那些数据元组成的一组小的元组输出。作为MapReduce暗示的名称的序列在Map作业之后执行reduce任务。

MapReduce主要优点是它很容易大规模数据处理在多个计算节点。下面MapReduce模型中数据处理的原语被称为映射器和减速器。分解数据处理应用到映射器和减速器有时是普通的。但是编写MapReduce形式的应用扩展应用程序运行在几百几千甚至几万机集群中的仅仅是一个配置的更改。这个简单的可扩展性是吸引了众多程序员使用MapReduce模型。

MapReduce将计算过程分为两个阶段Map和Reduce
1Map阶段并行处理输入数据
2Reduce阶段对Map结果进行汇总

1.5.3 初识Yarn

Yet Another Resource Negotiator简称YARN 另一种资源协调者是Hadoop的资源管理器。

1.6 HDFS MapReduce Yarn三者的关系

2.大数据生态体系介绍

1SqoopSqoop是一款开源的工具主要用于在Hadoop、Hive与传统的数据库MySQL间进行数据的传递可以将一个关系型数据库例如 MySQLOracle 等中的数据导进到Hadoop的HDFS中也可以将HDFS的数据导进到关系型数据库中。
2FlumeFlume是一个高可用的高可靠的分布式的海量日志采集、聚合和传输的系统Flume支持在日志系统中定制各类数据发送方用于收集数据
3KafkaKafka是一种高吞吐量的分布式发布订阅消息系统
4SparkSpark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
5FlinkFlink是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。
6OozieOozie是一个管理Hadoop作业job的工作流程调度管理系统。
7HbaseHBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库它是一个适合于非结构化数据存储的数据库。
8HiveHive是基于Hadoop的一个数据仓库工具可以将结构化的数据文件映射为一张数据库表并提供简单的SQL查询功能可以将SQL语句转换为MapReduce任务进行运行。其优点是学习成本低可以通过类SQL语句快速实现简单的MapReduce统计不必开发专门的MapReduce应用十分适合数据仓库的统计分析。
9ZooKeeper它是一个针对大型分布式系统的可靠协调系统提供的功能包括配置维护、名字服务、分布式同步、组服务等。

结尾

今天关于Hadoop的入门讲解就更新完啦如果有建议直接评论博主就可以了博主会慢慢改进最后希望动动你们的码手给博主来个三连爱您♥
最后附上一个来自硅谷的大数据系统推荐技术栈