Hadoop学习——Hadoop概述
| 阿里云国内75折 回扣 微信号：monov8 |
| 阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6 |
目录
大数据是指无法在一定时间用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据技术要解决的问题海量数据存储和海量数据计算。
(一)Hadoop概念
1Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
2主要解决海量数据的存储和海量数据的分析计算问题。
3广义上来说Hadoop通常是指一个更广泛的概念——Hadoop生态圈。
(二)Apache Hadoop下载网址
(三)Hadoop优势
1高可靠性Hadoop底层维护多个数据副本所以即使Hadoop某个计算元素或存储出现故障也不会导致数据的丢失。
2高扩展性在集群间分配任务数据可方便的扩展数以千计的节点。
3高效性在MapReduce的思想下Hadoop是并行工作的以加快任务处理速度。
4高容错性能够自动将失败的任务重新分配。
5低成本Hadoop架构允许部署在廉价的机器上。
(四)Hadoop架构
1.HDFS
Hadoop Distributed File System简称 HDFS是一个分布式文件系统。
1NameNode(nn)即数据都存储在什么位置它存储文件的元数据如文件名文件目录结构文件属性生成时间、副本数、文件权限以及每个文件的块列表和块所在的DataNode等。
2DataNode(dn)即具体存储数据它在本地文件系统存储文件块数据以及块数据的校验和。
3Secondary NameNode(2nn)每隔一段时间对NameNode元数据备份。
2.YARN
Yet Another Resource Negotiator 简称 YARN另一种资源协调者是 Hadoop 的资源管理器。
1ResourceManagerRM整个集群资源内存、CPU等的老大。
2NodeManagerN M单个节点服务器资源老大。
3ApplicationMasterAM单个任务运行的老大。
4Container容器相当一台独立的服务器里面封装了任务运行所需要的资源如内存、CPU、磁盘、网络等。1~8GB。
说明1客户端可以有多个
说明2集群上可以运行多个ApplicationMaster
说明3每个NodeManager上可以有多个Container
3.MapReduce
MapReduce 将计算过程分为两个阶段Map 和 Reduce
1Map 阶段并行处理输入数据。
2Reduce 阶段对 Map 结果进行汇总。
(五)Hadoop与关系型数据库对比
| RDBMS | Hadoop | |
| 格式 | 写数据时要求 | 读数据时要求 |
| 速度 | 读数据速度快 | 写数据速度快 |
| 数据监管 | 标准结构化 | 任意结构数据 |
| 数据处理 | 有限的处理能力 | 强大的处理能力 |
| 数据类型 | 结构化数据 | 结构化、半结构化、非结构化 |
| 应用场景 | 交互式OLAP分析 ACID事务处理 企业业务系统 | 处理非结构化数据 海量数据存储计算 |