Hadoop 复习 ---- chapter01【大数据概念】

1. 什么是大数据

大数据的简介

指“无法由现有软件工具进行提取、存储、搜索、共享、分析和处理的庞大而复杂的数据集”。
通常由四个 V 来描述大量数据、多样化、价值密度低、速度快。

• 大量数据valume从 TB 级别跃升到 PB 级别
• 多样化variety网络日志、视频、图片、地理位置
• 价值密度低value价值密度与数据总量成反比。
• 速度快velocity大数据区分为传统数据挖掘的显著特征–一秒定律。

从IT过渡到DT

• IT时代信息处理技术以自我控制和自我管理为主导。
• DT时代DT数据技术时代是一种数据处理技术它是一种服务于公众并刺激生产力的技术。

2. Hadoop生态系统工具

HADOOP

• Hadoop 是由 Apache Foundation 开发的分布式系统基础结构。
• MapReduce 框架可以将应用程序分解为许多并行计算命令从而在大量计算节点上运行非常大的数据集使用“分而治之”的思想Map 用于分隔大数据Reduce 用于合并 Map 计算的结果。
• HDFS分布式文件系统为海量数据和大文件提供存储服务将大文件大于 64M/128M拆分为块每块 64M或者128M多节点存放。

HBASE

• HBASE 是 apache 的开源 KVKey-Value数据库。它基于 HDFS为数据库系统提供了可靠性、高性能、列存储、可伸缩性和实时读写功能。
• 它只能通过行键和行键范围来搜索数据。它支持单行事务。主要用于存储非结构化和半结构化的松散数据。

HBASE 的特征

• 大一个表可以有上亿行上百万列
• 面向列面向列族的存储和权限控制列族独立检索
• 稀疏对于为空null的列并不占用存储空间因此表可以设计的非常稀疏

HIVE

• Apache Hive 数据仓库软件提供对存储在分布式中的大型数据集的查询和管理它本身是建立在 Apache Hadoop 之上。
• 可以对数据进行提取、转化、加载。
• HIVE 可以存储、查询、分析存储在 HDFS或者HBase中的大规模数据。
• 通过将 SQL 转化为 MapReduce 作业在 Hadoop 上运行。
• Hive 定义了一种类似 SQL 的查询语言称为 HQL。

Hive 的缺点

• Hive 目前不支持事务
• 不能对表数据进行修改不能更新、删除、插入只能通过文件追加数据、重新导入数据
• 查询速度比较慢

STORM

• Apache Storm 是一个免费和开源的分布式实时计算系统它简化了流数据的可靠处理。
• Storm 具有许多应用场景包括实时数据分析在线学习连续计算分布式 RPC、ETL 等。
• Storm 速度非常快并且测试在单个节点上每秒执行一百万个组处理。

ZooKeeper

• ZooKeeper 是一种高性能、分布式、开源的分布式应用程序协调服务。它是 Storm 和 HBase 的重要组成部分。
• ZooKeeper 是一个领导者负责编写服务于数据同步。

特征

• 顺序一致性
• 原子性
• 均匀度
• 可靠性
• 及时性

使用场景

• 数据发布与订阅
• 名称空间服务
• 分布式通知、协调
• 集群管理

Sqoop

• Sqoop 是 Apache 的顶级项目它允许用户将关系数据库中的数据提取到 Hadoop 中进行进一步处理获得分析结果后Sqoop 还可以将分析结果导回数据库以供其它客户端使用。

MAHOUT

• Mahout 是功能强大的数据挖掘工具和一组分布式机器学习算法包括分布式协调过滤的实现分类和聚类。