【数据仓库】hadoop生态圈与数据仓库-CSDN博客

阿里云国内75折回扣微信号：monov8

阿里云国际，腾讯云国际，低至75折。AWS 93折免费开户实名账号代冲值优惠多多微信号：monov8 飞机：@monov6

文章目录

1.大数据定义
2. Hadoop与数据仓库
3. 关系数据库的可扩展性瓶颈
4. CAP理论
5. Hadoop数据仓库工具

本文主要讨论

关系型数据库拓展的瓶颈
cap理论
想了解数仓需要哪些能力以及这些能力靠哪些大数据技术实现。

1.大数据定义

大数据是具有4V即Volume、Velocity、Variety、Veracity特征的数据集合用中文简单描述就是大、快、多、真。

Volume——生成和存储的数据量大
随着技术的发展人们收集信息的能力越来越强随之获取的数据量也呈爆炸式增长。例如百度每日处理的数据量达上百PB总的数据量规模已经到达EP级。
Velocity——数据产生和处理速度快
指的是销售、交易、计量等人们关心的事件发生的频率。例如2015年双十一当天支付宝的峰值交易数为每秒8.59万笔。
Variety——数据源和数据种类多样
现在要处理的数据源包括各种各样的关系数据库、NoSQL、平面文件、XML文件、机器日志、图片、音视频流等而且每天都会产生新的数据格式和数据源。
Veracity——数据的真实性和高质量
诸如软硬件异常、应用系统bug、人为错误等都会使数据不正确。大数据处理中应该分析并过滤掉这些有偏差的、伪造的、异常的部分防止脏数据损害到数据分析结果的准确性。

2. Hadoop与数据仓库

hadoop处理数据的能力

关系数据库主要的问题是不好扩展或者说扩展的成本非常高因此面对当前4Vs的大数据问题时显得能力不足。在大多数情况下Hadoop生态圈的工具能够比关系数据库处理更多的数据因为数据和计算都是分布式的。

通过MapReduce时的那个例子进行说明

在一个10TB的Web日志文件中找出单词‘ERROR’的个数。解决这个问题最直接的方法就是查找日志文件中的每个单词并对单词‘ERROR’的出现进行计数。做这样的计算会将整个数据集读入内存。

假设系统从磁盘到内存的数据传输速率为每秒100MB这意味着在单一计算机上要将10TB数据读入内存需要27.7个小时。如果我们把数据分散到10台计算机上每台计算机只需要处理1TB的数据。它们彼此独立可以对自己的数据分片中出现的‘ERROR’计数最后再将每台计算机的计数相加。
在此场景下每台计算机需要2.7个小时读取1TB数据。因为所有计算机并行工作所以总的时间也近似是2.7个小时。

这种方式即为线性扩展——可以通过增加机器数量来减少处理数据花费的时间。以此类推使用100台计算机做这个任务只需0.27个小时。
Hadoop背后的核心观点是如果一个计算可以被分成小的部分每一部分工作在独立的数据子集上并且计算的全局结果是独立部分结果的联合那么此计算就可以分布在多台计算机中并行执行。

3. 关系数据库的可扩展性瓶颈

可扩展性就是能够通过增加资源来提升容量并保持系统性能的能力。可扩展性可分为向上扩展Scale up和向外扩展Scale out。

向上扩展有时也称为垂直扩展比如通过增加CPU、内存、磁盘等方式提高处理能力。
向外扩展有时也称为横向扩展或水平扩展由多台廉价的通用服务器实现分布式计算分担某一应用的负载。关系数据库的向外扩展主要有Shared Disk和Shared Nothing两种实现方式。

Shared Disk的各个处理单元使用自己的私有CPU和内存共享磁盘系统典型的代表是Oracle RAC。
Shared Nothing的各个处理单元都有自己私有的CPU、内存和硬盘不存在共享资源各处理单元之间通过协议通信并行处理和扩展能力更好MySQL Fabric采用的就是Shared Nothing架构。

关系型数据拓展的瓶颈在哪里

Oracle RAC是Oracle的集群解决方案。

其架构的最大特点是共享存储架构Shareddisk整个RAC集群建立在一个共享的存储设备之上节点之间采用高速网络互连。Oracle RAC提供了较好的高可用特性比如负载均衡和透明应用切换。

在这里插入图片描述
缺点

RAC的扩展能力有限32个节点的RAC已算非常庞大了。随着节点数的不断增加节点间通信的成本也会随之增加当到达某个限度时增加节点不会再带来性能上的提高甚至可能造成性能下降。
RAC的另外一个问题是整个集群都依赖于底层的共享存储因此共享存储的I/O能力和可用性决定了整个集群可以提供的能力。

2. MySQL Fabric主要实现了HA和分片

HAing
分片
当单个MySQL服务器或HA组的写性能达到极限时可以使用Fabric把数据分布到多个MySQL服务器。
分片键与分片映射管理员指定每个表上的哪些列作为分片键MySQL Fabric使用分片键计算(range或hash)一个表的特定行应该存在于哪个分片上。单一事务可以访问一个分片中的所有数据ing。

4. CAP理论

传统数据库难以拓展的根本原因

数据库的可扩展性存在很大的局限。虽然这种情况随着分布式数据库技术的出现而有所缓解但还是无法像Hadoop一样轻松在上千个节点上进行分布式计算。究其原因就不得不提到CAP理论。

CAP理论指的是任何一个分布式计算系统都不能同时保证如下三点

Consistency一致性所有节点上的数据时刻保持同步。
Availability可用性每个请求都能接收到一个响应无论响应成功或失败。
Partition tolerance分区容错性系统应该能持续提供服务无论网络中的任何分区失效。

高可用、数据一致是很多系统设计的目标但是分区又是不可避免的。

CA without P如果不要求P不允许分区即单机情况不存在数据同步的问题则C强一致性和 A可用性是可以保证的。传统关系型数据库大都是这种模式。但涉及到大数据模式下分区是一定存在的。
CP without A如果不要求A高可用相当于每个请求都需要在节点之间强一致而P分区会导致同步时间无限延长如此CP也是可以保证的。很多传统的数据库分布式事务都属于这种模式当处理大数据量时这种性能会很低。
AP wihtout C要高可用并允许分区则需放弃一致性。一旦分区发生节点之间可能会失去联系为了高可用每个节点只能用本地数据提供服务而这样会导致全局数据的不一致性。现在众多的NoSQL都属于此类。或者我们保证弱一致性这样全局数据也会一样虽然有延迟。