实时数仓，为什么不可代替？

什么是实时数据仓库它有哪些不可替代之处

大数据时代中数据仓库解决了商业智能分析过程中的数据管理问题但是存在烟囱式、冗余高的弊端

随着商业智能的兴起和数据时代的到来越来越多的企业开始汇总、整合和分析自身的业务大数据从中挖掘出有价值的知识信息支撑商业决策。

相比于早年的信息初时代不由让人感叹一句时代变了。大数据时代的一个显著特征就是企业会面临数据源多、结构复杂的问题为了更好地业务大数据实现有效管理和智慧赋能一个强有力的基础设施是必不可少的而这个基础设施就是数据仓库 。

数据仓库的建设实际上在多年以前已经逐步成熟企业在早期的数据仓库开发过程中通过获取数据源然后在此基础上完成对数据的清洗、扩维、加工通过分析可以输出所需要的业务指标。

但是早期的数据仓库有一个显而易见的问题那就是企业需要针对不同的业务需求重复着“清洗-扩维-加工-分析-输出”的流程形成了烟囱式的重复建设高耦合、低复用的弊端非常明显。

进化到分层设计、性能稳定的离线数据仓库这对于数据实时性要求不高的场景是不错的技术选择 。

大量企业的数据团队开始着手对数据仓库进行架构重塑和细致规划最大的一个手笔就是对数据进行分层。数据分层的一大特点就是将数据规整为层级存储然后整体上自底向上的分别针对每个层次进行独立加工最大化数据赋能 。

围绕着最初常见的非实时数据分析需求处理效果是不错的。比如公司要求每天出一个当日用户访问的流量报表然后将结果输出到业务数据库中供业务部门查阅或者是支撑领导每天上午的统计决策这一类需求基于上述数据分层架构选择构建离线数据仓库即可完成。

新的场景和商业模式催生出了实时计算的新需求离线数据仓库难以满足高实时的要求

但是时代总是在飞速发展各式各样新商业模式不断涌现基于移动端的应用产品持续井喷用户对于快速响应、商家对于快速分析的需求也是越来越强烈大家都希望更快、更即时地得到想要的结果。一句话需求变了不光要能而且要快。

因此目前的大数据应用的“实时”性特征就非常明显比如需要扩展现有olap分析工具支持实时数据分析在实时数据看板上实时播报核心数据能够实时计算实时特征进行精准运营并且在核心业务指标上能够做到实时监控、预警。此时萌生出的“实时计算”的共性需求基于传统的离线数据仓库是捉襟见肘难以很好满足的。

与实时计算的应用需求相匹配的实时数据仓库其技术特征和系统架构需要被重构

在当前的业务场景中数据的价值是动态变化的更准确地说是数据的价值随着时间的推移而逐渐减少所以业界在传统大数据离线数据仓库的基础上对数据的实时性提出了明确的更高要求这就诞生了实时数据仓库这一新生事物。

比如我们就以上面的用户访问案例来描述实时数据处理就要求能够实时统计每秒用户访问的流量报表并且能够及时将结果输出到业务数据库并支持历史数据回看。那么提炼一下“流式计算”、“高时效性”以及“无界处理”这三条就是当下应对大量涌现的实时计算业务场景所必备的能力也就是实时数据仓库的设计目标。

那么既然要求达到实时效果离线数据仓库的架构就得需要得到进化和重构业界的做法是将原来经典的Spark替换成了Flink计算引擎。在技术实现方面目前业内常用的实时数仓架构主要分为两种Lambda架构和Kappa架构。二者的技术特点也比较鲜明互有长短都称得上是主流选择。

需求牵引技术技术创造需求。实时数据仓库的诞生让实时智能分析成为可能进一步推动了商业的发展

实际上业务需求和新技术总是相伴相生的一方面实时计算的新需求牵引了实时数据仓库的落地和发展而另一方面实时数仓的不断完善又让实时智能分析成为可能进一步孵化出了更多的商业智能应用。

离线数据仓库无法满足的新需求终究是靠新技术手段给解决了。

比如说目前技术界非常时髦的实时机器学习技术。传统静态的机器学习依赖于静态的模型和历史数据进行训练并提供预测。但是当下的很多应用场景中许多时候用户的短期行为对模型就具有修正作用或者说是对业务判断有预测作用。因此如果能即时地采集用户最近的行为并进行特征工程和机器学习那么就能够对应用的性能提升和实时修正起到更好的作用这就是目前实时机器学习技术的大的应用背景。

再比方说前文里面提到了两个新应用实时智能推荐和实时风控。也很值得细细咀嚼这里面的门道智能推荐以往是依据用户历史的购买和浏览行为作出推荐即可但是显然实时性不佳。而现在基于移动APP客户端的推荐功能需要越来越满足用户实时性的要求要即时性的依据当前用户的浏览行为修正和提供推荐结果抓住用户当下“最想要的”有针对性地引导用户迅速做出消费购买决策促成交易的达成。

这个新需求对时延的要求必然非常苛刻这要求对用户行为指标进行实时计算对模型进行实时更新对用户指标进行实时预测。技术要求高自然回报也是显著的能够创造更大的商业价值。

实时风控也是类似他对应金融领域的业务场景很多时候要求毫秒内就完成对欺诈行为判断指标的计算然后实时对交易流水进行实时拦截避免因为处理不及时而导致的经济损失很显然处理得越快风控的大坝就筑得越牢“快字当头”需要的一样也是实时数据处理进行技术支撑。

新的大数据商业时代新的实时数据应用需求无不提醒着我们的用户和企业是时候对数据仓库做出更优的改变了。

亚马逊云科技以最全面的功能组件为业界提供敏捷高效低成本的实时数仓构建能力

当然有了搭建实时数仓的念想没有技术上的金刚钻还是不行。那么当下如果一个行业企业想快速搭建实时数据仓库有没有成熟完善的技术方案进行依托呢亚马逊云科技的全套技术产品和解决方案是一个不错的选择。亚马逊提供了云上实时数仓搭建最全面的功能组件让用户可以敏捷高效低成本地构建自己的实时数仓可以说为业界提供了实时数仓构建能力。

这里我们一起来看看亚马逊的产品Amazon Redshift。redshift实时数据仓库覆盖了商业界实时数据分析的主流应用场景比如我们常见的业务运营与商业智能数据分享与协同查询、报表与数据分析机器学习与分析预测这些典型场景可以切中绝大部分需求。

那么在功能性能上Amazon Redshift 和 其他数据仓库产品相比有哪些独到的特异之处

它能够帮助企业实现简单易用的数据分析

采用了全新的“无服务器架构”的设计理念它让用户在分析任何规模的数据时无需管理数据仓库基础设施。具体地说就是用户只需要加载和查询数据并且只需为使用的内容付费。这使更多的公司能够制定现代数据策略尤其适用于分析工作负载不全天候运行且数据仓库并非一直处于活动状态的使用案例也适用于组织内数据使用量不断扩大、新部门的用户希望在不拥有数据仓库基础设施的情况下运行分析的公司。

这样做有诸多好处通过自动扩展资源无需用户管理数据仓库集群使得用户体验得以简化同时智能动态计算能够自动调配和扩展数据仓库容量提供一致快速的用户体验另一方面提供与用户的数据湖和其他数据源的无缝集成性能出色速度比任何其他云数据仓库快三倍具有自动维护功能存储和计算分离将成本最高降低75%这个性价比相信不是一般用户所能轻易忽略的。

能够帮助我们分析所有的数据

Amazon Redshift对不同数据来源的普适性较好可以针对操作性数据库完成实时数据查询与第三方数据的数据市场进行良好的数据共享可以连接商业智能类的数据应用实现对大数据的实时分析和可视化同时可以同Amazon S3数据湖进行功能整合完成数据湖的导出并基于开放标准数据格式进行分析。

能够实现多业务节点的完美数据共享

REDSHIFT DATA SHARING通过将读写分离在不同集群将访问共享数据的工作负载彼此隔离保证数据一致性提升整体系统性能。这样能够在实际的工程部署当中享受到实实在在的好处比方说用户可以即时、细粒度、高性能的完成数据访问无需数据拷贝/移动在多数据消费者模式下能够让所有人实时且一致的更新数据视图实现安全受管理的协作。

多类型的实时数据仓库架构模板广泛对接企业主流的数据分析需求

秉持方便企业用户快速搭建实时数据仓库的初心亚马逊瞄准不同需求基于和围绕Redshift构建多类型实时数据仓库架构相当于预制了多类型常用的“菜单”、“模板”能够相当广泛的对接企业用户的主流数据分析需求促进企业用户快速形成属于自己的实时数据处理能力。

比如为支持APP埋点数据实时采集与分析类应用所构造的实时数据仓库架构他特别针对实时数据摄入、高并发实时查询等典型功能进行针对性优化设计将易于使用和结构灵活的特点释放得淋漓尽致。

还有基于kafka+flink架构并进行适配性改进支撑实时报表的应用需求。可以实时按照不同维度进行汇总计算依照指定形式例如按收入/请求次数/投标次数/成功和失败的拍卖次数/总座位数或汇总特定时间段天或周甚至数月的TOP名单每5分钟向Redshift实时表导入800万条数据并且完成秒级的实时表历史数据定期删除或定期重建。

这种架构实际上适配非常多的应用场景比方说常见的视频社交风控系统他由风控引擎和报表两部分组成主要是金融相关的风险控制包括充值消费打赏退款等。

风控引擎包含用户行为记录和风控规则引擎主要为信用卡用户的充值退款行为提供风控决策。风控报表包含趋势图表和排名图标显示规则的命中率拦截率TOP命中等信息。风控引擎就是使用用户行为数据进行实时查询而报表的数据来源于Redshift每天新增3000万条记录保存3个月数据刷新间隔为1分钟很好地适应了现在视频类APP的服务监管需求。

另外为了应对产品建议、欺诈预防以及客户流失等应用场景中的实时智能需求亚马逊专门设计了Amazon Redshift ML 架构为用户提供支撑。简单点说就是可以使用AMAZON SageMaker的SQL查询轻松创建和训练ML模型并且覆盖了有监督训练和无监督训练可以完成模型的自动预处理、创建、训练并在Amazon Redshift中本地部署推理模型同时支持将SageMaker模型用于数据库内或远程推理。

未来实时数据仓库将帮助更多企业实现数据与智慧的赋能

由此看来高效实时大数据业务处理需求推动着数据仓库的架构设计和处理思想又向前进步迈入了新的阶段对于越来越多有上述需求的大数据公司深入了解实时数据仓库的产品与技术是非常必要选择一个好的产品架构迅速地与自身的特有业务相结合自身业务的数据与智慧赋能也会快速地上升一个新台阶。