可路由计算引擎实现前置数据库
| 阿里云国内75折 回扣 微信号：monov8 |
| 阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6 |
❤️作者主页：小虚竹
❤️作者简介：大家好,我是小虚竹。Java领域优质创作者🏆CSDN博客专家🏆华为云享专家🏆掘金年度人气作者🏆阿里云专家博主🏆51CTO专家博主🏆
❤️技术活该赏
❤️点赞 👍 收藏 ⭐再看养成习惯
PC端左侧加我微信进社群有送书等更多活动
中央数据仓库局限
很多大机构都会有个中央数据仓库负责向应用提供数据服务。随着业务的发展中央数据仓库的负载在持续增加。一方面数仓是前端应用的数据后台而前端应用不断增多用户访问的并发数也不断增长。另一方面数仓还要承担原始数据的批量离线处理而批量任务不断增加其数据量和计算量也在不断增大。所以常常会出现中央数据库不堪重负的情况。表现出来的现象是：批量处理任务耗时过长远远超过业务可以容忍的时限；在线数据查询响应太慢用户长时间等待满意度越来越差。特别是月末或者年末计算量达到高峰的时候这些问题会更加严重。
解决方案
方案一：提高中央数据仓库负载能力
解决这个问题最容易想到的方法是提高中央数据仓库的负载能力也就是对现有数仓进行扩容或者更换其他数仓产品。但是数仓扩容涉及的软硬件成本都很高频繁扩容意味着无法承受的巨大投入。而且数据仓库一旦达到容量上限这个办法也就不可行了。
将现有的数据仓库换成其他数仓产品的可行性也不高这牵扯到多个部门、多种应用更换的综合成本太高风险也很大。即使真的换了也不能保证很好的解决这个问题。
方案二：前置库方案
我们发现现实中的很多应用都有这样一个特点：有一部分小量热数据访问频率远高于其它的大量冷数据比如对最近几天数据的查询可能占全部查询的 80% 到 90%。我们可以利用这个特点来解决问题具体做法是：在中央数据库和前端应用之间增加前置数据库存放访问频次高的少量热数据。前端应用的查询请求统一提交给前置数据库由前置库判断查询的是热数据还是冷数据相应的访问本地数据或将请求转发给中央数据仓库。最后将热、冷数据计算结果整合后统一返回给前端。前置库方案大致是下图这样：
这个方案中数据流动的路径要遵循一定的数据路由规则：频繁出现的针对少量热数据的查询由前置数据库负责偶尔出现的针对大量冷数据的查询由中央数仓负责。这样中央数仓的负载大大降低不再成为拖累性能的瓶颈。
但是传统数据库或数仓软件却很难实现这种前置库方案。这是因为数据库的计算能力是封闭的只能计算库内的数据很难实施计算路由规则、查询转发和结果整合等。而且前置数据库和数据仓库一般是不同类型的软件产品这时候会更难以实现这类跨库的运算。
按照我们设想的方案前置库中只会存储少量热数据。如果将传统数据库用作前置库就只能计算这些热数据不能计算冷数据更无法实现冷热数据整合。显然我们也不可能让前置数据库存储全量数据这会变成第二个中央数据仓库不仅带来巨大的成本也会造成重复建设。
方案三：可路由计算引擎 esProc SPL 实现的前置数据库
如果不能在前置数据库上实现计算路由就只能在前端应用上想办法。比如在界面上让用户自己选择数据源但这会降低应用程序的易用性影响用户满意度。再比如修改应用程序来实现路由和数据整合但应用程序端并不擅长处理这类运算结果会导致代码量会很大开发维护成本高还很难通用。
esProc SPL 是专业的结构化、半结构化计算引擎提供开放的计算能力数据可以从本地存储读取也可以来自于各种异构数据源能够轻松实现上述方案中的各种计算需求非常适合承担前置数据库的作用。SPL 实现前置数据库的架构图大致是下图这样：
SPL 是轻量级计算引擎热数据量不大时可以单机部署甚至可以直接嵌入前端应用中系统建设成本相对于传统数据库要低很多。
SPL 实现数据路由规则的代码非常简捷。假设前端应用要按客户分组统计输入参数是开始和结束年份。前端应用的请求中 90% 以上都是计算今年和去年的数据所以将这两年的热数据存放在 SPL 的组表 sales.ctx 中全量数据存仍放在中央数据库的 sales 表中。这时前端应用的请求提交给前置库后SPL 实现数据路由的代码大致是这样：
| A | B | |
|---|---|---|
| 1 | =begin_year=2021 | =end_year=2022 |
| 2 | if begin_year>=year(now())-1 | =file(“sales.ctx”).open().cursor@m(…;year(sdate)<=end_year) |
| 3 | return B2.groups(customer;sum(…),avg(…),…) | |
| 4 | else | =connect(“DW”).query(“select customter,sum(…),avg(…) from sales where year(sdate)>=? And year(sdate)<=? group by customer”,begin_year,end_year) |
| 5 | return B4 |
A1、A2：前端提交的开始年份和结束年份实际应用中应作为参数传入这里为了方便理解直接写在代码中了。
A2-B3：如果开始年份大于等于去年则用本地热数据 sales.ctx 计算结果并返回。这里的过滤、分组计算SPL 只要一两个函数就可以实现。
A4-B5：其他情况则连接中央数据仓库 DW执行请求并返回结果。SPL 可以轻松连接各种数据库、数据仓库很容易转发前端的请求并统一给前端应用返回结果。
SPL 封装了大量结构化、半结构化计算函数即使面对非常复杂的计算也可以用很简捷的代码实现。相反如果在前端应用中利用 Java 等高级语言来实现简单的过滤、分组汇总计算也需要编写大量代码。
可路由计算引擎 esProc SPL 实现的前置数据库将少量高频访问的热数据缓存在本地可以有效提升系统整体的响应速度减少用户等待时间。同时前置数据库将绝大部分查询计算从中央数据仓库分离出来减轻了中央数仓的负担。
SPL资料
我是虚竹哥我们下文见~