中国多主数据库：压强投入，期待破茧-CSDN博客

拿破仑曾说“战争的艺术就是在某一点上集中最大优势兵力”强调了力量集中的重要性。

如今国际形势风云变幻西方世界对中国的围剿不再仅仅体现在军事和地缘政治上而更多表现在经济与科技上。在科技领域我们不得不再面临一次从根技术、硬件到软件的全面突围战争而无数战略家总结的“集中力量突破一处”策略仍是值得中国科技界借鉴的获胜密码。

中国数据库产业突围之战

中国大地人杰地灵自古以来在一个领域发展早期我国一定会出现百家争鸣、百花齐放的场面。近10年来中国数据库产业迎来了黄金时代从互联网掀起的“去IOE”浪潮又开辟了新的架构赛道使数百家数据库企业喷涌而出作为IT系统中最核心的软件之一相关行业标准的出台也为中国数据库发展带来重大利好。

然而正如不是每一次创新都能带来产业革命当前繁荣发展的背后也隐藏着隐忧随着经济下行周期的到来中国数据库需要尽快在业务落地上找到突破口。

金融业数据库使用情况一直是数据库产业发展的风向标。1998年IBM DB2、Informix在金融核心系统落地商用奠定了此后20年大小机在核心系统的格局如今金融业成为大小机下移的急先锋。随着近年来数据库国产化工作推进中国数据库在金融业IT系统规模增速喜人但质量仍存在隐患。

据金融信息化研究所2022年编撰的《金融业数据库供应链安全发展报告》显示当前银行业办公系统与一般系统中国数据库使用比例已突破50%但在核心系统使用比例仍在15%左右而在证券和保险业非核心系统中国数据库使用比例均低于30%核心系统低于20%。

需知核心系统与非核心系统数据库采购价格有倍数差异无法突破核心系统可能使许多数据库厂商难以形成商业正循环最终影响到其业务连续性而金融行业对中国数据库的投资占整体的46%如果在金融业内数据库厂商无法商业正向闭环在其它行业“找补”将更加艰难。

中国数据库市场内卷也是构成危机的主要因素。据信通院2022年编撰的《数据库发展研究报告》统计中国数据库厂商数量占全球总量的32%是除美国外全球第二大数据库厂商发源地但中国数据库市场规模只占全球的5.2%。“僧多粥少”的局面加上厂商间核心技术“大同小异”的特点导致在竞标中各中国数据库难免陷入低价竞争进一步加深商业难以正向闭环的恶性循环。

近年来不时传出中国数据库厂商因项目亏损导致不得不对客户“停服”的不良事件一方面损害了行业对中国数据库的信任度另一方面也打击了资本市场对产业向好发展的信心。

总体来讲当前中国数据库虽有强势发展劲头但从关键行业应用情况及市场发展趋势来看仍面临产业突围的关键战斗。

多主数据库或是突围关键缺口

事实上中国数据库并非没有出海的野心。OceanBase曾在菲律宾第一大电子钱包GCash有过成功案例。但在非互联网行业的交易型数据库领域在“自家园子”尚未成功战胜Oracle、DB2等厂商的中国数据库尚无信心面对出海后更加腥风血雨的竞争。万丈高楼平地起中国数据库产业突围的方向仍是不断提升自身实力。

然而提升自己同样需要找到方向。西方数据库系统厂商起步远远早于国内在引擎、管理系统乃至算法等方向均有深厚技术积累虽然MySQL和PostgreSQL的开源化帮助其它厂商拉近了技术代差但实际产品水平仍有不小差距。更难拉近的是使用经验上的鸿沟因为软件的催熟往往是靠着大量用户反馈来完成的而缺少使用体验与反馈的中国数据库必然会有更多的Bug和更少的功能使最终用户的使用体验差距更大。

总体来说数据库产业是一个优势积累型的市场一味追赶永远无法实现领先唯有通过革命性创新开辟新赛道才有机会改变格局。如今这一革命性创新似乎已经显现这就是多主数据库。

什么是多主数据库简单来说就是集群中所有节点可以同时读写数据。传统基于数据分片实现节点同时读写的数据库在某一时刻能够读写某一个分片的节点仍只有一个其本质仍是“一主多备”的架构而多主数据库中任何数据分片都能在任何时刻被所有节点并发读写。这样做的显著好处是线性提升了数据库的并发度使数据库性能可以没有瓶颈的横向扩展而分片型数据库的性能严重依赖分片策略如果某个分片访问频度过高则将导致性能瓶颈。

此外多主数据库还有稳定时延、节省资源、提升运维效率等优势。早在上个世纪80年代数据库产业就兴起了对多主数据库的研究但至今稳定商用案例仍只有Oracle RAC这也支撑它成为关系型数据库的绝对王者。当前多主数据库赛道还有大量空间一旦取得突破数据库产业格局仍有颠覆的可能性。

笔者认为多主数据库是中国数据库的一个关键突破口。对于多主数据库来说单机能力与集群规模是其一体两面二者可以相互弥补这给予中国数据库以规模换性能的重要机会。

从过去二十年发展看中国数据库产业发展大方向就是集群化。由于数据库单机性能瓶颈加上国内互联网市场高度发达带来高并发诉求凸显中国数据库大都往不断扩大集群规模的方向发展也因此在集群数据管理上积累了丰富经验。

然而不改变主从数据库的本质集群规模扩大反而会导致事务处理时延增加无法真正提升交易性能而多主数据库可以在提升并发度的同时不影响事务效率进而真正激发出集群威力。

近年来的产业动态也证明了这一点。早在2022年3月阿里云就发布了其基于存算分离的多主架构PolarDB方案2023年3月华为宣布其基于存算分离和自研Cantian引擎可帮助主备数据库升级多主架构并于同年9月将Cantian引擎正式开源9月的DTCC数据库技术大会上优炫软件正式发布其基于共享存储的数据库多读多写方案万里数据库也解读了其通过Cantian引擎实现GreatDB多主架构的最新进展10月金融数据库技术大会上金融信息化研究所携10家中国数据库产业链领军企业共同启动金融多主数据库应用推进计划。可以说中国数据库产业已经全面瞄准多主架构这一关键缺口开启了一场轰轰烈烈的突围战争了。

突围关键集中力量于一个缺口

虽然方向明确但突破多主数据库依然困难重重。多主数据库完全实现稳定商用乃至国际领先还有许多技术难题需要攻克。

比如多主数据库节点间如何高效的交换缓存数据这是事务的隔离性能否保障的关键再比如当集群规模扩大后多主集群内如何高效管理节点故障如何防止脑裂还有多主集群使用的共享存储能否应对整个集群的高并发访问能否承担一些近数据计算工作以缓解计算集群压力等等。每一个问题放眼全球数据库产业都没有“标准答案“可以借鉴我们需要“摸着石头过河”。

事实上“摸着石头过河”对中国科技界不是新鲜事我们在很多科技领域都已探索至无人区依然能够实现突破性创新。但以当前中国数据库产业阵型来看在多主数据库之路迅速取得突破恐怕难言轻易。由于数据库产品具有极强的商业属性难以像其它尖端技术领域由国家牵头研发导致中国数据库从业人数众多但力量分散任何一个厂商都难以独自攻克多主数据库难题。

据信通院统计中国43%的数据库企业人数小于50人只有前9%的企业拥有50-200人的核心研发团队而交换机、存储等多主数据库必须的硬件基础设施产业也尚未与数据库产业实现广泛的研发合作。与之对比数据库行业巨头Oracle常年保持上千人的核心研发团队且自身拥有强大的存储研发能力其ASM本身就是一个能力超强的存储软件才能打造出业界经典的多主数据库Oracle RAC。

借鉴先进经验当务之急是中国数据库产业如何拧成一股绳共同朝着既定目标分工合作攻克难关而不再是各自为战、无效内卷笔者认为此事非政策性机构牵头不能完成。

令人振奋的消息很快传来了。10月13日在2023金融业数据库技术大会-数据库技术创新发展分论坛中金融信息化研究所携10家数据库产业链的领军企业共同启动金融多主数据库应用行动计划。

据笔者了解金融信息化研究所主要承接人民银行金融科技研究课题长期耕耘于中国金融科技研究咨询与产业孵化工作与中国人民银行下属的中国金融电子化集团有紧密联系而由金融信息化研究所主办的金融业数据库技术大会历年均有人行、银监会、国有大行和股份制大行等高层领导与会在业内影响力巨大。一言以蔽之金融信息化研究所完全有能力对多主数据库的产业发展进行统筹推进此次应用行动计划具有极强的落地性。

参与行动的首批企业也颇有意思。有阿里、奥星贝斯、达梦、南大通用四大行业巨头压阵天翼云、万里数据库、优炫数据库等近年来在多主数据库取得商用突破的新兴厂商也加入其中云和恩墨的出现则意味着openGauss生态同样有意迈向多主架构。

更为让人眼前一亮的是此次代表华为出席的是国产高端存储领军企业华为存储这意味着此次合作不再仅仅是数据库界的大联欢而是整个IT产业界的历史性握手。首批企业组成呈现生态多样化、路线多样化、产业结构多样化的特点而金融信息化研究所则可驱动金融行业提供广泛的产品应用与催熟场景。期待在行动计划工作组的统筹下各与会组织可以合理分工、充分合作共同加速中国多主数据库稳定落地商用。

无数胜利的经验告诉我们发现缺口、集中力量突破是打赢局部战争、进而取得全面战争胜利的关键。如今在政策机构的统筹牵引下中国数据库产业正积聚力量向多主数据库发起冲击。在空前的压强投入下期待中国数据库破茧化蝶的一天。