大家好我是老三这期给大家分享一个电商中常见的场景——MySQL数据同步Elasticsearch。

大家应该都在各种电商网站检索过商品那么检索商品一般都是通过什么实现呢搜索引擎Elasticsearch。

那么问题来了商品上架数据一般写入到MySQL的数据库中那么用于检索的数据又是怎么同步到Elasticsearch的呢

1.同步双写

这是能想到的最直接的方式在写入MySQL直接也同步往ES里写一份数据。

对于这种方式

• 优点实现简单
• 缺点
  • 业务耦合商品的管理中耦合大量数据同步代码
  • 影响性能写入两个存储响应时间变长
  • 不便扩展搜索可能有一些个性化需求需要对数据进行聚合这种方式不便实现

2.异步双写

我们也很容易想到异步双写的办法上架商品的时候先把商品数据丢进MQ为了解耦合我们一般会拆分一个搜索服务由搜索服务去订阅商品变动的消息来完成同步。

前面说的一些数据需要聚合处理成类似宽表的结构怎么办呢例如商品库的商品品类、spu、sku表是分开的但是查询是跨维度的在ES里再聚合一次效率就低一些最好就是把商品的数据给聚合起来在ES里以类似大宽表的形式存储这样一来查询效率就高一些。

这种其实没什么好办法基本上还是得搜索服务直接查库或者远程调用再查询一遍商品的数据库就是所谓的回查。

这种方式

• 优点
  • 解耦合商品服务无需关注数据同步
  • 实时性较好使用MQ正常情况下同步完成在秒级
• 缺点
  • 引入了新的组件和服务增加了复杂度

3.定时任务

假如我们要快速搞搞数据量有没那么大怎么办呢定时任务也可以。

定时任务最麻烦的一点是频率不好选频率高的话会非自然地形成业务的波峰导致存储的CPU、内存占用波峰式上升频率低的话实时性比较差而且也有波峰的情况。

这种方式

• 优点实现比较简单
• 缺点
  • 实时性难以保证
  • 对存储压力较大

4.数据订阅

还有一种方式就是最时兴的数据订阅。

MySQL通过binlog订阅实现主从同步各路数据订阅框架比如canal就依据这个原理将client组件伪装成从库来实现数据订阅。

我们以应用最广泛的canal为例canal通过canal-adapter支持多种适配器其中就有ES适配器通过一些配置启动之后就可以直接把MySQL数据同步到ES这个过程是零代码的。

但是和老板了解过使用canal看起来很美好帮我们把同步的事情都干了但其实还是要写代码。为什么呢

前面提到的多张表数据聚合canal的支持没那么好所以还是得回查。这时候用canal-adapter就不合适了需要自己实现canal-client监听和聚合数据写入ES

这种看起来和异步双写比较像但是第一降低了商品服务的耦合第二数据的实时性更好。

所以使用数据订阅

• 优点
  • 业务入侵较少
  • 实时性较好

至于数据订阅框架的选型主流的大体上是这些

	Cancal	Maxwell	Python-Mysql-Rplication
开源方	阿里巴巴	Zendesk	社区
开发语言	Java	Java	Python
活跃度	活跃	活跃	活跃
高可用	支持	支持	不支持
客户端	Java/Go/PHP/Python/Rust	无	Python
消息落地	Kafka/RocketMQ 等	Kafka/RabbitNQ/Redis 等	自定义
消息格式	自定义	JSON	自定义
文档详略	详细	详细	详细
Boostrap	不支持	支持	不支持

除了MySQL同步ESMySQL同步到其它的数据存储例如HBase其实大体上都是类似的几种方法。

---

参考

[1]. https://www.infoq.cn/article/1afyz3b6hnhprrg12833

[2].https://www.iamle.com/archives/2900.html

[3].https://blog.51cto.com/lianghecai/4755693

[4].https://qinyuanpei.github.io/posts/1333693167/

[5].https://github.com/alibaba/canal/wiki/ClientAdapter

---