MySQL 数据同步 Elasticsearch 的技术方案选型

1.同步双写

• 优点实现简单
• 缺点
  业务耦合商品的管理中耦合大量数据同步代码
  影响性能写入两个存储响应时间变长
  不便扩展搜索可能有一些个性化需求需要对数据进行聚合这种方式不便实现

2.异步双写

上架商品的时候, 先把商品数据丢入MQ, 为了解耦, 拆分一个搜索微服务, 搜搜微服务去订阅商品变动的信息, 完成同步

一些数据需要聚合处理成类似宽表的结构怎么办呢例如商品库的商品品类、spu、sku表是分开的但是查询是跨维度的在ES里再聚合一次效率就低一些最好就是把商品的数据给聚合起来在ES里以类似大宽表的形式存储这样一来查询效率就高一些。

• 优点
  解耦合商品服务无需关注数据同步
  实时性较好使用MQ正常情况下同步完成在秒级
• 缺点
  引入了新的组件和服务增加了复杂度

3.定时任务

定时任务, 频率不好选择, 频率高的话, 会引起业务的波峰, 使得Cpu, 内存的上升, 频率低的话, 时效性比较差

• 优点实现比较简单
• 缺点
  实时性难以保证
  对存储压力较大

4.数据订阅

MySQL通过binlog订阅实现主从同步各路数据订阅框架比如canal就依据这个原理将client组件伪装成从库来实现数据订阅。

cancal通过cancal-adpter, 支持多种适配器, 包括ES适配器, 通过配置, 启动之后, 就把Mysql的数据同步到Es上了

但是cancal还必须回查, 这个时候需要自己实现cancal-client, 监听和聚合数据, 写入Es

相比于异步双写, 可以降低商品的耦合性, 时效性更好

• 优点
  业务入侵较少
  实时性较好