通过logstash将Redis数据写入ElasticSearch

点击上方蓝字关注我

使用logstash将Redis中数据自动同步至ES中

1.  部署Redis

上传编译好的Redis二级制安装包使用redis用户启动redis即可

具体编译安装过程可参考

https://mp.weixin.qq.com/s/RaWy0sqRxcAti1qbv-GbZQ

2.  部署logstash

下载二进制安装包

wget  https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz

解压

tar -zxvf  logstash-6.2.2.tar.gz

编辑配置文件

vim config/redis_es.conf
input {
    redis {
        data_type => "list"
        host => "192.168.122.36"
        db => "0"
        port => "6379"
        password => "Test.205"
        key => "smstest"
    }
}


output {
    elasticsearch {
        hosts => ["127.0.0.1:9200"]
        index => "sms"
    }
}

配置中使用的Redis的key为smstest,类型为list
ES索引名为sms
启动logstash

bin/logstash  -f config/redis_es.conf

3.  部署ElasticSearch

本次使用ElasticSearch且不使用认证部署过程如

下载ElasticSearch并上传解压

部署jdk

使用elasticsearch用户启动ES默认不能使用root账号启动启动时会提升

chown -R elasticsearch /usr/local/elasticsearch-6.2.2/
useradd elasticsearch
su - elasticsearch 
cd  /usr/local/elasticsearch-6.2.2/
 bin/elasticsearch -d

至此ElasticSearch部署并启动完成

4. 测试同步情况

在ES中创建索引

curl -X PUT "127.0.0.1:9200/sms?pretty"

在Redis中创建key并添加数据

127.0.0.1:6379> lpush smstest  '{"test":"aa"}'

查看结果

curl -H "Content-Type:application/json" -X POST http://127.0.0.1:9200/sms/_search?pretty

Redis中的数据即同步进ES

往期精彩回顾

1.  MySQL高可用之MHA集群部署

2.  mysql8.0新增用户及加密规则修改的那些事

3.  比hive快10倍的大数据查询利器-- presto

4.  监控利器出鞘Prometheus+Grafana监控MySQL、Redis数据库

5.  PostgreSQL主从复制--物理复制

6.  MySQL传统点位复制在线转为GTID模式复制

7.  MySQL敏感数据加密及解密

8.  MySQL数据备份及还原一

9.  MySQL数据备份及还原二

扫码关注