elasticsearch(ES)日志迁移
===============================================
?2018/7/29_第1次修改???????????????????????ccb_warlock
?
===============================================
? ??elasticsearch(ES)作為ELK的一部分,經常用于日志記錄與統計。最近遇到需要遷移日志從舊環境到新環境,試驗后發現elasticdump可以實現這個數據同步的部分(可以實現不同版本的ES數據同步)。
? ??elasticdump雖然遷移數據的速度不算快,但是可以根據索引和數據單獨進行同步。
?
?一、前提條件
- 舊ES的IP:192.168.12.1,新ES的IP:192.168.12.2
?
?二、安裝elasticdump
?# 獲取epel包
yum install -y wget cd wget http://mirrors.ustc.edu.cn/epel/7/x86_64/Packages/e/epel-release-7-11.noarch.rpm?
?# 安裝epel
rpm -ivh epel-release-7-11.noarch.rpm?
?# 安裝nodejs
yum install -y nodejs?
?# 安裝elasticdump(當前最新3.3.18)
npm install elasticdump?
?# 創建elasticdump的軟連接
ln -s /root/node_modules/elasticdump/bin/elasticdump /usr/bin/elasticdump?
?# 檢查安裝的版本
elasticdump --help?
?三、遷移
?# 將舊的ES的匹配nginxlog的索引信息導入到本地/root/nginx-map.json文件內
elasticdump --input http://192.168.12.1:9200/nginxlog* --output /root/nginx-map.json --type=mapping?
?#?將舊的ES的匹配nginxlog的數據信息導入到本地/root/nginx-data.json文件內
elasticdump --input http://192.168.12.1:9200/nginxlog* --output /root/nginx-data.json --type=data?
?#?將舊的ES的所有日志(索引、數據)導入到新的ES內
elasticdump --input http://192.168.12.1:9200/ --output http://192.168.12.2:9200/ --all=true?
?
?參考資料:
1. https://www.npmjs.com/package/elasticdump
2.?https://blog.csdn.net/u014017121/article/details/52160394
3.?https://www.cnblogs.com/SapphireCastle/p/6395141.html
?
?
轉載于:https://www.cnblogs.com/straycats/p/9388368.html
總結
以上是生活随笔為你收集整理的elasticsearch(ES)日志迁移的全部內容,希望文章能夠幫你解決所遇到的問題。
 
                            
                        - 上一篇: python 带声音屏幕录制
- 下一篇: 学习记录--编码器测速
