MySQL学习笔记24-CSDN博客

阿里云国内75折 回扣 微信号：monov8
阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6

MySQL的物理备份

xtrabackup备份介绍

xtrabackup优缺点

优点

1、备份过程快速、可靠因为是物理备份直接拷贝物理文件。

2、支持增量备份更为灵活

3、备份过程不会打断正在执行的事务

4、能够支持压缩功能节约磁盘空间和流量

5、自动实现备份检验

6、还原速度快

缺点

1、只能对innodb表增量备份myisam表增量备份时是全备

2、innobackupex备份MyISAM表之前要对全库进行READ LOCK阻塞操作若备份是在从库上进行的话会影响主从同步造成延迟。对innodb表备份不会阻塞读写。

xtrabackup备份原理

  1. innobackupex首先会==启动==一个==xtrabackup_log后台检测的进程实时检测mysql的==redo log==的变化一旦发现redo有新的日志写入立刻将日志写入到日志文件==xtrabackup_log==中。

  2. ==物理==拷贝==innodb的数据文件和系统表空间文件idbdata1==到对应的以默认时间戳为备份目录的地方

  3. 复制结束后执行==flush table with read lock==操作进行全库锁表准备备份非InnoDB文件

  4. 物理复制.frm .myd .myi等非InnoDB引擎文件到备份目录

  5. 查看二进制日志的位置

  6. 解锁表unlock tables

  7. ==停止==xtrabackup_log进程

innodb引擎如果对数据进行了增删修操作那么这个日志发生了变化。就把获取的内容写到xtrabackup log中。

innodb的数据文件就是.frm和idb两个数据文件。系统表空间文件就是ibdata1文件。

innodb的数据备份好了之后那还有一些MyISAM引擎的文件也需要进行处理。那这个时候就要进行flush table with read lock操作。

然后开始复制.frm .myd .myi这些MyISAM文件。

然后还要查看二进制文件的位置。--master-data。备份二进制文件。

然后要解锁unlock tables。

最后再把xtrabackup log进程停止掉。

 

redo log日志

 

 

事务日志或称redo日志。在mysql中默认以ib_logfile0, ib_logfile1的名称存在。

 

xtrabackup备份恢复原理 

说明就是开始备份将之前的数据进行备份。那么备份期间这段时间产生的新数据也进行下备份这样才是一个完整的备份。这是这个软件高级的地方。

具体文字描述如下了解

  • 在InnoDB内部会维护一个redo日志文件我们也可以叫做事务日志文件。事务日志会存储每一个InnoDB表数据的记录修改。当InnoDB启动时InnoDB会检查数据文件和事务日志并执行两个步骤它应用前滚已经提交的事务日志到数据文件并将修改过但没有提交的数据进行回滚操作。

  • xtrabackup在启动时会记住log sequence numberLSN并且复制所有的数据文件。复制过程需要一些时间所以这期间如果数据文件有改动那么将会使数据库处于一个不同的时间点。这时xtrabackup会运行一个后台进程用于监视事务日志并从事务日志复制最新的修改。xtrabackup必须持续的做这个操作是因为事务日志是会轮转重复的写入并且事务日志可以被重用。所以xtrabackup自启动开始就不停的将事务日志中每个数据文件的修改都记录下来。

  • 上面就是xtrabackup的备份过程。接下来是准备prepare过程。在这个过程中xtrabackup使用之前复制的事务日志对各个数据文件执行灾难恢复就像MySQL刚启动时要做的一样。当这个过程结束后数据库就可以做恢复还原了。

  • 以上的过程在xtrabackup的编译二进制程序中实现。程序innobackupex可以允许我们备份MyISAM表和frm文件从而增加了便捷和功能。Innobackupex会启动xtrabackup直到xtrabackup复制数据文件后然后执行FLUSH TABLES WITH READ LOCK来阻止新的写入进来并把MyISAM表数据刷到硬盘上之后复制MyISAM数据文件最后释放锁。

  • 备份MyISAM和InnoDB表最终会处于一致在准备prepare过程结束后InnoDB表数据已经前滚到整个备份结束的点而不是回滚到xtrabackup刚开始时的点。这个时间点与执行FLUSH TABLES WITH READ LOCK的时间点相同所以MyISAM表数据与InnoDB表数据是同步的。类似Oracle的recover和restoreInnoDB的prepare过程可以称为recover恢复MyISAM的数据复制过程可以称为restore还原。

  • ==Mysql5.7.3以后开启二进制日志需要加上server-id选项不然报错==

获取xtrabackup备份工具

我这边还是使用老师提供的版本

依赖库和软件包。

xtrabackup软件的安装

第一步上传软件包和依赖库

第二步安装软件包

[root@mysql-server ~]# rpm -ivh libev-4.15-3.el7.x86_64.rpm
warning: libev-4.15-3.el7.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID 352c64e5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
   1:libev-4.15-3.el7                 ################################# [100%]
[root@mysql-server ~]# rpm -ivh percona-xtrabackup-24-2.4.7-2.el7.x86_64.rpm
warning: percona-xtrabackup-24-2.4.7-2.el7.x86_64.rpm: Header V4 DSA/SHA1 Signature, key ID cd2efd2a: NOKEY
error: Failed dependencies:
        perl(DBD::mysql) is needed by percona-xtrabackup-24-2.4.7-2.el7.x86_64
        perl(Digest::MD5) is needed by percona-xtrabackup-24-2.4.7-2.el7.x86_64

 出现这个问题。

那么我们可以直接使用yum来进行安装解决依赖的问题。

[root@mysql-server ~]# rpm -ql percona-xtrabackup-24
/usr/bin/innobackupex
/usr/bin/xbcloud
/usr/bin/xbcloud_osenv
/usr/bin/xbcrypt
/usr/bin/xbstream
/usr/bin/xtrabackup
/usr/share/doc/percona-xtrabackup-24-2.4.7
/usr/share/doc/percona-xtrabackup-24-2.4.7/COPYING
/usr/share/man/man1/innobackupex.1.gz
/usr/share/man/man1/xbcrypt.1.gz
/usr/share/man/man1/xbstream.1.gz
/usr/share/man/man1/xtrabackup.1.gz

 innobackupex和xtrabackup是两个核心的工具。

xtrabackup全库备份与恢复

备份核心思路

1使用innobackupex对数据库中的所有库进行全量备份物理文件拷贝备份完成之后其不能立即进行数据恢复。数据不完整还缺少12:00~12:30这个过程中的数据。

2预备阶段备份过程中产生的xtrabackup log应用到全量备份集。整合到全量备份集中。

3模拟故障删除数据 rm -rf data/*

4动员运维工程师进行全库恢复。

5再测试验证。

第一步准备数据

mysql> create database db_itheima default charset=utf8;
Query OK, 1 row affected (0.00 sec)

mysql>
mysql> use db_itheima;
Database changed
mysql>
mysql> create table t1(
    -> id int,
    -> name varchar(10)
    -> )engine=myisam;
Query OK, 0 rows affected (0.00 sec)

mysql> insert into t1 values(1, '吕布');
Query OK, 1 row affected (0.00 sec)

mysql>
mysql> create table t2(
    -> id int,
    -> name varchar(10)
    -> )engine=innodb;
Query OK, 0 rows affected (0.02 sec)

mysql>
mysql> insert into t2 values(1, '貂蝉');
Query OK, 1 row affected (0.00 sec)

第二步专门准备一个数据库备份账号开通相应权限。

创建备份用户admin并授予相应权限
mysql> grant reload,process,lock tables,replication client on *.* to 'admin'@'localhost' identified by '123';
mysql> flush privileges;

说明
在数据库中需要以下权限
RELOAD和LOCK TABLES权限:为了执行FLUSH TABLES WITH READ LOCK
REPLICATION CLIENT权限为了获取binary log位置
PROCESS权限显示有关在服务器中执行的线程的信息即有关会话执行的语句的信息允许使用SHOW ENGINE
mysql> grant reload,lock tables,process,replication client on *.* to 'admin'@'localhost' identified by '123';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

第三步使用innobackupex工具进行全库备份。

把数据导出备份到/full_xtrabackup目录。

遇到这个错误不能连接到/var/lib/mysql/mysql.sock。

目前我们的mysql.sock是在/tmp/mysql.sock这个地方。我们有两种方法来解决

1软链接

2-S /tmp/mysql.sock。

第四步预备阶段把备份这段时间内产生的日志整合到全量备份中。

[root@mysql-server ~]# cd /full_xtrabackup/
[root@mysql-server full_xtrabackup]# ll
total 0
drwxr-x--- 2 root root   6 Sep 29 18:50 2023-09-29_18-50-24
drwxr-x--- 6 root root 241 Sep 29 18:52 2023-09-29_18-52-20
[root@mysql-server full_xtrabackup]#
[root@mysql-server full_xtrabackup]# innobackupex --user=admin --password=123 --apply-log /full_xtrabackup/2023-09-29_18-52-20

--apply-log  应用这个日志。

第五步模拟数据故障

阿里云国内75折 回扣 微信号：monov8
阿里云国际，腾讯云国际，低至75折。AWS 93折 免费开户实名账号 代冲值 优惠多多 微信号：monov8 飞机：@monov6
标签: mysql
返回列表

上一篇：css画一条0.5px的直线

下一篇：k8s部署gin-vue-admin框架、gitlab-ci、jenkins pipeline 、CICD-CSDN博客

“MySQL学习笔记24-CSDN博客” 的相关文章

MySQL-性能优化_mysql <> 性能优化1年前 (2023-02-02)
【MySQL】详解索引操作1年前 (2023-02-02)
认真研究MySQL的主从复制（一）1年前 (2023-02-02)
MySQL基础——多表查询1年前 (2023-02-02)
这项评测，华为云GaussDB(for MySQL)顺利通过1年前 (2023-02-02)
mysql索引字段设计1年前 (2023-02-02)
Linux下安装Mysql8.0.111年前 (2023-02-02)
前后端分离项目，vue+uni-app+php+mysql订座预约系统设计与实现（H5移动项目）_php 注册接口1年前 (2023-02-02)
安装 MySQL1年前 (2023-02-02)
python-MySQL数据库基础（二）操作数据库、数据表进行增删改查、分组、排序、连接1年前 (2023-02-02)

阿里云国际版