Mysql高级-day04
1. MySql中常用工具
1.1 mysql
该mysql不是指mysql服务，而是指mysql客户端工具。
语法 ：
mysql [options] [database] 1.1.1 连接选项
参数 ： -u, --user=name 指定用户名 -p, --password[=name] 指定密码 -h, --host=name 指定服务器IP或域名 -P, --port=# 指定连接端口 示例 ： mysql -h 127.0.0.1 -P 3306 -u root -p mysql -h127.0.0.1 -P3306 -uroot -p2143 1.1.2 执行选项
-e, --execute=name 执行SQL语句并退出 这个选项可以在Mysql客户端执行SQL而不是连接语句MySQL这种方法对于一些批处理脚本来说特别方便。
示例： mysql -uroot -p2143 db01 -e "select * from tb_book"; [外链图片存储失败，源站可能有防盗链机制，建议保存图片直接上传(img-aOtOnxRC-1630453026638)(assets/1555325632715.png)]
1.2 mysqladmin
mysqladmin 是执行管理操作的客户端程序。可用于检查服务器的配置和当前状态，创建和删除数据库。
可以通过 ： mysqladmin --help 指令查看帮助文档
[外链图片存储失败，源站可能有防盗链机制，建议保存图片直接上传(img-FfloCD3z-1630453026640)(assets/1555326108697.png)]
示例 ： mysqladmin -uroot -p2143 create 'test01'; mysqladmin -uroot -p2143 drop 'test01'; mysqladmin -uroot -p2143 version; 1.3 mysqlbinlog
由于服务器生成的二进制日志文件以二进制格式保存，因此如果您想检查这些文本的文本格式，将使用它们mysqlbinlog 日志管理工具。
语法 ：
mysqlbinlog [options] log-files1 log-files2 ... 选项： -d, --database=name : 只列出指定数据库的相关操作。 -o, --offset=# : 忽略日志中的前n行命令。 -r,--result-file=name : 输出到指定文件的文本格式日志。 -s, --short-form : 显示简单格式， 省略一些信息。 --start-datatime=date1 --stop-datetime=date2 : 所有日期间隔内的所有日志。 --start-position=pos1 --stop-position=pos2 : 所有指定位置间隔内的日志。 1.4 mysqldump
mysqldump 用于备份数据库或在不同数据库之间迁移数据的客户端工具。备份包括创建表和插入表SQL语句。
语法 ：
mysqldump [options] db_name [tables] mysqldump [options] --database/-B db1 [db2 db3...] mysqldump [options] --all-databases/-A 1.4.1 连接选项
参数 ： -u, --user=name 指定用户名 -p, --password[=name] 指定密码 -h, --host=name 指定服务器IP或域名 -P, --port=# 指定连接端口 1.4.2 输出内容选项
参数： --add-drop-database 在每个数据库中添加语句 Drop database 语句 --add-drop-table 添加每个表创建句子 Drop table 语句 , 默认开启 ; 不开启 (--skip-add-drop-table) -n, --no-create-db 创建不包括数据库的句子 -t, --no-create-info 不包括数据表据表的句子 -d --no-data 不包含数据 -T, --tab=name 两个文件自动生成：一个.sql文件，创建表结构的句子； 一个.txt相当于文件、数据文件select into outfile 示例 ： mysqldump -uroot -p2143 db01 tb_book --add-drop-database --add-drop-table > a mysqldump -uroot -p2143 -T /tmp test city [外链图片存储失败，源站可能有防盗链机制，建议保存图片直接上传(img-liOibMST-1630453026643)(C:\Users\Administrator\AppData\Roaming\Typora\typora-user-images\1555501806693.png)]
1.5 mysqlimport/source
mysqlimport 用于导入客户端数据的工具mysqldump 加 -T 参数后导出的文本文件。
语法：
mysqlimport [options] db_name textfile1 [textfile2...] 示例：
mysqlimport -uroot -p2143 test /tmp/city.txt 若需导入sql文件,可以使用mysql中的source 指令 :
source /root/tb_book.sql 1.6 mysqlshow
mysqlshow 用于快速查找数据库、数据库中的表、表中的列或索引的客户端对象搜索工具。
语法：
mysqlshow [options] [db_name [table_name [col_name]]] 参数：
--count 显示数据库和表的统计信息(数据库、表 均可不指定) -i 显示指定数据库或指定表的状态信息 示例：
#查询每个数据库中记录的表和数量 mysqlshow -uroot -p2143 --count #查询test库中每个表中的字段书，及行数 mysqlshow -uroot -p2143 test --count #查询test库中book表的细节 mysqlshow -uroot -p2143 test book --count 2. Mysql 日志
在任何数据库中，都会有记录数据库工作方方面面的各种日志，以帮助数据库管理员跟踪数据库中发生的各种事件。MySQL 也不例外，在 MySQL 中，有 4 不同的日志是错误日志和二进制日志（BINLOG 记录数据库在不同方面的痕迹的日志)、查询日志和慢查询日志。
2.1 错误日志
错误日志是 MySQL 它记录了最重要的日志之一 mysqld 当服务器在运行过程中出现任何严重错误时，启动和停止相关信息。当数据库出现故障，无法正常使用时，可以先查看此日志。
该日志默认打开 ， 默认存储目录为 mysql 的数据目录（var/lib/mysql）, 默认日志文件名称 hostname.err（hostname是主机名)。
查看日志位置指令 ：
show variables like 'log_error%'; 查看日志内容 ：
tail -f /var/lib/mysql/xaxh-server.err
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bMyS7pKT-1630453026647)(assets/1553993537874.png)]
2.2 二进制日志
2.2.1概述
二进制日志（BINLOG）记录了所有的 DDL（数据定义语言）语句和 DML（数据操纵语言）语句，但是不包括数据查询语句。此日志对于灾难时的数据恢复起着极其重要的作用，MySQL的主从复制， 就是通过该binlog实现的。
二进制日志，默认情况下是没有开启的，需要到MySQL的配置文件中开启，并配置MySQL日志的格式。
配置文件位置 : /usr/my.cnf
日志存放位置 : 配置时，给定了文件名但是没有指定路径，日志默认写入Mysql的数据目录。
#配置开启binlog日志， 日志的文件前缀为 mysqlbin -----> 生成的文件名如 : mysqlbin.000001,mysqlbin.000002
log_bin=mysqlbin
#配置二进制日志的格式
binlog_format=STATEMENT
2.2.2 日志格式
该日志格式在日志文件中记录的都是SQL语句（statement），每一条对数据进行修改的SQL都会记录在日志文件中，通过Mysql提供的mysqlbinlog工具，可以清晰的查看到每条语句的文本。主从复制的时候，从库（slave）会将日志解析为原文本，并在从库重新执行一次。
该日志格式在日志文件中记录的是每一行的数据变更，而不是记录SQL语句。比如，执行SQL语句 ： update tb_book set status=‘1’ , 如果是STATEMENT 日志格式，在日志中会记录一行SQL文件； 如果是ROW，由于是对全表进行更新，也就是每一行记录都会发生变更，ROW 格式的日志中会记录每一行的数据变更。
这是目前MySQL默认的日志格式，即混合了STATEMENT 和 ROW两种格式。默认情况下采用STATEMENT，但是在一些特殊情况下采用ROW来进行记录。MIXED 格式能尽量利用两种模式的优点，而避开他们的缺点。
2.2.3 日志读取
由于日志以二进制方式存储，不能直接读取，需要用mysqlbinlog工具来查看，语法如下 ：
mysqlbinlog log-file；
执行插入语句 ：
insert into tb_book values(null,'Lucene','2088-05-01','0');
查看日志文件 ：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ChT16eef-1630453026650)(assets/1554079717375.png)]
mysqlbin.index : 该文件是日志索引文件 ， 记录日志的文件名；
mysqlbing.000001 ：日志文件
查看日志内容 ：
mysqlbinlog mysqlbing.000001；
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YM4q6xqp-1630453026652)(assets/1554080016778.png)]
配置 :
#配置开启binlog日志， 日志的文件前缀为 mysqlbin -----> 生成的文件名如 : mysqlbin.000001,mysqlbin.000002
log_bin=mysqlbin
#配置二进制日志的格式
binlog_format=ROW
插入数据 :
insert into tb_book values(null,'SpringCloud实战','2088-05-05','0');
如果日志格式是 ROW , 直接查看数据 , 是查看不懂的 ; 可以在mysqlbinlog 后面加上参数 -vv
mysqlbinlog -vv mysqlbin.000002
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZsjB0qZu-1630453026654)(assets/1554095452022.png)]
2.2.4 日志删除
对于比较繁忙的系统，由于每天生成日志量大 ，这些日志如果长时间不清楚，将会占用大量的磁盘空间。下面我们将会讲解几种删除日志的常见方法 ：
通过 Reset Master 指令删除全部 binlog 日志，删除之后，日志编号，将从 xxxx.000001重新开始 。
查询之前 ，先查询下日志文件 ：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YLVQmtA5-1630453026655)(assets/1554118609489.png)]
执行删除日志指令：
Reset Master
执行之后， 查看日志文件 ：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zy4po1ka-1630453026656)(assets/1554118675264.png)]
执行指令 purge master logs to 'mysqlbin.******'，该命令将删除 ******编号之前的所有日志。
执行指令 purge master logs before 'yyyy-mm-dd hh24:mi:ss'，该命令将删除日志为 “yyyy-mm-dd hh24:mi:ss” 之前产生的所有日志 。
设置参数 --expire_logs_days=# ，此参数的含义是设置日志的过期天数， 过了指定的天数后日志将会被自动删除，这样将有利于减少DBA 管理日志的工作量。
配置如下 ：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P6pKwFoM-1630453026658)(assets/1554125506938.png)]
2.3 查询日志
查询日志中记录了客户端的所有操作语句，而二进制日志不包含查询数据的SQL语句。
默认情况下， 查询日志是未开启的。如果需要开启查询日志，可以设置以下配置 ：
#该选项用来开启查询日志 ， 可选值 ： 0 或者 1 ； 0 代表关闭， 1 代表开启
general_log=1
#设置日志的文件名 ， 如果没有指定， 默认的文件名为 host_name.log
general_log_file=file_name
在 mysql 的配置文件 /usr/my.cnf 中配置如下内容 ：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-v74PXMm4-1630453026659)(assets/1554128184632.png)]
配置完毕之后，在数据库执行以下操作 ：
select * from tb_book;
select * from tb_book where id = 1;
update tb_book set name = 'lucene入门指南' where id = 5;
select * from tb_book where id < 8;
执行完毕之后， 再次来查询日志文件 ：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fUSrKsTM-1630453026661)(assets/1554128089851.png)]
2.4 慢查询日志
慢查询日志记录了所有执行时间超过参数 long_query_time 设置值并且扫描记录数不小于 min_examined_row_limit 的所有的SQL语句的日志。long_query_time 默认为 10 秒，最小为 0， 精度可以到微秒。
2.4.1 文件位置和格式
慢查询日志默认是关闭的 。可以通过两个参数来控制慢查询日志 ：
# 该参数用来控制慢查询日志是否开启， 可取值： 1 和 0 ， 1 代表开启， 0 代表关闭
slow_query_log=1
# 该参数用来指定慢查询日志的文件名
slow_query_log_file=slow_query.log
# 该选项用来配置查询的时间限制， 超过这个时间将认为值慢查询， 将需要进行日志记录， 默认10s
long_query_time=10
2.4.2 日志的读取
和错误日志、查询日志一样，慢查询日志记录的格式也是纯文本，可以被直接读取。
1） 查询long_query_time 的值。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uGHEOJ44-1630453026662)(assets/1554130333472.png)]
2） 执行查询操作
select id, title,price,num ,status from tb_item where id = 1;
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F3bZEcDi-1630453026664)(assets/1554130448709.png)]
由于该语句执行时间很短，为0s ， 所以不会记录在慢查询日志中。
select * from tb_item where title like '%阿尔卡特 (OT-927) 炭黑 联通3G手机 双卡双待165454%' ;
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qlY4OMIB-1630453026665)(assets/1554130532577.png)]
该SQL语句 ， 执行时长为 26.77s ，超过10s ， 所以会记录在慢查询日志文件中。
3） 查看慢查询日志文件
直接通过cat 指令查询该日志文件 ：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sclWos4X-1630453026667)(assets/1554130669360.png)]
如果慢查询日志内容很多， 直接查看文件，比较麻烦， 这个时候可以借助于mysql自带的 mysqldumpslow 工具， 来对慢查询日志进行分类汇总。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cpaT4IFR-1630453026667)(assets/1554130856485.png)]
3. Mysql复制
3.1 复制概述
复制是指将主数据库的DDL 和 DML 操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做），从而使得从库和主库的数据保持同步。
MySQL支持一台主库同时向多台从库进行复制， 从库同时也可以作为其他从服务器的主库，实现链状复制。
3.2 复制原理
MySQL 的主从复制原理如下。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PfkYzHdc-1630453026669)(assets/1.jpg)]
从上层来看，复制分成三步：
-
Master 主库在事务提交时，会把数据变更作为时间 Events 记录在二进制日志文件 Binlog 中。
-
主库推送二进制日志文件 Binlog 中的日志事件到从库的中继日志 Relay Log 。
-
slave重做中继日志中的事件，将改变反映它自己的数据。
3.3 复制优势
MySQL 复制的有点主要包含以下三个方面：
-
主库出现问题，可以快速切换到从库提供服务。
-
可以在从库上执行查询操作，从主库中更新，实现读写分离，降低主库的访问压力。
-
可以在从库中执行备份，以避免备份期间影响主库的服务。
3.4 搭建步骤
3.4.1 master
1） 在master 的配置文件（/usr/my.cnf）中，配置如下内容：
#mysql 服务ID,保证整个集群环境中唯一
server-id=1
#mysql binlog 日志的存储路径和文件名
log-bin=/var/lib/mysql/mysqlbin
#错误日志,默认已经开启
#log-err
#mysql的安装目录
#basedir
#mysql的临时目录
#tmpdir
#mysql的数据存放目录
#datadir
#是否只读,1 代表只读, 0 代表读写
read-only=0
#忽略的数据, 指不需要同步的数据库
binlog-ignore-db=mysql
#指定同步的数据库
#binlog-do-db=db01
2） 执行完毕之后，需要重启Mysql：
service mysql restart ；
3） 创建同步数据的账户，并且进行授权操作：
grant replication slave on *.* to 'itcast'@'192.168.192.131' identified by 'itcast';
flush privileges;
4） 查看master状态：
show master status;
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4GpURi1O-1630453026671)(assets/1554477759735.png)]
字段含义：
File : 从哪个日志文件开始推送日志文件
Position ： 从哪个位置开始推送日志
Binlog_Ignore_DB : 指定不需要同步的数据库
3.4.2 slave
1） 在 slave 端配置文件中，配置如下内容：
#mysql服务端ID,唯一
server-id=2
#指定binlog日志
log-bin=/var/lib/mysql/mysqlbin
2） 执行完毕之后，需要重启Mysql：
service mysql restart；
3） 执行如下指令 ：
change master to master_host= '192.168.192.130', master_user='itcast', master_password='itcast', master_log_file='mysqlbin.000001', master_log_pos=413;
指定当前从库对应的主库的IP地址，用户名，密码，从哪个日志文件开始的那个位置开始同步推送日志。
4） 开启同步操作
start slave;
show slave status;
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-253DppYU-1630453026674)(assets/1554479387365.png)]
5） 停止同步操作
stop slave;
3.4.3 验证同步操作
1） 在主库中创建数据库，创建表，并插入数据 ：
create database db01;
user db01;
create table user(
id int(11) not null auto_increment,
name varchar(50) not null,
sex varchar(1),
primary key (id)
)engine=innodb default charset=utf8;
insert into user(id,name,sex) values(null,'Tom','1');
insert into user(id,name,sex) values(null,'Trigger','0');
insert into user(id,name,sex) values(null,'Dawn','1');
2） 在从库中查询数据，进行验证 ：
在从库中，可以查看到刚才创建的数据库：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yFaQcO9d-1630453026676)(assets/1554544658640.png)]
在该数据库中，查询user表中的数据：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Wcwge2kC-1630453026677)(assets/1554544679538.png)]
4. 综合案例
4.1 需求分析
在业务系统中，需要记录当前业务系统的访问日志，该访问日志包含：操作人，操作时间，访问类，访问方法，请求参数，请求结果，请求结果类型，请求时长 等信息。记录详细的系统访问日志，主要便于对系统中的用户请求进行追踪，并且在系统 的管理后台可以查看到用户的访问记录。
记录系统中的日志信息，可以通过Spring 框架的AOP来实现。具体的请求处理流程，如下：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KVo9LneM-1630453026679)(assets/1555075760661.png)]
4.2 搭建案例环境
4.2.1 数据库表
CREATE DATABASE mysql_demo DEFAULT CHARACTER SET utf8mb4 ;
CREATE TABLE `brand` (
`id` bigint(20) NOT NULL AUTO_INCREMENT,
`name` varchar(255) DEFAULT NULL COMMENT '品牌名称',
`first_char` varchar(1) DEFAULT NULL COMMENT '品牌首字母',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `item` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '商品id',
`title` varchar(100) NOT NULL COMMENT '商品标题',
`price` double(10,2) NOT NULL COMMENT '商品价格，单位为：元',
`num` int(10) NOT NULL COMMENT '库存数量',
`categoryid` bigint(10) NOT NULL COMMENT '所属类目，叶子类目',
`status` varchar(1) DEFAULT NULL COMMENT '商品状态，1-正常，2-下架，3-删除',
`sellerid` varchar(50) DEFAULT NULL COMMENT '商家ID',
`createtime` datetime DEFAULT NULL COMMENT '创建时间',
`updatetime` datetime DEFAULT NULL COMMENT '更新时间',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='商品表';
CREATE TABLE `user` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`username` varchar(45) NOT NULL,
`password` varchar(96) NOT NULL,
`name` varchar(45) NOT NULL,
`birthday` datetime DEFAULT NULL,
`sex` char(1) DEFAULT NULL,
`email` varchar(45) DEFAULT NULL,
`phone` varchar(45) DEFAULT NULL,
`qq` varchar(32) DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `operation_log` (
`id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT 'ID',
`operate_class` varchar(200) DEFAULT NULL COMMENT '操作类',
`operate_method` varchar(200) DEFAULT NULL COMMENT '操作方法',
`return_class` varchar(200) DEFAULT NULL COMMENT '返回值类型',
`operate_user` varchar(20) DEFAULT NULL COMMENT '操作用户',
`operate_time` varchar(20) DEFAULT NULL COMMENT '操作时间',
`param_and_value` varchar(500) DEFAULT NULL COMMENT '请求参数名及参数值',
`cost_time` bigint(20) DEFAULT NULL COMMENT '执行方法耗时, 单位 ms',
`return_value` varchar(200) DEFAULT NULL COMMENT '返回值',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
4.2.2 pom.xml
<properties>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.7</maven.compiler.source>
<maven.compiler.target>1.7</maven.compiler.target>
<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
<maven.compiler.source>1.8</maven.compiler.source>
<maven.compiler.target>1.8</maven.compiler.target>
<spring.version>5.0.2.RELEASE</spring.version>
<slf4j.version>1.6.6</slf4j.version>
<log4j.version>1.2.12</log4j.version>
<mybatis.version>3.4.5</mybatis.version>
</properties>
<dependencies> <!-- spring -->
<dependency>
<groupId>org.aspectj</groupId>
<artifactId>aspectjweaver</artifactId>
<version>1.6.8</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.16.16</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-context</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-context-support</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-orm</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-test</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-webmvc</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>org.springframework</groupId>
<artifactId>spring-tx</artifactId>
<version>${spring.version}</version>
</dependency>
<dependency>
<groupId>junit</groupId>
<artifactId>junit</artifactId>
<version>4.12</version>
<scope>test</scope>
</dependency>
<dependency>
<groupId>javax.servlet</groupId>
<artifactId>javax.servlet-api</artifactId>
<version>3.1.0</version>
<scope>provided</scope>
</dependency>
<dependency>
<groupId>javax.servlet.jsp</groupId>
<artifactId>jsp-api</artifactI