数据库今日看点程序员

MySql基础

2016-12-25  本文已影响283人  越长越圆

原文链接：http://blog.csdn.net/qq_22329521/article/details/53876662
Mysql 数据库必须在Mysql服务下启动

在windows 下 启动Mysql cd到mysql\bin 目录下 在dos窗口下 启动\关闭mysql服务

//启动mysql服务
mysqld --console

//关闭mysql服务
mysqladmin -uroot shutdown

SQL分类

SQL 主要语句可以划分为一下3类

DDL语句

是对数据库内部的对象进行创建 、删除、修改等操作语言，它和DML语句最大的区别是DML只是对表内部数据操作，而不涉及表的定义、结构的修改，更不会涉及其他对象。DDL更多地由数据库管理员（DBA）使用。

连接mysql服务器 
mysql -uroot -p 

创建数据库test1
create database test1;

显示有哪些数据库
show databases;

//mysql  自动创建的表有
information_schema:主要存储了系统中的一些数据库信息，比如用户表信息、列信息、权限信息、字符集信息、分区信息等等
cluster：存储了系统的集群信息
mysql：存储了系统的用户权限信息。
test：系统自动创建的测试数据库，任何用户都可以访问


选择数据库
use test1

显示test1数据库中创建的所有表
show tables

删除数据库
drop database test1;

创建表
create table emp(ename varchar(10),hiredata date,sal decimal(10,2),deptno int(2));

查看表定义
desc emp;

查看创建表的定义
show create table emp;

删除表
drop table emp;

修改表
alter table emp modify ename varchar(20);

增加表字段

alter table emp add column age int(3);

删除表字段
alter table emp drop column age;

字段改名
alter table emp change age age1 int(4);

change 和modify都可以修改表的定义，不同的是change后面需要写两次列名，不方便，但是change的优点是可以修改列名称，则modify则不能

修改字段排序
alter table emp add birth date after ename;
alter table emp modify age int(3) first;

更改表名
alter table emp rename emp1;

DML语句
是指对数据库中表记录的操作，主要包括表记录的插入（insert）、更新（update）、删除（delete）和查询（select）。

插入记录
insert into emp(ename,hiredate,sal,deptno)values('zzx1','2000-01-01','2000',1);
也可以不用指定字段名称，但是values后面的顺序要和字段的排列顺序一致
inset into emp('zzx1','2000-01-01','2000',1);
含可空字段、非空但是含有默认值的字段、自增字段、可以不用再insert后的字段列表里面出现，values后面只写对应字段名称的value，没写的字段可以自动设置为null、默认值、自增的下一个数字

批量增加用逗号隔开
insert into dept values(5,'xxx'),(8,'xxx');

更新记录
update emp set sal=4000 where ename='xxx';

删除记录
delete from emp where ename='doney';

查询记录
select * from emp;
*表示所有记录，也可以用逗号隔开的字段来选择查询

查询不重复的记录
select distinct deptno from emp;

条件查询
用where关键字来实现，可以使用<>!=等多条件可以使用or、and等

排序和限制
desc和asc是排序关键字，desc是降序、asc是升序排列 ORDER BY 排序,默认是升序
select * from emp order by sal;
如果排序字段的值一样，则值相同的字段按照第二个排序字段进行排序，如果只有一个排序字段，则相同字段将会无序排序
select * from emp order by deptno,sal desc;
限制
select * from emp order by sal limit 3;
//前者是起始偏移量，后者是显示行数
select * from emp order by sal limit 1,3;

limit 和order by 一起使用来做分页

聚合
用户做一下些汇总操作

sum(求和),count(*)(记录数)，max(最大值)，min（最小值）
with rollup 是可选语法，表示是否对分类聚合后的结果进行再汇总
having 表示对分类后的结果在进行条件的过滤。

select deptno,count(1) from emp group by deptno having count(1)>=1;

表连接

大类上分为外连接和内连接
外链接 又分为左连接和右连接

左连接:包含所以的左边表中的记录甚至是右边表中没有和它匹配的记录。
右连接：同上

select ename,detname from emp left join dept on emp.deptno=dept.deptno;

左连接和右连接可以相互转换

子查询

select * from emp where deptno in(select deptno from dept);

如果子查询记录唯一，可以使用=替代in
select * from emp where deptno =(select deptno from dept limit 1);

记录查询
将两个表的数据按照一定的查询出来后，将结果合在一起显示

union all 是将结果集合并在一起，而union是将union all后的结果在进行一次distinct，去除重复

select deptno from emp union all select deptno from dept;

select demtno from emp union select deptno from dept;

? xxx 来查看

如果要查看类别 ? data types 具体的 ? int 
查看语法 如 ? create table

数据类型

对于整形数据，MySql还支持在类型名称后面的小括号设置宽度，默认设置为int(11),配合zerofill,
当数字位数不够的时候，用字符‘0’填充

alter table t1 modify id1 int zerofill

对于小数，MySql 分为两种，浮点数和定点数。浮点数包括float和double，而定点数只有decimal，定点数在Mysql内部是以字符串形式存放，比浮点数更精确，适合用于货币等精度高的数据

浮点数和定点数可以用类型名称加（M，D) M是几位，D是位于小数点后面几位。

日期类型

TIMESTAMP
创建一个字段为TIMESTAMP类型，系统自动创建了默认值为CURRENT_TIMESTAMP（系统日期）。同时MySql规定TIMESTAMP类型字段一列只能有一个默认值current_timestamp。如果修改会报错.

TIMESTAMP 另一个重要特点是与时区有关。当插入时间时，先转换为本地时区后存放，而从数据库取出时，同样会将日期转换为本地时区后显示，这样两个时区的用户看到同一个时区可能就不一样

查看当前时区
show variables like 'time_zone';
修改时区
set time_zone='+9.00';

DATETIME插入的格式

YYYY-MM-DD HH:MM:SS 或YY-MM-DD HH:MM:SS 的字符串允许任何标点符号用来做时间部分的间隔符
如92@12@31 11^30^45

YYYYMMDDHHMMSS 或YYMMDDHHMMSS的格式没有间隔符的字符串

字符串类型

CHAR和VARCHAR类型
两者的主要区别是存储方式不同：CHAR列的长度固定为创建表时声明的长度，长度可以为0-255；二VARCHAR列中的值是可变长度。同时在检索的时候，CHAR列删除尾部的空格 ，而VARCHAR保留空格，由于CHAR是固定长度，所以它的处理速度别VARCHAR快很多，但是其缺点是浪费内存，在使用中VARCHAR被更多的使用

create table vc (v varchar(4),c char(4))
insert into vc values('ab  ','ab  ');
selelct length(v),length(c) from vc
//4,2

枚举

create table t(gender enum('m','f'));
insert into t values('m'),('2'),('f'),('null')
//m,f,f,null

set类型
set类型可以一次选取多个成员

create table t2 (col set('a','b','c','d'));
INSERT into t2 VALUE ('a,b'),('a,d,a'),('a,b'),('a,c'),('a');

对于（a,d，a)这个包含重复成员的集合只取一次 结果为’a,d'

运算符

DIV==/==除法获取商
MOD==%==除法获取余数

=和<=>区别

不能用于null比较，后者可以

between 使用格式 a between min and max 等价于 a>=min and a<=max

in的使用格式 a in(value1,value2...);

like 使用格式如 a like %123%,当字符串含有123则返回1 否则返回0

REGEXP 使用格式 str REGEXP str_pat 当str字符串中含有str_pat 相匹配的字符串，则返回1

位运算

运算符 作用
& and
| or
^ xor
~ 位异或
>> 位右移
<< 位左移

常用函数

函数 功能
CONCAT(s1,s2,s3...) 连接s1到sn的字符串（任何字符串和null拼接都是null）
insert(str,x,y,instr) 将字符串str从x位置开始，y字符长的子串替换为字符串instr
lower(str) 将字符串str中所有字符变为小写
UPPER(str) 大写
LEFT(str,x) 返回字符串str最左边x个字符
RIGHT(str,x) 返回字符串str最右边的x个字符
LPAD(str,n,pad) 用字符串pad对str最左边进行填充，直到长度为n个字符串长度
PRPAD(str,n,pad) 用字符串pad对str最右边进行填充，直到长度为n个字符串长度
LTRIM(str) 去掉字符串str左侧的空格
RIGHT(str) 去掉字符串str行尾的空格
REPEAT(str,x) 返回str重复x次的结果
REPLACE(Str,a,b) 用字符串b替换字符串str中所有出现的字符串a
STRCMP(s1,s2) 比较字符串s1和s2
TRIM(str) 去掉行尾和行头的空格
SUBSTRING(str,x,y) 返回字符串str x位置起y字符串长度的字串

数字函数

函数 功能
ABS(X) 返回x的绝对值
CEIL(X) 返回大于x的最小整数值
FLOOR(X) 返回小于x的最大整数值
MOD(x,y) 返回x/y的模
RAND() 返回0-1内的随机值
ROUND(x,y) 返回参数x的四舍五入的有y位小数的值
TRUNCATE(x,y) 返回数值x截断为y位小树的结果

日期和时间函数

函数 功能
CURDATE() 返回当前日期
CURTIME() 返回当前时间
NOW() 返回当前的日期和时间
UNIX_TIMESTAMP(date) 返回date的unix时间戳
FROM_UNIXTIME 返回UNIX时间戳的日期值
WEEK(date) 返回日期date为一年中的第几周
YEAR(date) 返回日期date的年份
HOUR(time) 返回time的小时值
MINUTE(time) 返回time的分钟值
MONTHNAME(date) 返回date的月份名
DATE_FROMATE(date,fmt) 返回按字符串fmt格式化日期date值
DATE_ADD(date,interval expr type) 返回一个日期或时间值加上一个时间间隔的时间值
DATEDIFF(expr,expr2) 返回起始时间expr和结束时间expr2之间的天数

流程函数

函数 功能
IF(value,t f) 如果value是真 返回 t；否则返回f
IFNULL(value1,value2) 如果value1不为空，返回value1，负责返回value2
CASE WHEN[value1] THEN[value2]...ELSE[default] END 如果value1是真，返回result1否则返回defalut
case [expr] WHEN[value1] THEN[value2]...ELSE[default] END 如果expr等于value1，返回result1否则返回defalut

实例

create table salary(userid int ,salary decimal(9,2));
insert into salary values(1,1000),(2,2000),(3,3000),(4,4000),(5,5000),(1,null);
select * from salary
select if(salary>2000,'high','low') from salary;
select ifnull(salary,0) from salary;
select case when salary <=2000 then 'low' else 'high' end from salary;
select case salary when 1000 then 'low' when 2000 then 'mid' else 'high' end from salary;

其他函数

函数 功能
DATABASE() 返回的确数据库库名
VERSION() 返回当前数据库版本
USER() 返回当前登录用户名
INET_ATON(IP) 返回ip地址的数字表示
INET_NTOA(num) 返回数字代表的ip地址
PASSWORD(str) 返回字符串str加密版本
MD5() 返回字符串的md5值

MySql引擎
MySql支持的存储引擎包括MyISAM、InnoDB、BDB、MEMORY、MERGE、EXAMPLE、NDB Cluster、ARCHIVE、CSV、BLACKHOLE、FEDERATED等，其中InnoDB和BDB提供事务安全表，用户可以选择不同的数据存储引擎来提高应用的效率

创建表如果不指定存储引擎，系统默认使用默认存储引擎，MySql5.5之前的默认引擎是MyISAM，5.5之后改为InnoDB。如果要修改默认的存储引擎，可以在参数文件中设置default-table-type.

show ENGINES //查看的确支持的存储引擎

//通过增加engine关键字设置新建表的储存引擎z
create table ai(i bigint(20) not null auto_increment,primary key(i))engine=innodb default charset=gbk;

通过alter　来修改一个表的存储引擎
ALTER TABLE ai ENGINE =MyISAM;

MyISAM
MyISAM 不支持事务、也不 不支持外键，其优点是速度快，对事务完整性没有要求。以SELECT和INSERT为主的应用基本上都就可以使用这个表

InnoDB
InnoDB存储引擎提供了具有提交、回滚和崩溃恢复能力的事务安全。但是对比MyISAM的存储引擎，InnoDB写的处理效率差一些，并且会占用更多的磁盘空间以保留数据和索引。

create table autoincre_demo (i smallint not null auto_increment,name varchar(10),primary key(i))engine=innodb;

insert into autoincre_demo values(1,'1'),(0,'2'),(null,'3') 
如果插入空或者0，则实际插入的将是自动增长后的值。
可以通过以下语句强制设置自动增加列的初始值，默认从1开始，但是该强制的默认值是保留到内存中，如果数据库从起，这个强制的默认值会丢失，就需要数据库启动后重新设置
ALTER TABLE *** auto_increment =n

MEMORY
memory 存储引擎使用存在于内存中的内容来创建表，每个MEMORY表实际对应一个磁盘文件，格式是.fm,MEMORY表的访问非常快，因为它的数据是放在内存中，并且默认使用HASH索引，但是一旦服务关闭，表中的数据就会

alter table t2 engine=memory;
show TABLE status like 't2'
给memory表创建索引。可以指定hash索引还是btree索引
create index mem_hash using hash on tab_memory(city_id);

在启动MySql服务的时候使用--init-file选项，把INSERT INTO ... SELECT或LOAD DATA INFILE这样的语句放入这个文件中，就可以在服务启动时从持久稳固的数据源装载表
服务器需要足够的内存来维持同一时间使用的MEMORY表，当不需要MEMORY表的内容，要释放MEMORY表的内存，执行DELETE FROM或 TRUNCATE TABLE 或者是DROP TABLE
每个MEMORY表中可以放置的数据量的大小，受max_heap_table_size系统变量的约束，初始值是16mb，可以根据需要加大、
MEMORY类型的存储引擎主要用在那些内容变化不平凡的表，或作为统计操作的中间结果表，便于高效的对中间结果进行分析并得到最终的统计结果。

TokuDB
TokuDB是第三方的存储引擎，是一个高性能、支持事务处理的MySql和MariaDB的存储引擎，具有高扩展性、高压缩、高效率的写入性能，支持大多数在线的DDL操作
TokuDB 特别适用的场景

几种常用存储引擎的适用环境

Text与BLOB
如果保存少量字符串会选择CHAR和VARCHAR 但是保存较大文本时，选择text或blob，两者主要差别是blob能用来保存二进制数据如图片；而text只能保存字符数据

BLOB与TEXT引起的性能问题，特别是在执行大量的删除数据时，删除操作会留下很大的空洞，以后填入这些空洞的记录在插入的性能上会有影响，建立定期使用OPTIMIZE TABLE对这类表进行碎屏整理

optimize table t

使用合成的索引来提供大文本字段的查询性能

合成索引就是根据大文本字段的内容建立一个散列值，并把值存储在单独的数据列中，接下来就是通过检索散列值找到数据行，但是只能做到精确匹配不能使用范围搜索。可以使用MD5，SHA1，CRC32 等生成散列值，使用精确匹配，在一定程度上减少了I/O，提高了查询效率。如果散列算法生成的字符串带有尾部空格，就不要存储在CHAR或VARCHAR列中，它会受尾部空格的影响

如果需要对BLOB或CLOB字段进行模糊查询，MySQL提高前缀索引，也就是只为字段的前n列创建索引
desc select * from t where context like 'beijing%' \G;

注意事项

设计索引的原则

存储过程和函数

什么是存储过程和函数

存储过程和函数是事先经过编译并存储在数据库中的一段SQL语句的集合，调用存储过程和函数
可以简化应用开发人员的很多工作，减少数据在数据库和应用服务器之间的传输，对于提供数据处理的效率是有好处的。

存储过程很函数的区别在于函数必须有返回值，而存储过程没有，储存过程的参数可以使用IN，OUT，INOUT类型，而函数的参数只能是IN类型的。如果有函数从其他类型的数据库迁移到MySQL，那么就可能因此需要将函数改造成存储过程。

存储过程和函数的相关操作

在对储存过程和函数操作时，需要首先确认用户是否具有相应的权限。例如，创建存储过程或者函数需要CREATE ROUTINE权限，修改或者删除存储过程或者函数需要ALTER ROUTINE权限，执行过程或者函数需要EXECUTE权限

创建一个新的过程 film_in_stock,该过程用来检查 film_id和store_id对应的inventory是否满足要求，并且返回满足的inventory_id 以及满足要求的记录数
CREATE PROCEDURE film_in_stock(in p_fim_id int,in p_store_id int,out p_film_count int)
READS sql data
begin
  select inventory_id
  from inventory
  where film_id =p_film_id
  and store_id=p_store_id
  and inventory_in_stock(inventory_id);
  
  SELECT found_rows() into p_film_count;
end $$

通常在创建过程和函数之前，都会通过DELIMITE $$命令将语句的结束符从'；'修改成其他符号，这里使用‘$$’，这样在过程和函数中的
';'就不会被MySql，解释成语句的结束而错误。在存储过程或者函数创建完成 通过‘DELIMITER;'命令在将结束符改回成';'
调用过程
CALL film_in_stock(2,2,@a);
存储过程的好处在于处理逻辑都封装在数据库端，调用者不需要了解中间的处理逻辑，一旦逻辑改变，只需要修改存储过程，对调用者的程序没有影响

删除存储过程或者函数
一次只能删除一个存储过程或者函数，删除需要ALTER ROUTINE权限

drop procedure film_in_stock;

查看存储过程或者函数状态

show procedure status like 'film_in_stock';

查看存储过程的函数定义
show create procedure film_in_stock

变量使用
存储过程和函数中可以使用变量，在MySql 5.1版本中，变量不区分大小写

变量的定义
通过DECLARE可以定义一个局部变量，该变量的作用范围只能在BEGIN...END中，可以用在嵌套块中
定义一个DATE类型的变量
DECLARE last_month_start date;
变量赋值 可以直接赋值，或者通过查询赋值。直接赋值使用set，可以赋常量或者赋表达式
set var_name=expr [,var_name=expr]...
set last_month_start=date_sub(current_date(),interval month);
select col_name[,...] into var_name[,...] table_expr;

定义条件和处理

delimiter $$
create procedure actor_insert()
begin
 declare continue handler for sqlstate '23000' set @x2=1;
 set @x=1;
 insert into actor(actor_id,first_name,last_name) values(201,'test','201');
 set @x=2;
 insert into actor(actor_id,first_name,last_name) values(1,'test','1');
 set @x=3;
end ;
$$

调用处理函数时遇到主键重的错误会按照定义的处理方式去处理，由于定义的是CONTINUE 会继续执行下面的语句
还支持EXIT表示终止

光标使用

声明光标
declare cursor_name cursor for select_statement
open光标
open cursor_name
fetch光标
fetch cursor_name into var_name[,var_name]...
close光标
close cursor_name

delimiter $$
create procedure payment_stat()
begin
 declare i_staff_id int;
 declare d_amount decimal(5,2);
 declare cur_payment cursor for select staff_id,amount from payment;
 declare exit handler for not found close cur_payment;
  set @x1=0;
  set @x2=0;
  open cur_payment;
 REPEAT
   FETCH cur_payment into i_staff_id,d_amount;
    if i_staff_id =2 then
    set @x1=@x1+d_amount;
    else
    set @x2=@x2+d_amount;
    end if;
 until 0 end repeat;
 close cur_payment;
 end;
 $$
变量，条件，处理程序，光标都是通过DECLARE定义的，她们之间是有先后顺序要求的。变量和条件必须在最前面声明，然后才能是光标的声明，最后才可以是处理程序的声明

控制语句

case 
 when i_staff_id =2 then
 set @x1=@x1+d_amount;
 else
 set @x2=@x2+d_amount;

loop 和leave结合

create procedure actor_insert()
begin
 set @x=0;
 ins:loop
  set @x=@x+1;
  if @x=100 then
  leave ins;
  end if;
  insert into actor(first_name,last_name) values('Test','201');
  end loop ins;
end;
$$

inerate 语句作用是跳过当前循环的剩下语句，直接进入下一轮循环

create procedure actor_insert()
begin
 set @x=0;
 ins:loop
 set @x=@x+1;
 if @x=10 then
 leave ins;
 elseif mod(@x,2)=0 then
 iterate ins;
 end if;
 insert into actor(actor_id,first_name,last_name) values(@x+200,'test',@x);
 end loop ins;
end;
$$

repeat 语句 有条件的循环控制语句，当满足条件的时候退出循环
repeat
  fetch cur_payment into i_staff_id,d_amount;
  if i_staff_id =2 then
   set @x1=@x1+d_amount;
  else
   set @x2=@x2+d_amount;
  end if;
 until 0 end repeat;

while
delimiter $$
create procedure loop_demo()
begin
 set @x=1,@x1=1;
 repeat
   set @x=@x+1；
  until @x>0 end repeat;
  while @x<1 do
   set @x=@x+1;
  end while;
 end;
 $$

//创建事件调度器
CREATE EVEN test_event_1 ON SCHEDULE
EVERY 5 SECOND
DO
INSERT INTO dept(deptno,deptname)
VALUES(3,'3');
//查看本地调度器状态
 show variables like '%scheduler%';
 //打开调度器
 set global event_scheduler=1;
 //查看后台进程
 show processlist;
 //创建一个新的定时器 定时清空表，防止表变大，这类触发器非常适合去定期清空临时表或者日志表
 create event trunc_test
 on schedule every 1 minute
 do truncate table test;
 
 禁用调度器或者删除
 alter event test_event_1 disable;
 drop event test_event_1;
事件调度器 说明
优势 MySQL事件调度器部署在数据库内部由DBA或专人统一维护和管理，避免将一些数据库相关的定时任务部署到操作系统层，减少操作系统管理员产生误操作的风险，对后续的管理和维护也非常有益。例如，后续进行数据库迁移时无需再迁移操作系统层的定时任务，数据库迁移本身已经包含了调度事件的迁移
使用场景 事件调度器适用于定期收集统计信息，定期清理历史数据，定期数据库检查（例如，自动监控和回复slave失败进程）
注意事项 在繁忙且要求性能的数据库服务器上要慎重部署和启用调度去；过于复杂的处理更适合程序实现；开启和关闭事件调度器需要具有超级用户权限

事务控制和锁定语句

查看文章：http://blog.csdn.net/fuzhongyu2/article/details/52729371

session_1 session_2
获取表film_text 的read锁定 lock table fim_text read
当前seesion可以查询记录 select * from fim_text 其他seesion也可以查询select * from fim_text
其他session更新锁定表会等待锁 update fim_text .... 处于等待状态
释放锁 unlock tables 等待
sesion获取锁，更新成功

事务控制

mysql 通过set autocommit ,start transaction ,commit ,rollback等语句支持本地事务。默认情况下，mysql是自动提交(autocommit)的，如果需要明确的commit和rollback来提交和回滚事务，那么就需要通过明确的事务控制命令来开始事务，这是和Oracle的事务管理明显不同的地方。

  1. start transaction 或 begin语句可以开始一项新的事务
  2. commit 和rollback用来提交或者回滚事务。
  3. chain和release字句分别用来定义在事务提交或回滚之后的操作，chain会立即启动一个新事务，并且和刚才的事务具有相同的隔离级别，release则会断开和客户端的连接。
  4. set autocommit可以修改当前连接的提交方式，如果设置了set autocommit=0，则设置之后的所有事务读需要通过明确的命令进行提交或者回滚。

如果只是对某些语句需要进行事务控制，则使用start transaction语句开始一个事务比较方便，这样事务结束之后可以自动回到自动提交的方式，如果希望所有的事务都不是自动提交的，那么通过修改autocommit来控制事务比较方便。

start transation和commit and chain

session_1 session_2
从表actor查询 select * from actor 没有数据 从表actor查询 select * from actor 没有数据
启动一个事务start transaction; insert into actor...
查询actor select * from actor 仍然为空
commit
再次查询 就有 了 select * from actor...
session_1 session_2
自动提交 inset into actor...
可以从表中查询到刚插入 select *from actor
重新用star transaction 启动一个事务 start transaction; insert into actor...;用commit and chain命令提交 commit and chain;此时启动一个新的事务， insert into...
刚插入的数据查不到 select * from actor...
用commit 提交 commit;
刚插入的可以查询到

如果在锁表的期间，用start transaction 命令开始一个新的事务，会造成一个unlock tables被执行

session_1 session_2
查询一个actor_id=201,结果为空 select * from actor where actor_id=201; 从表里查询 同理结果为空
对表加写锁 lock table actor write
对表actor 的读操作被阻塞 select * from actor where actor_id=201
插入数据 insert into actor(actor_id,..)values(201,..) 等待
回滚记录 rollback 等待
用start transaction命令重新启动一个事务 等待
开始一个事务，表锁被释放，可以查询；select ...where actor_id=201
查到数据

因此，在同一个事务中，最好不使用不同的存储引擎，否则rollback时需要对非事务类型的表进行特别的处理。因为，commit ,rollback 只能对事务类型的表进行提交和回滚。
通常情况下，只对提交的事务记录到二进制的日志中，但是如果一个事务中包含非事务类型的表，那么回滚操作也会被记录到二进制日志中，以确保非事务类型表的更新可以被复制到从数据库(slave)中。
在事务中可以通过定义savepoint，指定回滚事务部分，但是不能指定提交事务的一个部分。对于复杂的应用，可以定义多个不同的savepoint,满足不同的条件时，回滚不同的savepoint,需要注意的是，如果定义了相同名字的savepoint，则后面定义的savepoint会覆盖之前的定义。对于不需要使用的savepoint，可以通过release savepoint命令删除。
事务回滚

session_1 session_2
从表中查询first_name='Simon'的记录为空 select * from....where first_name='simon' 从表中查询first_name='Simon'的记录为空 select * from....where first_name='simon'
启动一个事务插入 一条数据 start transaction; inset ....values('simon'...)
查询到刚插入的数据 select * from...where first_name='simon' 无法从actor查到session1刚插入的记录 select * from ... where first_name='simon'
有数据 无数据
定义一个 savepoint，名称为test savepoint test; insert into ...values(...,tom)
查询到两条数据select *... 仍然查询不到数据 select * ...
回滚到刚才定义的savepoint rollback to savepoint test
从表actor查询到一条数据 第二天被回滚 select * from .... 仍然查询不到数据
提交commit
查询的到 查询的到

分布式事务的使用

MySql从5.0.3开始支持分布式事务，当前分布式事务只支持InnoDb存储引擎。一个分布式事务会涉及多个行动，这些行动本身是事务性。所有行动都必须一起成功完成，或者一起被回滚

在mysql中，使用分布式事务的应用程序涉及一个或多个资源管理器和一个事务管理器。

  1. 资源管理器(rm)用于提供通向事务资源的途径。数据库服务器是一种资源管理器，该管理器必须可以提交或回滚由rm管理的事务。如：多台mysql数据库作为多台资源管理器或者几台mysql服务器和几台oracle服务器作为资源管理器。
  2. 事务管理器（tm）用于协调作为一个分布式事务一部分的事务。tm与管理每个事务的rm s进行通信。在分布式事务中，各个单个事务均是分布式事务的“分支事务”。分布式事务和各个分支通过一种命名方法进行标示。

执行分布式的过程分为两阶段提交，发生时间有分布式事务的各个分支需要进行的行动已经被执行之后

  1. 在第一阶段，所有分支呗预备好，即它们被TM告知要准备提交。通常，这意味着用于管理分支的每个RM会记录对于被稳定保存的分支的行动。分支指示是否它们可以这么做，这些结果被用于第二阶段
  2. 在第二阶段，TM告知Rms是否要提交或回滚，如果在预备分支时，所有的分支指示它们将能够提交，则所有的分支被告知要提交。如果在预备时，有任何分支指示它将不能提交，则所有分支呗告知回滚。

语法

xa start xid 用于启动一个带给定xid值的xa事务。每个xa事务必须有一个唯一的xid值，因此该值当前不能被其他xa事务使用
xa grtid[,beual[,formatId]] grtid 是一个分布式事务比较符，相同的分布式事务应该使用相同的gtrid，这样可以明确知道XA事务属于哪个分布式事务
bequal 是一个分支限定符，默认值是空值。对于一个分布式事务中的每个分支事务，bqual指是唯一的
formatId是一个数值，要用来标志 由gtrid和bqual值使用的格式，默认是1

xa end xid[suspend [for migrate]]
xa prepare xid
使事务进入prepare 状态，也就是两阶段提交的第一个提交阶段

xa commit xid[one phase]
xa rollback xid
用来提交和回滚具体的分支事务

xa recover 返回当前数据库中处于PREPARE状态的分支事务的具体信息


分布式的关键在于如何确保分布式事务的完整性，以及在某个分支出现问题时的故障解决，xa的相关命令就是提供给应用如何在多个独立的数据库之间进行分布式事务的管理，包括启动一个分支事务、使事务进入准备阶段以及事务的实际提交回滚操作等，

例子

session_1 in DB1 session_2 in DB2
在数据库DB1 启动一个分布式的一个分支事务,xid 的gtrid 为 "test",bqual为"db1": xa start 'test','db1';分支事务插入一个数据 insert into actor(...)values(...) 对分支事务1进行第一阶段提交，进入prepare状态 ：xa end 'test','db1'; xa prepare 'test','db1' 在数据库DB2 启动分布式事务 "test"的另外一个分支事务，xid的gtrid为"test".bqual为"db2"; xa start 'test','db2': 分支事务2在表film_actor 更新数据 最后 xa end 'test','db2' xa prepare 'test','db2'
xa recover 查看当前分支事务状态 xa recover 查看当前分支事务状态
两个事务进入准备提交状态，如果之前遇到任何错误，都应该回滚到所有分支，以确保事务的正确
xa commit 'test','db1' xa commit 'test','db2'

如果分支事务在执行到prepare状态是，数据库异常，且不能再支持启动，需要备份和binlog来回复数据，

SQL Mode

在MySql中，SQLMode常用来解决下面几类问题

  1. 通过设置SQL Mode，可以完成不同严格程度的数据校验，有效的保障数据准确性。
  2. 通过设置SQL Mode，为ANSI模式，来保证大多数SQL符合标准的Sql语法，这样应用在不同数据库之间进行迁移时，则不需要对业务SQL进行较大的修改
  3. 在不同数据库之间进行数据迁移之前，通过设置SQL Mode可以使MySQL上的数据更方便地迁移到目标数据库中
查看 SQL Mode命令
select @@sql_mode

插入一个出国实际定义值的大小varchar(10)
insert into value('123400000000000000000000000000000');
//查看warning内容
show warnings
select * from t 这里对插入的数据进行截取前10位

设置SQL Mode为 严格模式
set session sql_mode='STRICT_TRANS_TABLES'
再次插入insert into value('123400000000000000000000000000000'); 直接给出ERROR，而不是warning

SQL Mode常见功能
校验日期是合法性
set seesion sql_mode='ANSI'
insert into t values('2007-04-31')
结果是 插入值变成'0000-00-00 00:00:00' 并且系统给出warning 而在TRADITIONAL模式下，直接提示日期非法，拒绝插入，同时Mode（x,0）也会报错

qidon NO_BACKSLASH_ESCAPES模式，使反斜杠成为普通字符，在导入数据时，如果数据含有反斜杠字符,你们启动NO_BACKSLASH_ESCAPES模式，保证数据的正确性

启动PIPES_AS_CONCAT。将||视为字符串连接符，在Oracle等数据库中，||被视为字符串的连接操作符，所以在其他数据库中含有||操作符的sql在MySql将无法执行，为了解决这个问题mysql提供了PIPES_AS_CONCAT模式、

MySql分区

MySql从5.1版本开始支持分区，分区是指按照一定的规则，数据库把一个表分解成多个更小的，更容易管理的部分。就访问数据库的应用而言，逻辑上只有一个表或一个索引，但是实际上这个表可能由数10个物理分区对象组成，每个分区都是一个独立的对象，可以独自处理，可以作为表的一部分进行处理。分区对应用而言是完全透明的，不影响应用的业务逻辑

优点

分区有利于管理非常大的表，它采用 分而治之的逻辑，分区引入分区键的概念，分区键用于根据某个区间键，特定值列表或者HASH函数执行数据的聚集，让数据根据规则分布在不同的分区中，让一个大对象变成一些小对象

show VARIABLES like '%partition%' 查看是否支持分区

Mysql支持大部分存储引起如MyISAM，INNODb,Memory等存储引擎，创建分区，在5.1版本中，同一个分区表的所以分区必须使用同一个存储引擎；在同要给表上，不能对一个分区使用MyISAM引擎和Innodb引擎，但是在同一个MySQL服务器服务器上，甚至同一个数据库中，对于不同的分区表使用不同的存储引擎

分区类型

在5.1版本中，RANGE分区，LIST分区，HASH分区要求分区键都是int类型，key分区，可以使用其他类型（除了BLOB和TEXT类除外）作为分区键
分区表的主键/唯一键必须包含分区键，不能使用主键/唯一键，要么分区表的主键/唯一键都必须包含分区键，分区的名字是不区分大小写的

range分区

CREATE TABLE emp(
    id int not null,
    ename varchar(30),
    hired date not null DEFAULT '1970-01-01',
    separated date NOT null DEFAULT '9999-12-21',
    job varchar(30) not null,
    store_id int not null
)
partition by range(store_id)(
    PARTITION p0 VALUES less than (10),
    PARTITION p1 VALUES less than (20),
    PARTITION p2 VALUES less than (30)
);
//上述的分区方案将storid,1-9分到p0区，10-19分到p1区，等如果插入大于30，会出现错误，因为没有规则保护大于30的

INSERT into emp VALUES('2322','milk','1993-12-23','1993-12-23','click',19);//可以

//Table has no partition for value 40
INSERT into emp VALUES('2322','milk','1993-12-23','1993-12-23','click',40);

添加分区
alter  table emp add partition(partition p3 values less than maxvalue);
maxvalue表示最大的可能的整数值

mysql 支持在values less than 语句中加入表达式
比如以日期作为分区
CREATE TABLE emp(
    id int not null,
    ename varchar(30),
    hired date not null DEFAULT '1970-01-01',
    separated date NOT null DEFAULT '9999-12-21',
    job varchar(30) not null,
    store_id int not null
)
partition by range(year(separated ))(
    PARTITION p0 VALUES less than (1995),
    PARTITION p1 VALUES less than (2000),
    PARTITION p2 VALUES less than (2005)
);
MySQl 5.5改进了range分区给你，通过支持非整数分区，创建日期分区就不需要通过函数进行转换
partition by range(separated )(
    PARTITION p0 VALUES less than ('1996-01-01'),
    PARTITION p1 VALUES less than ('2001-01-01'),
    PARTITION p2 VALUES less than ('2006-01-01')
);

rang分区的功能适用一下情况

explain partition select count(1) from emp where store_id>=25

List分区
List分区是建立离散的值列表告诉数据库特定的值属于哪个分区，LIST分区在很多方面类似于RANGE分区，区别在于LIST分区是从属于一个枚举列表，RANGE分区是从属于一个连续区间值的集合

create table expenses（
  expense_date date not null,
  category int,
  amount decimal(10,3)
）partition by list (category)(
   partition p0 values in(3,5),
   partition p1 values in(1,10),
   partition p2 values in(4,9),
   partition p3 values in(2),
   partition p4 values in(6)
)

LIST分区不存在类似于VALUES LESS THAN MAXVALUE这样的值 在MYSQL5.5支持非整数分区

Columns分区
Column分区是5.5引入的分区类型，引入Columns分区解决了MySQL5.5版本之前RANGE和LIST分区值值支持整数分区，从而导致需要额外的函数计算得到整数值或者通过额外的转换表来转换为整数在分区的问题
Column分区可以细分为RANGE Columns分区和LIST Columns分区，RANGE Columns分区和LIST Columns分区都支持整数，日期时间，字符串三大数据类型
对于Range分区和List分区，Colums分区的亮点除了支持数据类型增加之外，还支持多列分区

create table rc3(a int,b int)
parition by range columns(a,b)(
 parition p01 values less than(0,10),
 parition p01 values less than(10,10),
 parition p01 values less than(10,20),
 parition p01 values less than(maxvalue,maxvalue)
)

Hash分区
hash分区主要是分数热点读，确保数据在预先确定个数的分区中尽可能平均分布。对一个表执行HASH分区时，Mysql会对分区间应用一个散列函数，以确定数在n个分区中的那个分区中。
mysql支持两种hash分区，常规的hash分区和线性hash分区，常规的hash使用取模算法，线性hash分区使用的一个线性的2的幂的运算法则

create table emp(id int not null.ename varchar(30),hired date not null default '1907-01-01',sparated date null null default '8888-12-31',job varchar(30) not null,store_id int not null) partition by hash(store_id)partitions 4;

这里创建了一个常规的hash 使用 partition by hash（expr）其中expr是某列值或一个整数值的表达式返回值。 partition num 对分区类型，分区键，分区个数进行定义，上述基于store_id列hash分区，表被分为4个分区

我们可以计算出它被保存在哪个分区中假设，假设记录的分区编号为N，那么N=MOD（expr，num），例如emp表中有4个分区，插入一个store_id为234的 mod（234,4）=2,倍保存在第二个分区

表达式‘expr’可以是MySQL中有效的任何函数或者是其他表达式，只要它们返回一个既非常数也非随机数的整数。每当插入更新删除一行数据，这个表达式就需要计算一次，意味着非常复杂的表达式可能会引起性能问题
常规的HASH分区通过去模的方式去讲数据平均分布在每个分区上，让每个分区管理的数据都减少，提高了查询的效率；可是当我们需要增加分区或者合并分区的时候，问题就出现了，假设原来是5个常规hash分区，现在需要新增一个常规hash分区，原来的去模算法是mod（expr,5)根据余数0-4分布在5个分区上，现在新增一个分区，取模算法变为mod（expr，6）根据余数0-5分区在6个分区中，原来5个分区的数据大部分都需要通过重新计算重新分区，常规的hash在分区管理上带来的代价太大了。不适合灵活变动分区的需求，Mysql提供了线性hash分区

create table emp(id int not null.ename varchar(30),hired date not null default '1907-01-01',sparated date null null default '8888-12-31',job varchar(30) not null,store_id int not null) partition by linear hash(store_id)partitions 4;

计算编号为n的分区
首先找到下一个大于等于num的2的幂，这个值设为v，v的计算公司
v=power(2,ceiling(log(2,num)))
 =power(2,ceiling(log(2,4)))
 =power(2,ceiling(2))
 =power(2,2)
 =4
其次设置n=f（column_list)&(v-1),现在计算store_id=234对应的n值
n=f(column_list)&(4-1)
 =234&(4-1)
 =2
当n》=num设置n=n&（v-1)
对于store_id=234由于n=2《4，所以直接判断这个会被存放到第二分区

线性hash分区的优点在于，在分区维护上（包含增加，删除，合并，拆分分区）时，Mysql能够处理得更加迅速；缺点是对比常规hash分区的时候，线性hash分布不太均衡

key分区
按照key分区进行分区非常类似于按照hash进行分区，只不过hash分区允许使用用户自定义的表达式，而KEY分区不行使用用户自定义的表达式，需要使用MySQl服务器提供的hash函数；同时hash分区只支持整数分区，而key分区支持除了blob
or text类型外其他类型的列作为分区键

create table emp(id int not null.ename varchar(30),hired date not null default '1907-01-01',sparated date null null default '8888-12-31',job varchar(30) not null,store_id int not null) partition by key (job)partitions 4;

如果不知道分区键，默认为主键，没有主键会选择非空唯一键作为分区键

子分区
子分区是分区表对每个分区的再次分割。又被称为复合分区，mysql5.1开始支持对已经通过range或者list分区了的表在进行子分区

create table ts(id int,purchased date) partition by range(year(purchased)) subpartition by hash(to_days(purchased))subpartitions 2(partition p0 values less than (1900),partition p0 values less than (2000),partition p0 values less than (maxvalue))

在分区中的null值
在mysql不禁止分区键上使用null，分区键可能是一个字段或者一个用户定义的表达式，一般情况下，mysql的分区把null当做零值，或者一个最小值处理

分区管理

删除分区
alter table emp_date drop partition p2;
增加分区
alter table emp_date add partition(partition p5 value less than(2025))

拆分p3分区，分为p2和p3分区
分区
alter table emp_date reorganize partition p3 into(partition p2 values less than(2005),parition p3 values less than (2015));

合并分区
alter table emp_date reogranize partition p1,p2,p3 into(partition p1 values less than (2015))

重新定义list分区时，只能重新定义相邻的分区，不能跳过list分区进行重新定义

hash&key管理

不能以range和list分区表删除分区的方式，而是跳过alter table coalesce partition 来合并或分区
以原先4个分区为例
alter table emp coalesce partition 2 //减少分区到2个

alter table emp coalesc partition 8 //不能增加分区

要增加分区
alter table emp add partition partitions 8;

参考文章

上一篇下一篇

猜你喜欢

热点阅读