php自动备份数据库数据到文件的实现
2018-12-13 本文已影响157人
AISpider
场景：往往在项目中，用户操作日志， 用户测试日志 ，系统访问日志会随着时间的推移而导致数据表变的越来越重，但是用户又不想彻底删除这些日志，应该怎么做？
一个比较好的方案就是：当日志表数据量达到某个值时，应该把老的数据备份到日志文件中，并且将这些数据从数据库中删除。这样如果用户想要查询更早的记录，去按时间点查询相应的日志文件即可！
如何实现
用脚本的方式，每天0时后去检测数据量是否超标，如果超标，则将最早的数据备份到相应的日志文件，并且将多余的数据从数据库中删除。
具体流程如下：
自动备份流程
- 将启动脚本加入到开机启动任务中，每次开机运行该脚本
- 首次启动脚本休眠60s，原因是因为服务器刚启动，mysql服务可能还没启动，操作数据库会出错或者脚本死掉，导致不能正常运作。
- 设置时间开关。该开关用来检测当天是否已经检测过是否要备份数据了。
- 根据当前时间和时间开关检测当天是否已经 检测过是否要备份数据。
- 如果已经备份过了，则休眠一个小时后再继续检测。
- 如果当天未检测过备份，则执行检测备份。备份流程如下：
如果数据量大于限定值，则将最早的数据备份写入到文件，并且将大于限定值的数据删除。
执行完上面的步骤休眠一小时，继续检测...
源码实现
<?php
namespace Server\Controller;
use Think\Controller;
/**
* 本程序基于tp3.2.3
* 异步计划执行任务。
* 该任务需要检测是否开启自动同步，并且设置了自动同步时间（通常是多久执行一次）
* 应用场景： 用户操作日志 用户测试日志 系统访问日志出现大量日志，会导致数据查询变慢，但是用户又不想删除这些日志的情况下
*/
class PlanController extends Controller {
function _initialize(){
// 如果非cli模式，则不能运行
if (!IS_CLI) {
die();
}
// 关闭错误提示，如果需要，请手动打开
// 避免开机启动中，终端报莫名的错误。调试的时候可以打开
ini_set('display_errors', 'off');
}
/**
* 执行备份
* @param $table_name 要备份的数据表
* @param $number 限定的条数，默认超过1万条数据后备份
*/
private function backup($table_name,$number=10000){
$count=M($table_name)->count("id");
if ($count>$number) {
// 查询所有大于限定值的记录
$data=M($table_name)->order("id DESC")->limit("$number,$count")->select();
// 备份文件名称，按日期比较好查询
$file_name=date("Y-m-d").".txt";
// 存储备份数据日志位置
$file_path="./Public/Uploads/backup/".$table_name;
// 创建目录
createPath($file_path);
// windows环境下，下面授权可以注释掉
chmod($file_path,0777);
// 创建文件 备份的数据将以json格式保存，方便再次使用/提取
$file = fopen($file_path."/".$file_name, "a");
if (!$file) {
fclose($file);
return false;
}
fwrite($file, "[");
$del_number=$count-$number-1;
// 一条记录一行，写入文件，并且从数据库中将备份过的数据删除
foreach ($data as $key => $row) {
// 存储到文件
if ($del_number<=$key) {
$json_str=json_encode($row);
}
else{
$json_str=json_encode($row).",";
}
fwrite($file, $json_str);
// 删除记录
$dmap=array();
$dmap['id']=$row['id'];
M($table_name)->where($dmap)->delete();
}
fwrite($file, "]");
fclose($file);
// windows环境可以注释
chmod($file_path."/".$file_name,0777);
}
return true;
}
/**
* 脚本入口
*
*/
public function run()
{
sleep(60);
// 定义每天更新的计划任务标量，设置标量为昨天。这样当天重启也会执行一次，解决了当天重启不生效的问题。
$date_key= date("Ymd",strtotime("-1 day"));
//时间开关
$day_mark = $date_key;
while (true) {
// 当天时间开关
$now_mark=date("Ymd");
// 检测当天是否已经执行过备份检测
if ($now_mark != $day_mark) {
// 未执行过，则去执行备份
$ret=$this->backup("log");
// 备份成功，则将时间开关设置为当天
if ($ret) {
$day_mark=$now_mark;
}
}
sleep(3600);
}
}
}
文档结束！
更精彩的内容
不懂可以加qq群: 536633782，这里有热情的小伙伴可以帮你解答开发中所遇到的困难！
也可以加qq: 1186969412
官网：http://uminicmf.com/
php在线面试题集：http://cainiaophp.com/
php面试讨论群：536633782
