PHP+MySQL百万级数据插入数据库
2017-07-25 本文已影响0人
myFamily329
说明：想要记录整理一下简单php脚本的学习内容，嘿嘿，虽然简单，但真的有学到东西。
-
数据插入数据库
在开发过程中可以thinkphp框架有数据的ThinkPHP实现excel的批量导入功能，这种方法适用于运营过程中正式的数据导入，在开发过程是测试性能时，可以写一个简单的脚本批量大量插入虚拟数据。
写一个简单的php脚本，在此过程中的总结与学习到知识的查询。
- 在phpMyAdmin中建立数据库test，建立数据表t_New字段主键id(设为自增)，name，birth，create_time，status
- 建立script.php文件 编写吧 先把整体附出！
<?php
//mysql执行时间
ini_set('max_execution_time', '0');
ignore_user_abort(TRUE); //如果客户端断开连接，不会引起脚本abort
//链接数据库:链接的服务器，拥有服务器进程的用户的名称，密码
$con=mysql_connect("localhost","root","root");
// 判断数据库是否连接
if(!$con){
die('Could not connect:'.mysql_error());
}
//mysql_select_db() 函数设置活动的 MySQL 数据库
mysql_select_db("test", $con);
//取消数据库的自动提交
mysql_query('SET AUTOCOMMIT=0;');
//在数据库设置了UTF8编码
mysql_query('set names utf8');
//获取当前时间
$begin = time();
function insertNew(){
for($i=1;$i<=1000000;$i++){
//向数据表中插入数据
mysql_query("insert into `t_New`(`name`, `birth`, `create_time`, `status`) values ('lucky','20170724',now(),'9')");
//2w条数据提交一次数据库
if($i%20000=='0'){
mysql_query("commit");
}
}
}
//php中如何调用用户自定义函数
call_user_func('insertNew');
$end = time();
//计算总用时
echo "用时 ".($end-$begin)." 秒 <hr/>";
//关闭数据库连接
mysql_close();
?>
- 开始学习总结
在编写程序写注释时，写了简单注释，但对知识点注释本人就单独记录下来了。-
PHP ini_set用来设置php.ini的值，在函数执行的时候生效，脚本结束后，设置失效。无需打开php.ini文件，就能修改配置，对于虚拟空间来说，很方便。
ini_set('max_execution_time', '0'); -
mysql插入数据库 插入时候并没有提交到mysql表里在insert后面需要执行commit操作才会插入数据库.默认mysql是自动提交，如果关闭自动提交，在insert几十万数据在进行commit那么会大大缩短入库时间。开始的时候关闭自动提交
mysql_query('SET AUTOCOMMIT=0;');
插入数据之后进行
-
//2w条数据提交一次数据库
if($i%20000=='0'){
mysql_query("commit");
}
- 插入数据--时间存储
在插入数据时遇到了时间的存储问题，在开始的时候使用time()存储发现，并无法存入时间，之后使用变量方式[$time=time;time()替换为$time],都无法成功
mysql_query("insert into `t_New`(`name`, `birth`, `create_time`, `status`) values ('lucky','20170724',time(),'9')");
存储效果是
time()存储时间
之后使用now()可以正确存储
mysql_query("insert into `t_New`(`name`, `birth`, `create_time`, `status`) values ('lucky','20170724',now(),'9')");
now()存储时间
- 删除数据问题
在插入大量模拟数据后，那么删除这些大量数据的问题也是要解决的。删除数据时的where条件的书写格式问题应该是：
where 数据中的字段名='字段'
mysql_query("delete from `t_New` where id ='$i' ");
- php如何调用用户自定义函数的问题
其实在可以不使用通过函数的方法进行插入数据，直接用发循环也是可以的，为了方便可以对多个数据表的操作，可以不同的数据表使用不同的函数，之后调用不同的函数就可以了。
刚开始我以为php调用用户自定义函数与c语言等一样呢，但发现无法实现调用，之后查询资料，参考：解析php中如何调用用户自定义函数http://www.jb51.net/article/40337.htm。
//php中如何调用用户自定义函数
call_user_func('insertNew');
还有不要在函数前加public，并不是在类中，写thinkphp习惯了，嘿嘿
