PHP一亿条数据 php亿级数据查询

php一亿个排好序手机号,用什么算法可以查询到我的号码出现过

使用二分查找算法。二分查找算法是一种高效的查找算法，可以在有序数组中快速查找指定元素，在一亿个排好序的手机号中查询自己的号码是否出现过，可以使用二分查找算法。要频繁地进行插入、删除操作，会导致数组的有序性被破坏，从而影响查找效率，因此，在实际应用中，需要根据具体情况选择合适的数据结构和算法。

创新互联公司专注于资中网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供资中营销型网站建设，资中网站制作、资中网页设计、资中网站官网定制、微信小程序定制开发服务，打造资中网络公司原创品牌,更为您提供资中网站排名全网营销落地服务。

php处理大文件文件

我前几天有一个面试，面试题就是有这样一道题。先把自己的思路说一下，因为信息量非常的大，所以我采用了分表，分成24张表，每个小时一张，虽然凌晨时刻的表可能很少数据，但这样sum字段的问题就容易解决了，我理解的sum字段是一个小时同一个用户在相同的环境的登陆次数。这样理解不知对否，请网友自行甄辨。然后我通过PHP中的fgets函数一行一行的数据取出，入表。实验了几万条数据是没有问题的，但是上亿条数据可能够呛。这一点也请网友注意，我也是新手。只是看到这里没有答案，给大家一个参考。废话不多，看流程：

日志文件（access.log）格式：

200 /alipeng.gif?zoneid=2bannerid=44clentid=6materialid=64redirect=http%3a%2f%2f;time=1384444800.832ip=127.0.0.1user_agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48 Safari/537.36utrace=a6dbdd2f6a37b946165b7ae98dcd4f79

502 /alipeng.gif?zoneid=2bannerid=44clentid=6materialid=64redirect=http%3a%2f%2f;time=1384444800.904ip=127.0.0.1user_agent=Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.48 Safari/537.36utrace=a6dbdd2f6a37b946165b7ae98dcd4f79

配置文件cfg.php：

define(HOST,'localhost');//主机名

define(USER,'root');//数据库账号

define(PASS,'111111');//数据库密码

define(DBNAME,'test');//所用的数据库

define(CHARSET,'utf8');//使用的字符集

具体代码test.php：

?php

header("content-type:text/html;charset=utf-8");

require './cfg.php';

$link = mysql_connect(HOST,USER,PASS) or die('连接数据库失败');

//程序中自动建库和建表，这样一定程度上拖慢了程序的速度

//创建数据库

$crdb="create database if not exists ".DBNAME;

if(!mysql_query($crdb)){

die('创建数据库失败');

}

//链接数据库

mysql_select_db(DBNAME) or die('选择数据库失败');

mysql_set_charset(CHARSET);

//因为数据量很大我将数据按小时分表，分成24个表,每小时一个表，这样num字段的值也好做统计

//数据循环建表

for($i=0;$i24;$i++){

if($i10){

$tbhz='0'.$i;//如果前10张表，表后缀应该是00-09

}else{

$tbhz=$i;

}

$ctbsql="create table if not exists logininfo_{$tbhz}(

id int not null auto_increment primary key,

zoneid int not null default 0,

bannerid int not null default 0,

clentid int not null default 0,

materialid int not null default 0,

redirect char(200) not null default '',

time char(16) not null default '',

user_agent char(200) not null default '',

utrace char(32) not null default '',

sum int not null default 0

)TYPE=MyISAM DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci";

mysql_query($ctbsql);

}

//打开文件

$file=fopen("./access.log",'r') or die("打开文件失败");

//对文件内容进行循环，直到文件末尾才停止

while (!feof($file)){

//每次读取一行

$line = fgets($file,1024);

//状态是200的进行写入数据库操作

if(preg_match('/^200/',$line)){

$pinfo=parse_url($line);//url信息

$ext=$pinfo['query'];//取得传递的各个参数

$parray=explode('',$ext);//根据分解为数组

//因为分解为数组后并不是要的值，所以要对值进行一次截取，将等号及等号左边的都去掉

foreach($parray as $val){

$narray[]=ltrim(strstr($val,'='),'=');

}

$narray[8]=rtrim($narray[8],'_');

//截取时间的秒数

$getmun=substr($parray[5],5,10);

$time=date('Y-m-d H',$getmun);//将秒数转化为时间类型。

//得到表后缀

$tbhz=date('H',$getmun);

$sql="insert into logininfo_{$tbhz} values(null,'{$narray[0]}','{$narray[1]}','{$narray[2]}','{$narray[3]}','{$narray[4]}','{$time}','{$narray[7]}','{$narray[8]}',0)";

//echo $sql;

$res=mysql_query($sql);//执行插入

if(!$res || !mysql_affected_rows()0){

die('写入数据库失败');

}

unset($narray);//循环一次将narray销毁，为下一次循环做准备

//var_dump(parse_url($line)['query']);

}

}

fclose($file);//关闭

//因为sum字段还是0，下面代码段需要处理sum字段的值

//24张表循环处理

for($i=0;$i24;$i++){

if($i10){

$tbhz='0'.$i;//如果前10张表，表后缀应该是00-09

}else{

$tbhz=$i;

}

//该sql语句是把同一个小时内,并且符合条件相等的登陆的总次数和需要的登陆信息查出，为下面修改sum做准备

$sql="SELECT COUNT('zoneid') AS sum,zoneid,bannerid,clentid,materialid,redirect,user_agent,utrace FROM logininfo_{$tbhz} GROUP BY zoneid,bannerid,clentid,materialid,redirect,user_agent,utrace";

//发送查询sql

$res=mysql_query($sql);

if($res  mysql_num_rows($res)0){

while($row=mysql_fetch_assoc($res)){

//修改sum字段，即同一小时内的登陆次数

$upsql="update logininfo_{$tbhz} set sum='{$row['sum']}' where zoneid='{$row['zoneid']}' and bannerid='{$row['bannerid']}' and clentid='{$row['clentid']}' and materialid='{$row['materialid']}' and redirect='{$row['redirect']}' and user_agent='{$row['user_agent']}' and utrace='{$row['utrace']}'";

//发送修改sql,执行修改sum

$upres=mysql_query($upsql);

if(!$upres){

die('修改登陆sum失败');

}

}

}

}

echo '数据成功入表';

使用说明：

将配置文件cfg.php中的连接数据库账号、密码修改为自己本机的（默认新增的库名是test）

直接运行test1.php

用php代码向mysql数据库里插入10000000条数据

我知道你为什么会停下来，因为mysql插入大量数据（1000W）的情况下，执行时间需要的很长，而你八成设定执行时间不限制，如果时间默认超过30秒，那么程序就会自动停下来。

1000 0000

?php

set_time_limit(0);#设置执行时间为不限制~

for($i=0;$i1000;++$i){#嵌套循环，避免悲剧；

for($j=0;$j10000;$j++){

mysql_query(" 插入把~");

}

}

?

名称栏目：PHP一亿条数据 php亿级数据查询
文章源于：http://6mz.cn/article/ddiipdg.html