php抓取数据请求频繁 php抓取数据请求频繁的原因
php每天抓取数据并更新新
以前我用过querylist插件抓数据，服务器写和定时器，每天固定时间去运行脚本。朝这个方式试试
创新互联-专业网站定制、快速模板网站建设、高性价比兴安网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式兴安网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖兴安地区。费用合理售后完善，十年实体公司更值得信赖。
高并发下数据的更新，应该 update table xxx set num = num - 1 的方式，这种方式可以保证数据的正确性。
但是会出现 num 为负数的问题，如果库存为负数，显然是不合理的。
于是，需要将 num 字段设置为 无符号整型，这样就不会出现负数了，因为，如果减到负数，就会更新失败。
但是这种依然会造成很多无用的更新语句的执行，是不合理的。
于是，update table xxx set num = num - 1 where num 0，
这样当 num 等于0之后就不会去更新数据库了，减少了很多无用的开销。
这种方式被称作“乐观锁”
此外，对于抢红包这种非整数的操作，我们应该转换为整数的操作。
关于抢购超卖的控制
一般抢购功能是一个相对于正常售卖系统来说独立的子系统，这样既可以防止抢购时的高并发影响到正常系统，
也可以做到针对于抢购业务的特殊处理。
在后台设计一些功能，可以就昂正常的商品加入到抢购活动中并编辑成为抢购商品，写入到抢购商品表，当然
也可以把抢购商品表写入redis而不是数据表。并且在原商品表写入一个同样的商品（id相同，用于订单查看，
此商品不可购买）
如果是数据表，为了控制超卖，需要对表进行行锁，更新的时候带上 where goods_amount 0。
如果是redis，使用 hincrby 一个负数来减库存，并且 hincrby 会返回改变后的值，再来判断返回值是否大于0，
因为redis每个命令都是原子性的，这样不用锁表就可控制超卖。
php频繁请求需要关闭数据库吗
需要关闭数据库的。如果是一个长连接的话，你的网站加入并发请求数很多，也就是说同时有很多人来访问你的网站，并且每个访问者都需要查询一次mysql数据库的话，会很快把你的系统资源消耗完了。短链接就没有这个问题，每次查询完就马上关闭了，这样不容易消耗过多的系统资源。但是长连接也有个好处就是，频繁查询的时候，可以节省了多次建立TCP连接的时间。
php curl 大量数据采集
这个需要配合js，打开一个html页面，首先js用ajax请求页面，返回第一个页面信息确定处理完毕（ajax有强制同步功能），ajax再访问第二个页面。（或者根据服务器状况，你可以同时提交几个URL，跑几个相同的页面）
参数可以由js产生并传递url，php后台页面根据URL抓页面。然后ajax通过php，在数据库或者是哪里设一个标量，标明检测到哪里。由于前台的html页面执行多少时候都没问题，这样php的内存限制和执行时间限制就解决了。
因为不会浪费大量的资源用一个页面来跑一个瞬间500次的for循环了。（你的500次for循环死了原因可能是获取的数据太多，大过了php限制的内存）
不过印象中curl好像也有强制同步的选项，就是等待一个抓取后再执行下一步。但是这个500次都是用一个页面线程处理，也就是说肯定会远远大于30秒的默认执行时间。
PHP循环代码不断获取数据库内容，导致数据读取很慢，怎么去修改下面的代码让数据读取快点？（Thinkphp)
数据库的读取能一次查询完成的尽量不要分成多次查询
不知道你用的是什么框架,如果有where_in方法的话可以用它来解决,先要构造出order_sn值的数组
没有的话就自己构造'or'条件字符串,然后用where一次查询完成
php 请求一次 最多查数据库多少次合适
看你服务器配置等。
我以前做项目，发现大约500次时就要几秒的处理时间。
所以我一般是高于500次时就会分次执行，比一次性执行反而快很多。
PHP多次访问数据库，是否有优化方案
我只针对你这个做优化吧。。
第一个不要用select * 这样的sql语句，你需要什么字段就写哪些字段
都需要的话，你都写出来，select * 效率很低的。。
第二个如果说你的后台中对这些数据的变动不是很频繁
然后你可以将查询结果存入memcahe中
我写一段伪代码
$mem_key="all";
$res = $memcache-get($mem_key);
//如果没有存入memcache中
if (empty($res){
//sql语句可以用left jion on关联查询
$aaa="select b.字段1，b.字段2...from btb as b left jion tb as b.id=t.id";
$bb=$mysql-_query($aaa);
while(!!$_rows=$mysql-_fetch_array_list($bb)){
//do something
$res ....
}
//结果存入memecahed中
$memcache-set($mem_key,$res,0,超时时间);
}
$res就是你获取的结果。。
你这段代码基本可以这样。。
本文标题：php抓取数据请求频繁 php抓取数据请求频繁的原因
文章源于：http://6mz.cn/article/dochcij.html