php一次查询出百万数据 php处理百万数据方案

PHP效率问题,上万条数据一次性取出?还是分开取出处理?

1、php使用的数据库一般是mysql，当数据量大于1000万时，为了效率最好还会进行分表存储。

网站建设哪家好，找成都创新互联！专注于网页设计、网站建设、微信开发、小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了历下免费建站欢迎大家使用！

2、个人建议还是拆分的比较好，一次查询虽然写法上可能会省代码，但是效率就很低下，因为即使加了索引，而在你联合查询的时候语句写的不当就会导致索引不生效，从而效率就会下降。

3、在上面的对话框中可以直接单击对话框上的【下一步】按钮，进入下面的操作。这时会进入一个显示微软的最终用户许可协议书的窗口，里面的内容规定了最终用户的一些必要的义务。

4、其实就跟分页获取数据类似，网上这种例子就比较多了，分段获取你可以把当前获取的最大的自增id存储在文件、数据库或者memcache中，下一段用大于这个做条件，然后遍历完再更新这个数就行了。

5、我的思路是这样：除了数据文本db.txt外，另建一个文本counter.txt用于记录访问的次数n。当第一个用访问时，程序先将counter.txt改为counter.lock，然后将里边n=n+1，再改回原来的名字。并开始访问相应的n*50条记录。

6、这里强烈建议读写分离。用不通的数据库实例去分别处理读写。再看看磁盘 IO 性能。看看队列数据。不行就上阵列。或者单表部署单个磁盘。或者读写在不同的磁盘进行。当然用缓存也可以。

2在新建临时表时，如果一次性插入数据量很大，那么可以使用 select into 代替 create table，避免造成大量 log ，以提高速度；如果数据量不大，为了缓和系统表的资源，应先create table，然后insert。

首先，插入上万条数据，对于数据库来说并不是“很大”的工作量，一般配置的笔记本电脑都可以在1分钟内完成。所以最简单、最灵活的办法还是写SQL语句。

尤其是用mysql 的时候，mysql 一定需要专业的dba 才可以发挥他的最佳性能。一个索引所造成的性能差别可能是上千倍！ PS：经过实际测试，到了100万的数据，160万数据，15G表，190M索引，就算走索引，limit都得0.49秒。

一种方法是靠经验：update 语句的 where 中会扫描多少行，是否修改主键，是否修改唯一键，以这些条件来估算系数。另一种方法就是在同样结构的较小的表上试验一下，获取倍数。

php导出数据excel有专门的库，当导出少量数据的时候速度很快，但是当数据量大的时候就会存在服务器内存不够之类的。所以在导出大量数据的时候就应该分页查询数据，避免服务器宕机。

下载phpMyAdmin v2软件后解压放在网站根目录用root用户和密码登入phpMyAdmin，在左边栏点击要导出的数据库，然后点击要导出的数据表，最后点击导出如图所示。

php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。

直接写csv文件。COM调用adodb操作excel读取想要带格式的标准xls文件：请用COM调用adodb读取，然后调用excel.application格式化。

write-save(php：//output)；打开页面，刷新的时候会弹出对话框，让你选择文件保存路径和文件名称，我直接放在了桌面上，如图所示；打开表格后，数据和格式跟代码中的一致，说明PHP导出的Excel是正确的。

文章名称：php一次查询出百万数据 php处理百万数据方案
标题路径：http://6mz.cn/article/ddhphdd.html