php怎么抓取大数据,php导出大量数据
如何用php导出导入大数据库
在使用PhpMyAdmin的时候经常用到数据的导入和导出(Export/Import)，但是在导入大数据的时候由于php上传文件的限制和脚本响应时间的限制，导致phpMyAdmin无法导入大数据。很多时候都是由于文件过大，从本地浏览上传导入，容易中断失败，有没有更好的方法呢？
网站建设哪家好，找创新互联！专注于网页设计、网站建设、微信开发、小程序定制开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了黑山免费建站欢迎大家使用！
方法：
在phpMyAdmin的目录下，找到根目录的config.inc.php文件，
打开config.inc.php文件，查找$cfg['UploadDir']，这个参数就是设定导入文件存放的目录，这里把值设定为：ImportSQLFile。
在phpMyAdmin目录下，建立以ImportSQLFile命名的文件夹，
把我们需要导入的数据文件，放到ImportSQLFile文件夹下面，非常简单，
登入phpMyAdmin，选择需要导入的数据，点击导航条上面的“导入”按钮，
选中“从网站服务器上传文件夹ImportSQLFile/中选择：”选项，并需要导入的数据文件，
最后点击“执行”，即可导入成功。
注意事项
如果在config.inc.php文件，没有找到$cfg['UploadDir']，可以自己在文件中添加上去即可。
php中向mysql取数据，如果数据库中的数据量大于10w，后面的数据就取不到，如何解决？
应该是你的数据库配置限制了内存使用量导致的.建议查找下相关mysql配置资料.
直接倒序取一部分,如果可以就应该是配置的问题.
如果慢的话要考虑字段优化
问题需要具体.不铭感的话可以把数据发来我调试一下看看.
如何利用php抓取网站动态产生的数据
$url = "网站地址目录";
$queryServer = curl_init();
curl_setopt($queryServer, CURLOPT_URL, $url);
curl_setopt($queryServer, CURLOPT_HEADER, 0);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($queryServer, CURLOPT_RETURNTRANSFER, true);
curl_setopt($queryServer, CURLOPT_CONNECTTIMEOUT, 10);
curl_setopt($queryServer, CURLOPT_TIMEOUT, 30);
$html = curl_exec($queryServer);
$html = iconv('UTF-8','GBK//IGNORE',$html); //如果你需要是的数据是utf-8编码的,这一行可以注销，如果需要gbk编码的,请保留.如果出现乱码，就是一行的问题，你自己调着试吧
//echo $holder;exit; 此处可以输出来测试.
$html = str_replace(array("\n","\r","\t"),"",$html);
$preg = '/table\s+width=\"800\"[^]+(.*?)\/table/';
preg_match_all($preg,$html,$out);
//匹配每行
preg_match_all('/tr[^]+(.*?)\/tr/',$out[1][0],$tr);
//匹配每个td
$result = array();
$match = '/td.+([^]+)\/td/U';
foreach( $tr[0] as $key = $value ){
preg_match_all($match,$value,$arr);
$result[] = $arr[1];
}
//输出测试,$result就是你要的数据，至于你要怎么输出显示格式，那就随心调就好了。
foreach( $result as $key = $value ){
echo implode("\t",$value);
echo "br";
}
exit;
php 如何读取大文件里的内容
下个文件切割软件，把50M切成每个3M左右（大小自己定义），然后就可以打开了。
php怎么导出大量数据的Excel
php导出大量数据到Excel，可以通过生成多个Excel文件，然后压缩成压缩包解决。
方案是：假如我们数据库有10w条数据，每2000条数据生成一个Excel文件，这样每次只要从数据库里查询出2000条数据即可，一定要分页去查询。
原因：主要是数据库性能和写文件性能。分页查询可以解决数据库压力的问题， 生成多个文件可以解决单个文件太大，后期维护Excel文件的问题。
要注意的：
1. 在导出逻辑文件开头，一定要声明 set_time_limit(0) ，防止脚本超时；
2. 每个文件生成后，适当的sleep一下，让程序休息一下下；
3. 因为一次导出最后要将生成的多个Excel文件打包成一个压缩包，所以要删除掉生成的Excel文件，节省服务器存储空间；
下面是我实际工作中，写的一个php导出大量数据到Excel的代码，你可以参考一下：
php怎么抓取其它网站数据
可以用以下4个方法来抓取网站 的数据：
1. 用 file_get_contents 以 get 方式获取内容：
?
$url = '';
$html = file_get_contents($url);
echo $html;
2. 用fopen打开url，以get方式获取内容
?
$url = '';
$fp = fopen($url, 'r');
stream_get_meta_data($fp);
$result = '';
while(!feof($fp))
{
$result .= fgets($fp, 1024);
}
echo "url body: $result";
fclose($fp);
3. 用file_get_contents函数,以post方式获取url
?
$data = array(
'foo'='bar',
'baz'='boom',
'site'='',
'name'='nowa magic');
$data = http_build_query($data);
//$postdata = http_build_query($data);
$options = array(
'http' = array(
'method' = 'POST',
'header' = 'Content-type:application/x-www-form-urlencoded',
'content' = $data
//'timeout' = 60 * 60 // 超时时间（单位:s）
)
);
$url = "";
$context = stream_context_create($options);
$result = file_get_contents($url, false, $context);
echo $result;
4、使用curl库，使用curl库之前，可能需要查看一下php.ini是否已经打开了curl扩展
$url = '';
$ch = curl_init();
$timeout = 5;
curl_setopt ($ch, CURLOPT_URL, $url);
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$file_contents = curl_exec($ch);
curl_close($ch);
echo $file_contents;
分享标题：php怎么抓取大数据,php导出大量数据
分享地址：http://6mz.cn/article/dsedgch.html