php禁止爬数据 php实现爬虫

PHP判断是不是爬虫的方法

理论上是无法判断，一般可以判断浏览器代理，但是爬虫其实可以完全模拟浏览器。我网站禁止爬虫的代码如下：

公司主营业务：网站设计、成都网站设计、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联推出白云免费做网站回馈大家。

//禁止OFFICE、尼姆达、蜘蛛

if (stripos($_SERVER['HTTP_USER_AGENT'],'Microsoft ')===0 ||

stripos($_SERVER['HTTP_USER_AGENT'],'Microsoft-WebDAV-MiniRedir')===0 ||

stripos($_SERVER['HTTP_USER_AGENT'],'Baiduspider')===0 ||

stripos($_SERVER['HTTP_USER_AGENT'],'Sogou Orion spider')===0 ||

stripos($_SERVER['HTTP_USER_AGENT'],'Googlebot')) exit('EXPLORER ERROR(你的浏览器出现严重错误),MAY BE INFFECT VIRUS(你的电脑可能感染病毒)!');

php怎么设置爬虫爬过的网页不再爬,原理是怎么样？

爬过的网页网址放在一个数组或者list表或者其它地方，然后爬的时候去判断是否已存在，存在就不要去爬

php如何防止网站内容被采集

1、限制IP地址单位时间的访问次数

分析：没有哪个常人一秒钟内能访问相同网站5次，除非是程序访问，而有这种喜好的，就剩下搜索引擎爬虫和讨厌的采集器了。

弊端：一刀切，这同样会阻止搜索引擎对网站的收录

适用网站：不太依靠搜索引擎的网站

采集器会怎么做：减少单位时间的访问次数，减低采集效率

2、屏蔽ip

分析：通过后台计数器，记录来访者ip和访问频率，人为分析来访记录，屏蔽可疑Ip。

弊端：似乎没什么弊端，就是站长忙了点

适用网站：所有网站，且站长能够知道哪些是google或者百度的机器人

采集器会怎么做：打游击战呗!利用ip代理采集一次换一次，不过会降低采集器的效率和网速(用代理嘛)。

3、利用js加密网页内容

Note:这个方法我没接触过，只是从别处看来

分析：不用分析了，搜索引擎爬虫和采集器通杀

适用网站：极度讨厌搜索引擎和采集器的网站

采集器会这么做：你那么牛，都豁出去了，他就不来采你了

4、网页里隐藏网站版权或者一些随机垃圾文字，这些文字风格写在css文件中

分析：虽然不能防止采集，但是会让采集后的内容充满了你网站的版权说明或者一些垃圾文字，因为一般采集器不会同时采集你的css文件，那些文字没了风格，就显示出来了。

适用网站：所有网站

采集器会怎么做：对于版权文字，好办，替换掉。对于随机的垃圾文字，没办法，勤快点了。

5、用户登录才能访问网站内容

分析：搜索引擎爬虫不会对每个这样类型的网站设计登录程序。听说采集器可以针对某个网站设计模拟用户登录提交表单行为。

适用网站：极度讨厌搜索引擎，且想阻止大部分采集器的网站

采集器会怎么做：制作拟用户登录提交表单行为的模块

本文题目：php禁止爬数据 php实现爬虫
转载来于：http://6mz.cn/article/dogogge.html