十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
这篇文章主要介绍了怎么绕过python反爬虫获取租房信息,具有一定借鉴价值,需要的朋友可以参考下。希望大家阅读完这篇文章后大有收获。下面让小编带着大家一起了解一下。
创新互联专注于中大型企业的网站制作、网站建设和网站改版、网站营销服务,追求商业策划与数据分析、创意艺术与技术开发的融合,累计客户上千家,服务满意度达97%。帮助广大客户顺利对接上互联网浪潮,准确优选出符合自己需要的互联网运用,我们将一直专注高端网站设计和互联网程序开发,在前进的路上,与客户一起成长!
python爬虫试了一下,但是遇到了反爬虫的阻拦,不过最终还是通过修改代码解决了。接下来我们就一起看看绕过python反爬虫获取租房信息的方法吧。
在有的页面后面会出现一段代码,通过禁用浏览器JavaScript发现每页其实初始界面是一段JS代码,然后跳转至目标页
百度了一下这种反爬虫的绕过措施都是Python加载JS代码,自己感觉比较麻烦就没有实施,但是在查看网页源代码时发现了下面这段代码,其目的应该是检测到移动端跳转至移动端网页
既然使用了Ajax,抓包抓一下浏览时传输的数据就得到了下面的URL
上图黄色画出的就是每次向下浏览加载的页面,通过修改后面的数字可以定位不同的页面,构造URL,那么剩下的就是爬取数据了,下面贴一下简略代码
import requests from lxml import etree import xlwt import time headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome' '/70.0.3538.110 Safari/537.36' } all_info_list = [] def get_photo(url): res = requests.get(url, headers=headers) selector = etree.HTML(res.text) divs = selector.xpath('//div[@class="list_con"]') for div in divs: names = div.xpath('div[2]/h4/text()')[0].strip() types = div.xpath('div[2]/p[1]/text()[1]')[0] area = div.xpath('div[2]/p[1]/text()[2]')[0] direction = div.xpath('div[2]/p[1]/text()[3]')[0] price = div.xpath('div[2]/div/p/text()')[0] info_list = [names, types, area, direction, price] all_info_list.append(info_list) time.sleep(1) if __name__=='__main__': urls = ['https://m.5i5j.com/bj/zufang/index-_%E6%9C%9B%E4%BA%AC/n{}'.format(str(i)) for i in range(1,4)] for url in urls: get_photo(url) xls_header = ['地点', '户型', '面积', '朝向', '价格'] book = xlwt.Workbook(encoding='utf-8') sheet = book.add_sheet('5i5j') for h in range(len(xls_header)): sheet.write(0,h,xls_header[h]) i = 1 for list in all_info_list: j = 0 for data in list: sheet.write(i, j, data) j += 1 i += 1 book.save('5i5j.xls')
感谢你能够认真阅读完这篇文章,希望小编分享怎么绕过python反爬虫获取租房信息内容对大家有帮助,同时也希望大家多多支持创新互联,关注创新互联行业资讯频道,遇到问题就找创新互联,详细的解决方法等着你来学习!