十年网站开发经验 + 多家企业客户 + 靠谱的建站团队
量身定制 + 运营维护+专业推广+无忧售后,网站问题一站解决
爬虫是python最常见的一类应用,但是如何自己动手来写一个爬虫,这可能是很多人关心的问题,这次准备用30分钟来教会大家如何自己动手编写一个Scrapy爬虫的应用
创新互联是一家专注于成都网站制作、做网站与策划设计,滁州网站建设哪家好?创新互联做网站,专注于网站建设十多年,网设计领域的专业建站公司;建站业务涵盖:滁州等地区。滁州做网站价格咨询:028-86922220推荐一个不错的Scrapy视频教程给大家,可以直接点击观看:https://www.bilibili.com/video/av27042686/
首先,我们需要理解爬虫的原理,只是拿一个库来用谁都会,但理解它的原理才对大家有好处
通过上图我们可以对爬虫的工作原理(不仅限于Scrapy框架)有一个认识:
- 数据源:需要知道从哪里拿到你要的数据,可以是Web,也可以是App或其他应用
- 下载器(Download):需要将数据下载到本机才能进行分析工作,而在下载中我们需要关注几件事:性能、模拟操作和分布式等
- 分析器(Parser):对已下载的数据进行分析,有很多种,比如HTML、正则、json等,当然,在分析的过程中,也能发现更多的链接,从而生成更多采集任务
- 数据存储(Storage):可以将数据保存在数据或磁盘上,以供后续产品的调取、分析等
既然理解了爬虫的原理,我们可以更进一步的认识一下Scrapy框架
Scrapy是Python中很成熟、很常用的一个框架,大部分Python爬虫都是由Scrapy来编写的,那么,为了理解Scrapy的基本结构,我们先来看一张图:
其实,这张图和我们之前说的爬虫原理是一一对应的,我们来看看:
- 下载器(Downloader):将数据下载回来,以供分析
- 爬虫(Spider):这个其实是用于分析的(Parser),用于对下载的数据进行分析
- 调度器(Scheduler):负责调度任务
- 数据管道(Pipeline):负责把数据导出给其他程序、文件、数据库
当然,只是了解上述内容其实意义不大,我们来通过动手做一个例子理解Scrapy
在正式开始编写爬虫之前,我们需要先来创建一个项目
$> scrapy startproject 项目名称
先来了解一下刚刚创建好的目录里面都有什么
在这里面,其实只有两个东西是我们目前需要关心的:
本文我们先关心最基本的功能,所以不会过于深入Scrapy的细节,所以只对中间件和items的功能做一简单叙述,在其他文章中再详细说明:
本案例中,我们准备抓取一个拍卖手机号的网站:http://www.jihaoba.com/escrow/
在刚刚创建好的项目中,我们再创建一个文件:phone_spider.py
import scrapy
class PhoneSpider(scrapy.Spider):
name='phone'
start_urls=[
'http://www.jihaoba.com/escrow/'
]
def parse(self, response):
pass
在这里我们主要关心几件事:
尽管现在还没有实际的工作,但我们可以试着启动爬虫的抓取
scrapy crawl phone
我们可以看到爬虫的抓取能够正常启动
我们可以继续为爬虫加入实际的功能
import scrapy
class PhoneSpider(scrapy.Spider):
name='phone'
start_urls=[
'http://www.jihaoba.com/escrow/'
]
def parse(self, response):
for ul in response.xpath('//div[@class="numbershow"]/ul'):
phone=ul.xpath('li[contains(@class,"number")]/a/@href').re("\\d{11}")[0]
price=ul.xpath('li[@class="price"]/span/text()').extract_first()[1:]
print(phone, price)
这里我们用了一个非常重要的东西——xpath,xpath是一种用于从XML和HTML中提取数据的查询语言,在这里不做赘述,想了解更多xpath的内容请点击https://www.bilibili.com/video/av30320885
再次启动抓取,我们会看到一些有用的数据产生了
当然,我们现在只是把print出来,这肯定不行,需要把数据保存到文件中,以便后续使用
所以,将print改为yield
import scrapy
class PhoneSpider(scrapy.Spider):
name='phone'
start_urls=[
'http://www.jihaoba.com/escrow/'
]
def parse(self, response):
for ul in response.xpath('//div[@class="numbershow"]/ul'):
phone=ul.xpath('li[contains(@class,"number")]/a/@href').re("\\d{11}")[0]
price=ul.xpath('li[@class="price"]/span/text()').extract_first()[1:]
#print(phone, price)
yield {
"phone": phone,
"price": price
}
再次运行,并且需要修改运行命令,添加输出选项
scrapy crawl phone
改为
scrapy crawl phone -o data.json
我们可以看到,运行后目录中会多出一个data.json,打开后就是我们要的结果数据
注意,这里导出的价格中,有的带有“\u4e07”,这其实是中文“万”的unicode码,并不影响数据使用
目前只抓取了第一页的数据,而我们希望能获取所有的数据,所以需要找到下一页的地址,并让爬虫进入其中继续抓取
所以,我们需要对代码进行修改
import scrapy
class PhoneSpider(scrapy.Spider):
name='phone'
start_urls=[
'http://www.jihaoba.com/escrow/'
]
def parse(self, response):
for ul in response.xpath('//div[@class="numbershow"]/ul'):
phone=ul.xpath('li[contains(@class,"number")]/a/@href').re("\\d{11}")[0]
price=ul.xpath('li[@class="price"]/span/text()').extract_first()[1:]
#print(phone, price)
yield {
"phone": phone,
"price": price
}
#继续抓取下一页
next="http://www.jihaoba.com"+response.xpath('//a[@class="m-pages-next"]/@href').extract_first()
yield scrapy.Request(next)
我们再次启动爬虫
scrapy crawl phone -o data.json
这次,我们会得到比之前多的数据
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。