python中怎么实现分布式抓取网页

python中怎么实现分布式抓取网页，很多新手对此不是很清楚，为了帮助大家解决这个难题，下面小编将为大家详细讲解，有这方面需求的人可以来学习下，希望你能有所收获。

成都创新互联公司专注为客户提供全方位的互联网综合服务，包含不限于成都做网站、网站制作、安吉网络推广、重庆小程序开发、安吉网络营销、安吉企业策划、安吉品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等，从售前售中售后，我们都将竭诚为您服务，您的肯定，是我们最大的嘉奖；成都创新互联公司为所有大学生创业者提供安吉建站搭建服务，24小时服务热线：13518219792，官方网址：www.cdcxhl.com

[python]
view plaincopy

1. '''''

2. Created on 2010-9-15

4. @author: chenggong

5. '''

7. import urllib2  

8. import re  

9. import socket  

12. DEBUG = 0

14. '''''

15. 工具类

16. '''

17. class Tools():  

18.     #log函数

19.     @staticmethod

20.     def writelog(level,info,notify=False):  

21.         if DEBUG == 0:  

22.             try:  

23.                 print "["+level+"]"+info.decode('UTF-8').encode('GBK')   

24.             except:  

25.                 print "["+level+"]"+info.encode('GBK')   

26.         else:  

27.             print "["+level+"]"+info  

28.         #if notify:

29.         #    print "[notify]报告管理员!!"

31.     #转unicode

32.     @staticmethod

33.     def toUnicode(s,charset):  

34.         if( charset == "" ):  

35.             return s  

36.         else:  

37.             try:  

38.                 u = unicode( s, charset )  

39.             except:  

40.                 u = ""  

41.         return u   

43.     #正则抓取

44.     #@param single 是否只抓取一个

45.     @staticmethod

46.     def getFromPatten(patten,src,single=False):  

47.         rst = "";  

48.         p = re.compile(patten,re.S)  

49.         all = p.findall(src)  

50.         for matcher in all:  

51.             rst += matcher + " "

52.             if( single ):  

53.                 break

54.         return rst.strip()  

56. '''''

57. 网页内容爬虫

58. '''

59. class PageGripper():  

60.     URL_OPEN_TIMEOUT = 10 #网页超时时间

61.     MAX_RETRY = 3 #最大重试次数

63.     def __init__(self):  

64.         socket.setdefaulttimeout(self.URL_OPEN_TIMEOUT)  

66.     #获取字符集

67.     def getCharset(self,s):  

68.         rst = Tools.getFromPatten(u'charset=(.*?)"',s,True)  

69.         if rst != "":  

70.             if rst == "utf8":  

71.                 rst = "utf-8"

72.         return rst  

74.     #尝试获取页面

75.     def downloadUrl(self,url):  

76.         charset = ""  

77.         page = ""  

78.         retry = 0

79.         while True:  

80.             try:  

81.                 fp = urllib2.urlopen(url)  

82.                 break

83.             except urllib2.HTTPError,e: #状态错误

84.                 Tools.writelog('error','HTTP状态错误 code='+e.code)  

85.                 raise urllib2.HTTPError  

86.             except urllib2.URLError,e: #网络错误超时

87.                 Tools.writelog('warn','页面访问超时,重试..')  

88.                 retry+=1

89.                 if( retry > self.MAX_RETRY ):  

90.                     Tools.writelog('warn','超过最大重试次数,放弃')  

91.                     raise urllib2.URLError  

93.         while True:  

94.             line = fp.readline()  

95.             if charset == "":  

96.                 charset = self.getCharset(line)  

97.             if not line:  

98.                 break

99.             page += Tools.toUnicode(line,charset)  

100.         fp.close()  

101.         return page  

103.     #获取页面

104.     def getPageInfo(self,url):  

105.         Tools.writelog( "info","开始抓取网页,url= "+url)  

106.         info = ""  

107.         try:  

108.             info = self.downloadUrl(url)  

109.         except:  

110.             raise

111.         Tools.writelog("debug","网页抓取成功")  

112.         return info  

114. '''''

115. 内容提取类

116. '''

117. class InfoGripper():  

118.     pageGripper = PageGripper()  

120.     def __init__(self):  

121.         Tools.writelog('debug',"爬虫启动")  

123.     #抓取标题

124.     def griptitle(self,data):  

125.         title = Tools.getFromPatten(u'box2t sp">

     (.*?)

     ', data, True)  

126.         if title == "":  

127.             title = Tools.getFromPatten(u'