爬取超清美图python爬虫学习成品和源码

令狐冲

爬取超清美图python爬虫学习成品和源码

功能说明:
1.批量爬取高清图
2.支持自定义cookie爬取超清图(需要有会员,不然每天只能爬成功一张)




演示视频:
https://www.bilibili.com/video/BV1Cb4y1Q73j/
代码:

1. import requests, bs4, time, json, os, urllib, time
   
2. 
   
3. 
   
4. class NetbiAn():
   
5.     def __init__(self, cookie=None):
   
6.         '''
   
7.         彼岸图库
   
8.         :param cookie:  自定义cookie,不填就默认我的cookie
   
9.         '''
   
10. 
    
11.         self.url = 'https://pic.netbian.com/'
    
12.         if cookie == None:
    
13.             self.headers = {
    
14.                 'cookie': '__yjs_duid=1_5497b819a72afc9101dd25f2d5726a8e1616818734114; __guid=216607383.3773875649706524700.1616818734566.507; Hm_lvt_526caf4e20c21f06a4e9209712d6a20e=1616818735; zkhanecookieclassrecord=%2C54%2C66%2C; PHPSESSID=varai3ubq9gf8ri9vpb7ppsrm5; zkhanmlusername=%B7%B2%CA%C2%BF%B4%C8%BA%CE%C4%BC%FE; zkhanmluserid=4729080; zkhanmlgroupid=1; zkhanmlrnd=zkIOXHSZ8ya4GKjTuTxA; zkhanmlauth=0b23850ea3f69277fce68255bf7e776c; ',
    
15.                 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
    
16.                 'x-requested-with': 'XMLHttpRequest'}
    
17.         else:
    
18.             self.headers = {
    
19.                 'cookie': cookie,
    
20.                 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
    
21.                 'x-requested-with': 'XMLHttpRequest'}
    
22. 
    
23.     def get_HDimg_url(self, id):
    
24.         '''
    
25.         获取超清图片的下载地址
    
26.         :param id:
    
27.         :return:
    
28.         '''
    
29.         api_url = 'https://pic.netbian.com/e/extend/downpic.php'
    
30.         params = {'id': id}
    
31.         res = requests.get(api_url, headers=self.headers, params=params)
    
32. 
    
33.         js = json.loads(res.text)
    
34.         return self.url + js['pic']
    
35. 
    
36.     def download_img(self, url, path):
    
37.         '''
    
38.         下载文件
    
39.         :param url:地址
    
40.         :param path: 保存文件名
    
41.         :return:
    
42.         '''
    
43.         try:
    
44.             res = requests.get(url, headers=self.headers)
    
45.             with open(path, 'ab')as f:
    
46.                 f.write(res.content)
    
47.                 print(path, '下载成功！')
    
48.         except Exception as err:
    
49.             print(err, '下载失败！')
    
50. 
    
51.     def get_img_list(self, url='https://pic.netbian.com/new/', max_page=1, HD='1'):
    
52.         '''
    
53.         根据输入的目标类目url来爬取所属的图片，比如最新的的[url=https://pic.netbian.com/new/]https://pic.netbian.com/new/[/url]
    
54.         :param url:目标类目的url
    
55.         :param max_page:爬取多少页 默认为1
    
56.         :param HD:是否爬取超清的图片,注意了这个需要您有会员,不然一天只能爬1张..没啥意义默认为False
    
57.         :return:返回一个包含所有图片下载地址和name的列表
    
58.         '''
    
59.         img_list = []
    
60.         #如果有人输入了这种带页码的网站则处理一下
    
61.         if url.find('index_')!=-1:
    
62.             url=url.split('index_')[0]
    
63. 
    
64.         try:
    
65.             for page in range(max_page):
    
66.                 print(f'正在获取{page+1}页的 图片资料...')
    
67.                 if page+1>=2:
    
68.                     res = requests.get(url+f'index_{page+1}.html', headers=self.headers)
    
69.                 else:
    
70.                     res = requests.get(url, headers=self.headers)
    
71.                 res.encoding = 'gbk'
    
72.                 bson = bs4.BeautifulSoup(res.text, 'lxml')
    
73.                 bson = bson.select('#main > div.slist > ul > li')
    
74. 
    
75.                 for item in bson:
    
76.                     d = {}
    
77.                     d['href'] = self.url + item.a['href']
    
78.                     res = requests.get(d['href'], headers=self.headers)
    
79.                     res.encoding = 'gbk'
    
80.                     bs = bs4.BeautifulSoup(res.text, 'lxml')
    
81.                     bs = bs.select_one('#img > img')
    
82.                     img_id = d['href'].split('/')[-1].split('.')[0]
    
83.                     if HD == '1':
    
84. 
    
85.                         d['src'] = self.url+bs['src']
    
86.                     else:
    
87.                         # 超清
    
88.                         d['src'] = self.get_HDimg_url(img_id)
    
89.                     d['title'] = item.img['alt']
    
90.                     d['name'] = img_id + '_' + d['title'].replace(' ', '_') + '.' + \
    
91.                                 d['src'].split('.')[-1]
    
92.                     img_list.append(d)
    
93.         except Exception as err:
    
94.             print(err)
    
95.         return img_list
    
96. 
    
97.     def download_batch(self, img_list, dir_, tt=0.2):
    
98.         '''
    
99.         把整个列表的图都下载下来，因为有限制，所以没必要搞线程
    
100.         :param img_list: 图片的列表数据
     
101.         :param dir: 保存目录位置
     
102.         :param tt: 每次下载等待时间 默认为0.2s
     
103.         :return:
     
104.         '''
     
105.         length=len(img_list)
     
106.         if length==0:
     
107.             print('您不是会员,或者已经被限制了!')
     
108.             return
     
109.         print(f'一共有{length}个下载任务...')
     
110.         try:
     
111.             os.mkdir(dir_)
     
112.         except:
     
113.             pass
     
114.         for item in img_list:
     
115.             path = dir_ + '\\' + item['name']
     
116.             self.download_img(item['src'], path)
     
117.             time.sleep(tt)
     
118. 
     
119. 
     
120. if __name__ == '__main__':
     
121.     print('本脚本目标网站为:[url]https://pic.netbian.com/'[/url],'仅供技术交流,请勿用户违法或者商业用途,否则后果自负!')
     
122.     print('建议:(30元年会可以自己登入后将cookie粘贴到下方，这样就能每天至少能爬取200张超清图10页，而1块钱7天的会员就每天20张,只能爬一页)')
     
123.     key = input('回车确认cookie身份 如果需要自定义cookie可以直接输入 留空也可以：\n')
     
124.     if len(key) > 5:
     
125.         bah = NetbiAn(key)
     
126.     else:
     
127.         bah = NetbiAn()
     
128.     HD = input('是否下载超清画质(如果有会员可以填2,不是会员就填1)：\n1.普通画质\n2.超清画质\n')
     
129.     type_url = input('输入目标类目的url,如果不填默认为:[url=https://pic.netbian.com/new/]https://pic.netbian.com/new/[/url]\n')
     
130.     max_page=int(input('爬取多少页?\n'))
     
131.     if type_url=='':
     
132.         img_list = bah.get_img_list(max_page=max_page,HD=HD)
     
133.     else:
     
134.         img_list=bah.get_img_list(type_url,max_page,HD)
     
135. 
     
136.     bah.download_batch(img_list,'img')
     
137.     input('所有任务结束!')

复制代码

bhbhbh

谢楼主提供！