请选择 进入手机版 | 继续访问电脑版
在线投稿 文字标题 文字标题 文字标题 文字标题 文字标题
切换皮肤
手把手教你爬取天堂网1920*1080大图片(批量下载)——实战篇
/1 前言/
上篇文章我们谈及了天堂网站图片抓取的理论,这篇文章将针对上篇文章的未尽事宜进行完善,完成图片的批量抓取。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F90efa85aj00qa7csu003cc000u000gwm.jpg


/2 图片网址解析/
1. 我们首先来分析一下这个图片的地址在哪里。我们选择图片,然后右击网页检查,可以看到图片的路径,如下图所示。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F4e3a0f8ap00qa7csu00f0c000u000g8m.jpg
2. 将其单独放出来,如下图所示。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F9e896283p00qa7csu0009c000fx007pm.jpg
3. 可以看到就是图片的链接,而src就图片的地址,所以我们可以找它的上一级标签
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2Fd91e2444p00qa7csu000hc000ha004lm.jpg
4. 之后尝试运行,如下图所示,可以获取到具体的网址。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2Fdd0cf727p00qa7csu000nc000t4008km.jpg
5. 我们再对这个网址进行请求(参考一个请求的方法)分析数据。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2Fe3ee4696p00qa7csu000bc000pd002mm.jpg
6. 我们以这个鱼的图片为例,点击它来到二级页面。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F7afe1090p00qa7csu00j4c000u000lum.jpg
7. 右键检查 可以看到我们要获取的是src的地址,如下图所示。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F4e3a0f8ap00qa7csu00f0c000u000g8m.jpg
8. 获取图片的源码,如下图所示。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F57cd95dfp00qa7csu0007c000ej004vm.jpg
9. Xpath 获取到路径,为了方便区分图片的名字,如下图所示。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F51b5da79p00qa7csu000fc000fb003qm.jpg
/3 下载图片/
1. 为方便储存,新建一个filename来作为保存的路径,如下图所示。
2. 也就是说你需要在Python代码的同级目录,提前新建一个文件夹,名叫“天堂网爬的图片”,如果没有这个文件夹的话,将会报下图的错。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F2db615eap00qa7csu0037c000u0006rm.jpg
3. 使用with函数进行文件的打开和写入,下方代码的含义是创建一个文件,代码框里边有具体的注释。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F51a983bcp00qa7csu0009c000eb0026m.jpg
"wb" # 意思是以二进制格式打开一个文件只用于写入。如果该文件已存在则将其覆盖。如果该文件不存在,创建新文件。
"as f" # 意思是写入一个叫f的文件。
"f.wirite(html)" # 意思是说把html的内容写入f这个文件。
4. 下面是各个编码代表的含义,可以学习一下。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F0e9071d8j00qa7csu000ic000nn004pm.jpg
5. 基于以上代码,基本上就可实现批量下载。接下来,我们继续优化一下。我们导入一个叫fake_useragent的库 fake_useragent第三方库,来实现随机请求头的设置。
fromfake_useragent import UserAgent
ua =UserAgent()
print(ua.ie) #随机打印ie浏览器任意版本
print(ua.firefox)#随机打印firefox浏览器任意版本
print(ua.chrome) #随机打印chrome浏览器任意版本
print(ua.random) #随机打印任意厂家的浏览器
6. 我们可以再初始化init方法,添加ua.random,让它随机的产生;其中UserAgent代码如图:(这里设置随机产生50个挑选其中一个进行请求)
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2Fe007ac5cp00qa7csu000cc000dp005em.jpg
7. 最终实现的效果图,终端显示如下图所示。
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2Fe68655e1p00qa7csu002wc000ql008hm.jpg
8. 将图片自动下载到本地后的效果图,高清的噢~
?url=http%3A%2F%2Fdingyue.ws.126.net%2F2020%2F0512%2F543bd54bp00qa7csu00a5c000oh00etm.jpg
9. 至此,针对解析出来的图片地址予以批量下载的任务已经完成,接下来自己可以开心的去浏览图片啦。
10. 不建议大家爬取太多数据,这样会给服务器增大负载,浅尝辄止即可。
/4 小结/
本文基于理论篇,通过Python 中的爬虫库requestslxmlfake_useragent,带大家进行网页结构的分析以及网页图片地址数据的提取,并且针对解析出来的图片地址予以批量下载,方法行之有效,欢迎大家积极尝试。
如果需要本文源码的话,请在公众号后台回复“高清图片”四个字进行获取,觉得不错,记得给个star噢。
-------------------End-------------------


回复

使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则


    Archiver|手机版|小黑屋|齐聚无忧 |网站地图

    Powered by Discuz! X3.4  © 2001-2013 Comsenz Inc.