Python作为一门高级编程语言，它的定位是优雅、明确和简单。我学用python差不多一年时间了，用得最多的还是各类爬虫脚本：写过抓代理本机验证的脚本，写过论坛中自动登录自动发帖的脚本，写过自动收邮件的脚本，写过简单的验证码识别的脚本。
这些脚本有一个共性，都是和web相关的，总要用到获取链接的一些方法，故累积了不少爬虫抓站的经验，在此总结一下，那么以后做东西也就不用重复劳动了。
下面分享一个小案例，实现爬取网站里面的图片，包括源码及实现思路。
一、还原手工操作
所谓爬取页面图片，正常人手动操作可以分为两步：
1.打开页面
2.选中图片下载到指定文件夹
用代码实现的话可以节省掉每次下载图片的操作，运行代码实现批量下载。
二、设计代码实现
步骤一：导入相关库操作
import urllib #导入urllib包
import urllib·request#导入urllib包里的request方法
import re #导入re正则库
步骤二：定义解析页面 load_page（）
这个函数实现打开传入的路径并将页面数据读取出来，实现代码，包括发送请求，打开页面，获取数据。
代码实现：
def load_page(url):
request=urllib.request.Request(url)#发送url请求
response=urllib.request.urlopen(request)#打开url网址
data=response.read()#读取页面数据
return data#返回页面数据
步骤三：定义get_image()函数
首先利用正则表达式匹配图片路径并存到数组中。
其次遍历数组实现图片下载操作。
代码实现：
def get_image(html):
regx=r'http://[\S]*jpg' #定义正则匹配公式
pattern=re.compile(regx)#构造匹配模式，速度更快
get_image=re.findall(pattern,repr(html))#repr（）将内容转化为字符串形式，findall列表形式展示正则表达式匹配的结果
num=1 #定义变量控制循环
for img in get_image: #定义变量遍历数组
image=load_page(img)#将图片路径传入加载函数
with open('F:\\photo\\%s.jpg'%num,'wb') as fb: #以只读方式打开图片并命名
fb.write(image) #写入内容
print('正在下载的%s张图片'%num)
num=num+1 #变量递增
print("下载完成")
步骤四：函数调用
#调用函数
url='http://p.weather.com.cn/2019/10/3248439.shtml' #传入url路径
html=load_page(url)#加载页面
get_image(html)#图片下载
关键单词释义
如果第一次接触爬虫代码，相信有几个单词大家很陌生，为了方便记忆我把它们归类到一起加深印象，你也可以拿出一张白纸试着努力回忆着。
1.爬虫协议库ulrlib、urllib.request
2.正则匹配库rb
3.发送请求方法request（）
4.打开页面方法urlopen（）
5.读取数据方法read（）
6.正则表达式-所有图片【\S】*.jpg
7.匹配模式定义compile（）
8.查找匹配findall（）
9.循环遍历语句 for a in b
10.打开文件 并命名 with open（）... as fb
11.写到... write*()
12.输出语句 print（）
到现在为止可以把我上面的代码在pycharm中打开尝试着运行起来吧！
最后，有2个报错信息汇总供参考：
1. module 'urllib' has no attribute 'requset'
定位到当行语句，发现request 单词拼写错误。
2. 没有报错，但是图片没有下载成功
重新检查代码，发现正则表达式写的有错误，记住是大写的S修改完之后看效果。
最后邀请想提升实力的测试人一起学习
如果你的也有很多问题想要解决，你的测试职业规划也需要一点光亮，你也想跟着大家一起分享探讨，我给你推荐一个「Python自动化测试学习交流群」你缺的知识这里有，你少的技能这里有，你要的大牛也在这里……
来吧！！一起进阶自动化测试！！
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
