Python网络爬虫四大选择器（正则表达式、BS4、Xpath、CSS）总结

来源：市场资讯

（来源：Python爬虫与数据挖掘）

唯恐双溪蚱蜢舟，载不动许多愁。

前几天小编连续写了四篇关于Python选择器的文章，分别用正则表达式、BeautifulSoup、Xpath、CSS选择器分别抓取京东网的商品信息。今天小编来给大家总结一下这四个选择器，让大家更加深刻的理解和熟悉Python选择器。

一、正则表达式

正则表达式为我们提供了抓取数据的快捷方式。虽然该正则表达式更容易适应未来变化，但又存在难以构造、可读性差的问题。当在爬京东网的时候，正则表达式如下图所示：

此外 ，我们都知道，网页时常会产生变更，导致网页中会发生一些微小的布局变化时，此时也会使得之前写好的正则表达式无法满足需求，而且还不太好调试。当需要匹配的内容有很多的时候，使用正则表达式提取目标信息会导致程序运行的速度减慢，需要消耗更多内存。

二、BeautifulSoup

BeautifulSoup是一个非常流行的 Pyhon 模块。该模块可以解析网页，并提供定位内容的便捷接口。通过'pip install beautifulsoup4'就可以实现该模块的安装了。

使用 BeautifulSoup的第一步是将己下载的 HTML 内容解析为 soup文档。由 于大多 数网 页都不具备良好的HTML 格式，因此BeautifulSoup需要对实际格式进行确定。

BeautifulSoup能够正确解析缺失的引号并闭合标签，此外还会添加＜html ＞和＜body＞标签使其成为完整的HTML文档。通常使用find() 和find_all()方法来定位我们需要的元素。

如果你想了解BeautifulSoup全部方法和参数，可以查阅BeautifulSoup的官方文档。虽然BeautifulSoup在代码的理解上比正则表达式要复杂一些，但是其更加容易构造和理解。

三、Lxml

Lxml模块使用 C语言编写，其解析速度比 BeautiflSoup更快，而且其安装过程也更为复杂，在此小编就不赘述啦。XPath 使用路径表达式在 XML 文档中选取节点。节点是通过沿着路径或者 step 来选取的。

使用 lxml 模块的第一步和BeautifulSoup一样，也是将有可能不合法的HTML 解析为 统一格式。 虽然Lxml可以正确解析属性两侧缺失的引号，并闭合标签，不过该模块没有额外添加＜html ＞和＜body＞标签 。

在线复制Xpath表达式可以很方便的复制Xpath表达式。但是通过该方法得到的Xpath表达式放在程序中一般不能用，而且长的没法看。所以Xpath表达式一般还是要自己亲自上手。

四、CSS

CSS选择器表示选择元素所使用 的模式。BeautifulSoup整合了CSS选择器的语法和自身方便使用API。在网络爬虫的开发过程中，对于熟悉CSS选择器语法的人，使用CSS选择器是个非常方便的方法。

下面是一些常用的选择器示例。

• 选择所 有标签： ＊

• 选择＜a＞标 签： a

• 选择所有class＝”link” 的元素： .l in k

• 选择 class＝”link” 的＜a＞标签： a.link

• 选择 id= " home ” 的＜a＞标签： a Jhome

• 选择父元素为＜a＞标签的所有＜ span＞子标签： a > span

• 选择＜a＞标签内部的所有＜span＞标签： a span

• 选择title属性为” Home ” 的所有＜a＞标签： a [title=Home]

五、性能对比

lxml 和正则表达式模块都是C语言编写的，而BeautifulSoup则是纯Python 编写的。下表总结了每种抓取方法的优缺点。

选择器

性能

使用难度

安装难度

正则表达式

困难

简单（内置模块）

BeautifulSoup

简单

简单（纯Python）

lxml

简单

相对困难

需要注意的是。lxml在内部实现中，实际上是将CSS选择器转换为等价的Xpath选择器。

六、总结

为了给大家创建一个学习Python的氛围，小编为大家建立了一个Python学习群: 一八一一二五七七六，群里有小编的同事也会不定期共享干货，不论你是小白还是大牛，小编都非常地欢迎您的加入，让我们一起为学习Python而奋斗吧！

如果你的爬虫瓶颈是下载网页，而不是抽取数据的话，那么使用较慢的方法（如BeautifulSoup） 也不成问题。如果只需抓取少量数据，并且想要避免额外依赖的话，那么正则表达式可能更加适合。不过，通常情况下，l xml是抓取数据的最好选择，这是因为该方法既快速又健壮，而正则表达式和BeautifulSoup只在某些特定场景下有用。

今日鸡汤分享：没有那么多天赋异禀，优秀的人总是在努力翻山越岭！

说明：我平时有正式工作，只做兼职副业，只接合理、合法、正规用途的需求，不接违法、违规、恶意攻击类项目。有需要的朋友可以直接留言。加了我微信后，我会自动发送一些自动回复，如有打扰，请忽略即可。那个都是我的微信，绝对是真人，你给我正常发消息即可，必回！

大家在学习过程中如果有遇到问题，欢迎随时联系我解决（我的vx：2584914241），应粉丝要求，我创建了一些高质量的Python学习交流群和付费接单群，欢迎大家加入我的Python学习交流群和接单群。