如何用Python抓取250部豆瓣电影海报？

小朋友们好，大朋友们好！

我是猫妹，一名爱上Python编程的小学生。

关注我，一起趣味学编程！

你知道有个网站叫豆瓣吗？

它是一个社区网站，它以书影音起家，提供关于书籍、电影、音乐等作品的信息，无论描述还是评论都由用户提供，是Web2.0网站中具有特色的一个网站。

网站还提供书影音推荐、线下同城活动、小组话题交流等多种服务功能，它更像一个集品味系统（读书、电影、音乐）、表达系统（我读、我看、我听）和交流系统（同城、小组、友邻）于一体的创新网络服务，一直致力于帮助都市人群发现生活中有用的事物。

猫妹豆瓣用得不多，不过咱们今天要抓取的电影海报来自豆瓣。

如下页面有250部2022年度电影榜单，都是读者朋友推荐的精品。

获取网页源码

通过之前几篇文章的学习，我们知道，在网页上我们看到的是文字、图片、视频等元素。

实际上，这些元素是通过html语法来组织的，比如显示什么内容文字？文字的颜色格式是什么？显示什么图片？图片放在哪里等等。

我们可以通过查看网页的源码，得知网页的html源代码。

电影详细信息就在html代码里，比如《肖申克的救赎》相关信息如下：

第一步先通过Python的Request模块获取网页的源代码：

import requests

url = 'https://movie.douban.com/top250'

headers = {

'User-Agent':

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'

reponse = requests.get(url=url,headers=headers)

result=reponse.text

print(result)

获取单页海报地址

有了网页源代码，接下来就是分析电影相关信息，海报下载链接在哪里。

我们的步骤是：

网页源码->解析电影海报地址->下载海报

我们打开开发者模式，用选择元素工具后，将鼠标放在电影海报的图片上，可以得到其html相关代码。

原来，图片相关信息为：

我们可以通过正则表达式解析源码，获取电影的名称和地址。

import requests

import re

def get_source_code():

url = 'https://movie.douban.com/top250'

headers = {

'User-Agent':

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'

reponse = requests.get(url=url,headers=headers)

result=reponse.text

#print(result)

return result

def get_image_info(result):

movie_title='

movie_image='

title_list=re.findall(movie_title,result)

image_list=re.findall(movie_image,result)

print(title_list)

print(image_list)

if __name__=='__main__':

result=get_source_code()

get_image_info(result)

运行结果：

这里我们用到了Python自带的正则表达式re，它是用来匹配查找筛选内容的。

re.findall()：函数返回包含所有匹配项的列表。返回string中所有与pattern相匹配的全部字串，返回形式为数组。

下载单页海报

有了电影海报的地址，保存就很简单了。

测试代码：

import requests

import re

from pathlib import Path

def get_source_code():

url = 'https://movie.douban.com/top250'

headers = {

'User-Agent':

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'

reponse = requests.get(url=url,headers=headers)

result=reponse.text

#print(result)

return result

def get_image_info(result):

movie_title='

movie_image='

title_list=re.findall(movie_title,result)

image_list=re.findall(movie_image,result)

print(title_list)

print(image_list)

file_path = Path('D:/和猫妹学Python/海报')

if not file_path.exists():

file_path.mkdir(parents=True)

for i in range(len(title_list)):

response1 = requests.get(url=image_list[i])

contents = response1.content

image_path = file_path / (title_list[i]+'.jpg')

with open(image_path,'wb') as fp:

fp.write(contents)

if __name__=='__main__':

result=get_source_code()

get_image_info(result)

26行：要保存电影海报的目录文件夹内

27~28:行：如果没有此文件夹，那么创建一个

30行：根据列表获取电影的数量，判断需要下载多少次。每次请求都是电影图片的地址。

33行：用电影名称给电影图片命名。

34~35行：将图片信息contents进行保存。

下载多页海报

我们上面已经抓取了第一页的电影海报图片，共25张。

如何抓取多页呢？

这就需要找找规律啦！

点击页面底部的不同页面，你会发现链接有规律。

啥规律？

https://movie.douban.com/top250?start=(页面-1)*25&filter=

是不是将单页下载海报的代码，将其循环10次就可以啦？

没错！

测试代码：

import requests

import re

from pathlib import Path

def get_source_code(page):

#url = 'https://movie.douban.com/top250'

url=page

headers = {

'User-Agent':

'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36'

reponse = requests.get(url=url,headers=headers)

result=reponse.text

#print(result)

return result

def get_image_info(result):

movie_title='

movie_image='

title_list=re.findall(movie_title,result)

image_list=re.findall(movie_image,result)

#print(title_list)

#print(image_list)

file_path = Path('D:/和猫妹学Python/海报')

if not file_path.exists():

file_path.mkdir(parents=True)

for i in range(len(title_list)):

response1 = requests.get(url=image_list[i])

contents = response1.content

image_path = file_path / (title_list[i]+'.jpg')

with open(image_path,'wb') as fp:

fp.write(contents)

print('.',end='')

if __name__=='__main__':

print("豆瓣海报下载中...",end='')

for i in range(10):

url='https://movie.douban.com/top250?start={}&filter='.format(i*25)

result=get_source_code(url)

get_image_info(result)

print("下载完成")

print("和猫妹学Python")

程序运行：

程序下载较慢，如果想下载得快点，可以用上多线程技术，实现快速下载。

如果遇到什么问题，咱们多多交流，共同解决。

猫妹在同名公众号等你，不见不散！

我是猫妹，咱们下次见！