上节课中,给大家介绍了爬取流程,是先爬取列表,解析出详情页地址,再去详情页获取电影信息。这节课,我们就来搞定列表页的数据爬取。

代码示例

1、模块引入

# data/douban_crawler.py
import requests
from bs4 import BeautifulSoup
import re, json
from tqdm import tqdm
import traceback

2、定义爬虫类

class Crawler():
    pass

if __name__ == '__main__':
    crawler = Crawler()

3、循环创建列表url

观察发现,列表页面共有10页,所以我们需要通过循环,先把列表页的url地址创建出来。

if __name__ == '__main__':
    crawler = Crawler()
    for i in range(10):
        url = 'https://movie.douban.com/top250?start=%s&filter=' % str(i*25)
        print(url)

规范的爬取套路,应该是从入口页面进入,然后找分页节点,通过解析分页节点来获取全部列表页面,但在这个任务中,列表url有明显的规律,而且我们知道总数,所以就用循环的方式简单处理了。

本文链接:http://edu.ichenhua.cn/edu/note/588

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!