豆瓣是中国的imdb，国内最权威的电影信息收录和影评平台之一。 豆瓣总共收录了多少部电影呢？以抓取豆瓣所有的电影详情为例，回答这个问题。

豆瓣电影自己已经列出了所有电影的总列表。 网址是这个选影视的入口: https://movie.douban.com/tag/

经过分析，可知豆瓣自己给出了所有的电影的列表的获取接口： https://movie.douban.com/j/new_search_subjects?tags=电影&range=0,10&start=0

再经过分析可知这个接口从start=0开始，分页，每页20条，一直往下翻页，但累计翻到start=9980返回数据就为空了。 显然是豆瓣故意设置的。这个数并不准确。

经过尝试知道这个url有个关键的range，从0分到10分的评分；也尝试出range支持小数。自然地想到可以通过设置起始同一个数来获取一个评分的分页。如：range=9.0,9.0

经过不完整的尝试，发现每一个评分应该是不超过9980条的。(这里可以通过抓取url数据去真正地判断的。如果不判断，假定不超过，ps：后面经过程序跑，发现暂时每个评分的电影条数都不超过9980，至于以后如果超过了，应该有别的解决方式的。豆瓣应该也是假定了所有电影数量不超过100万条吧，感觉可能是这样所以才设置了翻页数量最多为9960这个数，也可能是别的原因，无所谓，不妨碍接下来的探索。)

到此，已经分析出所有电影列表的所有url。要估算出所有电影的数量，只要遍历跑完所有url的翻页，将数量累加即可知道。

代码实现也并不难。

但还要顺便把每一部的电影详情页的主要信息抓下来，方便以后的查询和分析。

所以在遍历所有url时，顺便把电影详情页的信息也抓了。

用Scrapy实现了以上的想法。

程序跑了一天一夜，终于跑完了。

截图如下：

所有电影的详情信息存入MongoDB，总数如下图所示：

可见，本次抓取，成功完整的保存到MongoDB里面的电影总条数是57188条。 绝大多数的抓取是成功的，也保存到了数据库。归功于强大的Scrapy框架。当然，还有ip代理，没有ip代理一下子就被封ip了。

抓取中发现豆瓣电影有一些电影的详情页是404，比如熔炉、杀人回忆、电锯惊魂等等等等，其中有一些隔一段时间又恢复正常，不知道是不是豆瓣的BUG，这个不正常。

综上，排除掉个别404的电影，排除掉个别抓取失败或者存不进去数据库。根据豆瓣自己的电影分类，豆瓣总共收录的电影数量是5万多条，截止2017年12月份。

如果豆瓣的电影分类是准确的，那么这个数字的误差是很小的，可信度相当高。 但，通过不完整的翻查，发现有一些音乐类的分类下面，有一些并不能算是电影，比如演唱会、MV制作，一些短片等等。所以，如果以此来说豆瓣的电影分类并不准确的话，豆瓣电影的数量真实要比这个数字要小一些的，具体小多少，暂时不好估算。对于电影的准确定义和分类相信也不会有一个很严格的标准。所以还是可以认为豆瓣的分类是较为准确的吧。保险的说法是，豆瓣收录的电影数量级是几万级别的。

有了以上这些数据，后面就可以对这些数据做进一步的特定分析了。

豆瓣上有个问题跟这个相关，豆瓣一共收录了多少部电影？。

其中冰糖雪梨的的回答跟以上的思路是一致的。我认为他的回答最为贴切。朱俊的回答也接近，不过并没说具体是怎么得来的。说15万多的估计是有很多其他的分类冗余了，比如电视剧之类的视频。按照豆瓣官方提供的接口来算就是5万多这个数。

最后附上部分实现代码：

import urllib
import re
import json
from random import choice
from scrapy.spiders import Spider
from scrapy.http import FormRequest
from scrapy import Request

from .lib import  lib_parse_movie_detail

class DoubanMovieSubject(Spider):

    def __init__(self, score=2.1,
        fmt_str='https://movie.douban.com/j/new_search_subjects?tags=电影&range=%.1f,%.1f&start=0'):
        self.subject_set = set()
        self.url_list = []
        self.fmt_str = fmt_str
        self.score = score
        while self.score <= 9.8:
            url = self.fmt_str % (self.score, self.score)
            self.url_list.append(url)
            self.score += 0.1

    name = 'movie_subject'

    def start_requests(self):
        self.logger.warning("start_request 请求入口")
        self.logger.warning(self.url_list)
        for url in self.url_list:
            yield Request(url)


    def parse(self, response):
        if response.status == 200:
            url = response.url
            res = json.loads(response.body_as_unicode())
            data = res.get('data')
            if data:
                for d in data:
                    subject_id = d.get('id')
                    self.subject_set.add(subject_id)
                    detail_url = d.get('url')
                    item = {'detail_url': detail_url, 'subject_id': subject_id}
                    yield Request(
                            detail_url,
                            callback=self.parse_movie_detail,
                            meta={'item': item},
                            dont_filter=True)
                # 翻页
                url = url.split('=')
                url[-1] = str(int(url[-1]) + 20)
                url = '='.join(url)
                yield Request(url)
            else:
                self.logger.warning('没有数据：{}'.format(url))
        else:
            self.logger.error(response.url)
            self.logger.error('parse_movie_detail 状态码为：{}'.format(response.status))

    def parse_movie_detail(self, response):
        return lib_parse_movie_detail(self, response)