前言
本文项目基于Windows； Navicat 12 for MongoDB（不好用，也许使用NoSQL Manager for MongoDB会更好）。
开发环境
so，本Scrapy项目，环境如下：
操作系统：Win7
开发语言及框架：Python3.7 Scrapy1.5.1
开发工具：PyCharm
数据库：MongoDB、MySQL
数据库可视化工具：Navicat 12 for MongoDB
各种安装、新建项目等请自行百度或查阅我前面的安装文档，这里只做代码记录。
本项目所实现的主要功能：
1、爬取豆瓣电影Top250的数据并存入本地MongoDB或MySQL中；
2、自定义Downloader middlewares，产生随机的USER_AGENT
Scrapy架构图
组件（白话文解释）
Scrapy Engine 引擎负责操作所有的数据流和事件，负责各个组件之间的通信和数据交换。
Spiders 包含了request、接收response后的解析、提取item等功能。简单来说数据的过滤、分析、再请求都在这个组件里。
调度器(Scheduler) 本质就是个队列。spider携带着request给引擎传递了请求之后，Scheduler负责给它们排个队，后来的spider排到队尾等着，队头的spider会被丢给引擎去执行。
下载器(Downloader) 引擎把接收到的request发给Downloader，Downloader获取页面数据再把得到的一堆东东丢回给引擎。
Item Pipeline 负责处理被spider提取出来的item。典型的处理有过滤清理、 验证及持久化(例如存取到数据库中)。
下载器中间件(Downloader middlewares) 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response（也包括引擎传递给下载器的Request）。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
一句话总结就是：处理下载请求部分，主要应用：封装代理等隐藏我们信息的地方。
Spider中间件(Spider middlewares) Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
项目目录
代码笔记
1、scrapy.cfg
[settings]default = Scrapy_DoubanMoviesTop250.settings[deploy]project = Scrapy_DoubanMoviesTop250
settings： 项目配置文件
deploy： 项目别名
2、settings.py（节选）
# -*- coding: utf-8 -*-# 设置导出编码格式为utf-8FEED_EXPORT_ENCODING = 'utf-8'BOT_NAME = 'Scrapy_DoubanMoviesTop250'SPIDER_MODULES = ['Scrapy_DoubanMoviesTop250.spiders']NEWSPIDER_MODULE = 'Scrapy_DoubanMoviesTop250.spiders'# Crawl responsibly by identifying yourself (and your website) on the user-agentUSER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'# Obey robots.txt rulesROBOTSTXT_OBEY = False# Configure a delay for requests for the same website (default: 0)# See https://doc.scrapy.org/en/latest/topics/settings.html#download-delay# See also autothrottle settings and docsDOWNLOAD_DELAY = 0.5# The download delay setting will honor only one of:#CONCURRENT_REQUESTS_PER_DOMAIN = 16#CONCURRENT_REQUESTS_PER_IP = 16# Enable or disable downloader middlewares# See https://doc.scrapy.org/en/latest/topics/downloader-middleware.htmlDOWNLOADER_MIDDLEWARES = { 'Scrapy_DoubanMoviesTop250.middlewares.my_useragent': 543}# Configure item pipelines# See https://doc.scrapy.org/en/latest/topics/item-pipeline.htmlITEM_PIPELINES = { 'Scrapy_DoubanMoviesTop250.pipelines.ScrapyDoubanmoviestop250Pipeline': 300,}# MongoDB设置mongo_host = '127.0.0.1'mongo_port = 27017mongo_db_name = 'douban'mongo_db_collection = 'douban_movie'# mysql设置mysql_host = '127.0.0.1'mysql_port = 3306mysql_user = 'root'mysql_password = '123456'mysql_db_name = 'scrapy_douban' 以下是对上述代码的拆分解释：
（1）导出格式编码声明：
# 设置导出编码格式为utf-8FEED_EXPORT_ENCODING = 'utf-8'
（2）USER_AGENT改为自己浏览器的值，F12直接看就好
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
PS：为什么修改USER_AGENT？
大多数情况下，网站都会根据我们的请求头信息来区分你是不是一个爬虫程序，如果一旦识别出这是一个爬虫程序，很容易就会拒绝我们的请求，因此我们需要给我们的爬虫手动添加请求头信息，来模拟浏览器的行为。
（3）设置不遵守robots.txt规则
ROBOTSTXT_OBEY = False
PS：robots.txt规则是个什么东东？
robots.txt 是遵循 Robot协议 的一个文件，它保存在网站的服务器中，它的作用是，告诉搜索引擎爬虫，本网站哪些目录下的网页 不希望 你进行爬取收录。在Scrapy启动后，会在第一时间访问网站的 robots.txt 文件，然后决定该网站的爬取范围。
当然，我们并不是在做搜索引擎，某些情况下我们想要获取的内容恰恰是被 robots.txt 禁止访问的，这个时候，我们就要将此配置项设置为 False ，拒绝遵守 Robot协议。
（4）下载延迟设置为0.5
DOWNLOAD_DELAY = 0.5
对单个IP进行并发请求的最大值，默认是0，单位是秒。注意：设置太大，大规模抓取等待时间过长，设置太小，短时间增大服务器负载，会被咔嚓。
（5）自定义Downloader middlewares，产生随机USER_AGENT
DOWNLOADER_MIDDLEWARES = { # 这里的My_useragent就是你自定义的中间件名称，543表示执行顺序，越大的越往后执行，默认从543开始 'Scrapy_DoubanMoviesTop250.middlewares.my_useragent': 543} 白话文解释：网站是根据请求头信息来区分爬虫程序的，当我们大量爬取同一个网站的数据，一直使用同一个请求头可能会被抓包然后咔嚓掉，所以可以搞一个随机生成USER_AGENT的中间件更好地隐藏自己。
（6）开启ITEM_PIPELINES，默认即可
ITEM_PIPELINES = { 'Scrapy_DoubanMoviesTop250.pipelines.ScrapyDoubanmoviestop250Pipeline': 300,} 要持久化数据你不开试试？
（7）MongoDB设置
# MongoDB设置mongo_host = '127.0.0.1'mongo_port = 27017mongo_db_name = 'douban'mongo_db_collection = 'douban_movie'
（8）MySQL设置
# mysql设置mysql_host = '127.0.0.1'mysql_port = 3306mysql_user = 'root'mysql_password = '123456'mysql_db_name = 'scrapy_douban'
3、items.py
写spider之前，你得先弄清楚你需要哪些数据？items.py就是你声明自己所需的数据名字的地方。
import scrapyclass ScrapyDoubanmoviestop250Item(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() # 排名 serial_number = scrapy.Field() # 电影名称 movie_name = scrapy.Field() # 介绍 introduction = scrapy.Field() # 评分 score = scrapy.Field() # 评论数 evaluation = scrapy.Field() # 电影描述 description = scrapy.Field()
4、douban_spider.py
# -*- coding: utf-8 -*-import scrapyfrom Scrapy_DoubanMoviesTop250.items import ScrapyDoubanmoviestop250Itemclass DoubanSpiderSpider(scrapy.Spider): # 爬虫名字 和项目名不可重复 name = 'douban_spider' # 允许的域名 allowed_domains = ['movie.douban.com'] # 入口url，扔到调度器Scheduler里面去 start_urls = ['http://movie.douban.com/top250'] # spider默认解析方法。 # 该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。 def parse(self, response): # 获取电影条目 movie_list = response.xpath("//div[@class='article']/ol[@class='grid_view']/li") for movie_item in movie_list: item = ScrapyDoubanmoviestop250Item() # 写详细的xpath，进行数据解析 item['serial_number'] = movie_item.xpath(".//div[@class='item']//em/text()").extract_first() item['movie_name'] = movie_item.xpath(".//div[@class='info']//div[@class='hd']//a//span[1]/text()").extract_first() # 页面多行数据的处理 introduction_list = movie_item.xpath(".//div[@class='info']//div[@class='bd']//p[1]/text()").extract() for introduction in introduction_list: item['introduction'] = "".join(introduction.split()) item['score'] = movie_item.xpath(".//span[@class='rating_num']/text()").extract_first() item['evaluation'] = movie_item.xpath(".//div[@class='star']//span[4]/text()").extract_first() item['description'] = movie_item.xpath(".//p[@class='quote']//span/text()").extract_first() # 将数据yield到pipline里去，进行数据清洗、存储等操作 yield item # 解析下一页，获取下一页的xpath next_link = response.xpath("//span[@class='next']//link/@href").extract() if next_link: next_link = next_link[0] yield scrapy.Request("http://movie.douban.com/top250"+next_link, callback=self.parse) 嗯。。。学完了纯python的爬取之后，学习这个代码压力应该不大。看到这个下一页的声明，也能够理解调度器Scheduler的作用了。
5、数据持久化操作
写完douban_spider.py之后，其实就可以拿到数据了，你可以选择导出数据文件，也可以将数据存入数据库中。
注意：可在settings.py中配置导出文件编码方式为utf-8，尽量避免乱码问题。
1、保存数据为.json或.csv文件
进入项目中的spiders文件夹中，输入命令：
scrapy crawl 你在spider文件中定义的爬虫名字 -o 文件名称.json
例：scrapy crawl douban_spider -o movies.json，在当前文件夹中导出。
2、保存至MongoDB中
打开pipelines.py，初始化数据库连接并插入数据，代码如下：
# -*- coding: utf-8 -*-import pymongofrom Scrapy_DoubanMoviesTop250.settings import mongo_host, mongo_port, mongo_db_name, mongo_db_collectionclass ScrapyDoubanmoviestop250Pipeline(object): def __init__(self): # 获取数据库配置信息 host = mongo_host port = mongo_port db_name = mongo_db_name db_collection = mongo_db_collection # 获取数据库连接 get_connection = pymongo.MongoClient(host=host, port=port) # 在连接中拿到数据库信息 local_db = get_connection[db_name] # 得到集合信息 self.post = local_db[db_collection] def process_item(self, item, spider): data = dict(item) self.post.insert(data) return item
2、保存至MySQL中
打开pipelines.py，初始化数据库连接并插入数据，代码如下：
# -*- coding: utf-8 -*-import pymysqlfrom Scrapy_DoubanMoviesTop250.settings import mysql_host, mysql_port, mysql_user, mysql_password, mysql_db_nameclass ScrapyDoubanmoviestop250Pipeline(object): # 连接数据库： self.connect = pymysql.connect( host=mysql_host, port=mysql_port, user=mysql_user, password=mysql_password, database=mysql_db_name, charset='utf8', use_unicode=True ) # 通过cursor进行增删改查 self.cursor = self.connect.cursor() def process_item(self, item, spider): insert_sql = """insert into douban_movie(serial_number, movie_name, introduction, score, evaluation, description) values (%s, %s, %s, %s, %s, %s)""" self.cursor.execute(insert_sql, (item['serial_number'], item['movie_name'], item['introduction'], item['score'], item['evaluation'], item['description'])) self.connect.commit() return item def close_spider(self, spider): self.cursor.close() self.connect.close()
这里再次声明一下：settings.py中必须开启ITEM_PIPELINES，否则scrapy可不会智能地帮你开启连接数据库的管道的喔！详见文中 代码笔记——2、settings.py（节选）—— （6）开启ITEM_PIPELINES，默认即可。
到此，基本上这个项目的目的也就完成了：使用Scrapy框架抓取数据并存储到MongoDB或MySQL中。
6、随机User_Agent中间件示例
用途：详见文中 代码笔记——2、settings.py（节选）—— （2）USER_AGENT改为自己浏览器的值，F12直接看就好、（5）自定义Downloader middlewares，产生随机USER_AGENT。
打开middlewares.py，在已有代码后追加一个新的类My_useragent：
class My_useragent(object): def process_request(self, request, spider): USER_AGENT_LIST = [ 'MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23', 'Opera/9.20 (Macintosh; Intel Mac OS X; U; en)', 'Opera/9.0 (Macintosh; PPC Mac OS X; U; en)', 'iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca)', 'Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u)', 'iTunes/4.2 (Macintosh; U; PPC Mac OS X 10.2)', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:5.0) Gecko/20100101 Firefox/5.0', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:9.0) Gecko/20100101 Firefox/9.0', 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.8; rv:16.0) Gecko/20120813 Firefox/16.0', 'Mozilla/4.77 [en] (X11; I; IRIX;64 6.5 IP30)', 'Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)' ] request.headers['User_Agent'] = random.choice(USER_AGENT_LIST)
这个函数process_request(self, request, spider)并不是自己写的，是下载器中间件Downloader middlewares自带的方法，每一个request对象都会经过该方法。当然还有process_response(self, request, response, spider)，当下载器完成请求后，返回response给引擎的时候调用。
这里的USER_AGENT_LIST可以自己去网上百度一个，看心情写。
最后，别忘了去settings.py中配置一下DOWNLOADER_MIDDLEWARES。
贴上我的配置：
DOWNLOADER_MIDDLEWARES = { # 这里的My_useragent就是你自定义的中间件名称，543表示执行顺序，越大的越往后执行，默认从543开始 'Scrapy_DoubanMoviesTop250.middlewares.My_useragent': 543} 7、模拟main方法
如果你不满于每次执行.py文件都需要输入命令，也可以在项目中这么做：
在项目根目录下新建main.py，输入以下代码，不需要手动配置，直接右键Run 'main'即可，PyCharm会帮你配置好的。
from scrapy import cmdlinecmdline.execute('scrapy crawl douban_spider'.split()) 
嗯，抄代码是很简单的，真正地去理解把它融入为自己的还需要一段时间。本篇笔记是学习之后的整理，其实非常像流水账，我中间遇到的问题也没有记录，Navicat的使用也没有记录，个人非常不喜欢但也不想再重做了。年前Python的学习时间还很充裕，之后会边学边写笔记的，一整套流程按发展的步骤详细地记录下来。Over~