在定向爬虫的制作过程中，使用分布式爬取技术可以显著提高爬取效率。而 Redis 配合 Scrapy 是实现分布式爬取的基础。
Redis 是一个高性能的 Key-Value 数据库，它把数据保存在内存里。因此可以有非常快的数据读写速度。
|
1
2
|
pip install scrapy-rediseasy_install scrapy-redis |
下载
版本推荐
|
1
|
stable 3.0.2 |
运行redis
|
1
|
redis-server redis.conf |
清空缓存
|
1
|
redis-cli flushdb |
scrapy配置redis
settings.py配置redis
|
1
2
3
4
5
6
|
SCHEDULER = "scrapy_redis.scheduler.Scheduler"SCHEDULER_PERSIST = TrueSCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue'REDIS_URL = None # 一般情况可以省去REDIS_HOST = '127.0.0.1' # 也可以根据情况改成 localhostREDIS_PORT = 6379 |
在scrapy中使用scrapy-redis
spider 继承RedisSpider
|
1
2
3
|
class tempSpider(RedisSpider) name = "temp"redis_key = ''temp:start_url" |
以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持服务器之家。
原文链接：https://blog.csdn.net/xx1710/article/details/51187356
