爬虫日记(86):Scrapy的Scheduler类(二)

爬虫日记 专栏收录该内容
121 篇文章 327 订阅 ¥99.00 ¥19.90

上面已经准备了所有队列的对象,下一步我们就来分析怎么进入队列,以及怎么实现优先级队列管理这些请求。这些函数的调用关系如下:

因此我们需要从函数enqueue_request入手,先来分析它的代码:

第89行里的参数request就是要调度队列的请求对象。

第90行先判断是否允许过滤,如果不允许过滤就跳过这里;允许过滤就调用去重类的成员函数request_seen,在这个函数实现是否重复的请求判断。

第91行如果是重复的,就输出日志。

第92行跳过重复的请求,直接返回,不进入调度队列。

 

  • 0
    点赞
  • 0
    评论
  • 0
    收藏
  • 一键三连
    一键三连
  • 扫一扫,分享海报

相关推荐
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值