Scrapy爬虫系列介绍

发表于 | 分类于 | | 阅读次数

一直想写一个系列博客, 也一直想总结一下自己学习Scrapy遇到的坑和学习到的姿势, 所以有了一下几篇Scrapy的系列博客, 如有错误欢迎指出 ：）
  1. Scrapy爬虫系列之StackOverFlow
  2. Scrapy爬虫系列之极客学院视频
  3. Scrapy爬虫系列之豆瓣电影Top250
  4. Scrapy爬虫系列之一个整站爬取

其中每篇文章侧重点都不相同

每篇的侧重如下所示:

  1. StackOverFlow : 引自Scrapy官方的例子, 主要介绍Scrapy, 作为入门用途。
  2. 极客学院视频 : 用来抓取极客学院网站的8000多个视频名字和链接地址等, 主要看点是带cookie请求和多页面抓取。
  3. 豆瓣电影Top250 : 用来抓取豆瓣上排名前250名的电影, 主要看点是CrawlSpider爬虫类的使用, Rule的使用方法, 以及Scrapy自带的图片下载。
  4. “一个”整站爬取 : 用来抓取“一个”上的图片, 名言, 文章和问答, 主要看点是多页面, 多Item和图片下载。

项目代码, 点我下载。

未完待续…