发表于 | 分类于 | | 阅读次数

一. 基本用法

1. 用以下命令开始一个Scrapy项目

$ scrapy startproject Tutorial

2. 在项目根目录下, 查看可用的爬虫模板

$ scrapy gensipder --list

Available templates:
basic 
crawl
csvfeed
xmlfeed

如上图所示, 基本可用的爬虫模板有basic, crawl, csvfeed, xmlfeed, 分别对应基本的模板, 基于CrawlSpider类的爬虫模板, 和用于特定处理 csv 和 xml 的爬虫模板

阅读全文 »

发表于 | 分类于 | | 阅读次数

一直想写一个系列博客, 也一直想总结一下自己学习Scrapy遇到的坑和学习到的姿势, 所以有了一下几篇Scrapy的系列博客, 如有错误欢迎指出 ：）
  1. Scrapy爬虫系列之StackOverFlow
  2. Scrapy爬虫系列之极客学院视频
  3. Scrapy爬虫系列之豆瓣电影Top250
  4. Scrapy爬虫系列之一个整站爬取

其中每篇文章侧重点都不相同

每篇的侧重如下所示:

阅读全文 »

发表于 | 分类于 | | 阅读次数

和上篇博文经历类似, 批量修改文件名字. : )

不多说, 看图, 程序运行之前:

enter image description here

程序要做的事情呢, 就是挖出”[]”中的集数, 并用 “第[]集”来修改文件名字. 下面是Python的实现.

阅读全文 »

发表于 | 分类于 | | 阅读次数

　　近期下载了很多各种教程, 但是不幸的是后缀名都是 “.mp4”, 而本人喜欢 “.rmvb” 后缀，由于有轻微洁癖, 受不了后面的 “.mp4” 缀, 但是手动修改又太过繁琐, 所以用近期刚学的 Python 来偷懒吧 ! : )

如图为程序运行前的文件名
enter image description here

我们要做的呢, 就是在当前目录下，新建一个python文件, 如上图 demo2.py 然后用编辑器打开敲入如下代码:

阅读全文 »

发表于 | 分类于 | | 阅读次数

近日, 在浏览伯乐在线的时候碰到一些很不错的资源： 25本免费的Python电子书

如下图：

其中，每本都是以名字+超链接的方式，于是激起了我写个小程序保存这些资源的欲望，顺便也能练习一些不太熟练的小爬虫 : ) 。 好了，我们开始吧！

阅读全文 »