Scrapy用法基本介绍

发表于 2016-01-27 分类于 Scrapy爬虫系列 Disqus：

一. 基本用法

$ scrapy startproject Tutorial

$ scrapy gensipder --list

Available templates:
basic 
crawl
csvfeed
xmlfeed

如上图所示, 基本可用的爬虫模板有basic, crawl, csvfeed, xmlfeed, 分别对应基本的模板, 基于CrawlSpider类的爬虫模板, 和用于特定处理 csv 和 xml 的爬虫模板

发表于 2016-01-27 分类于 Scrapy爬虫系列 Disqus：

一直想写一个系列博客, 也一直想总结一下自己学习Scrapy遇到的坑和学习到的姿势, 所以有了一下几篇Scrapy的系列博客, 如有错误欢迎指出：）

其中每篇文章侧重点都不相同

每篇的侧重如下所示:

发表于 2016-01-25 分类于 Python Disqus：

和上篇博文经历类似, 批量修改文件名字. : )

不多说, 看图, 程序运行之前:

enter image description here

程序要做的事情呢, 就是挖出”[]”中的集数, 并用 “第[]集”来修改文件名字. 下面是Python的实现.

发表于 2016-01-24 分类于 Python Disqus：

　　近期下载了很多各种教程, 但是不幸的是后缀名都是 “.mp4”, 而本人喜欢 “.rmvb” 后缀，由于有轻微洁癖, 受不了后面的 “.mp4” 缀, 但是手动修改又太过繁琐, 所以用近期刚学的 Python 来偷懒吧 ! : )

如图为程序运行前的文件名
enter image description here

我们要做的呢, 就是在当前目录下，新建一个python文件, 如上图 demo2.py 然后用编辑器打开敲入如下代码:

发表于 2015-11-27 分类于 Python Disqus：

近日, 在浏览伯乐在线的时候碰到一些很不错的资源： 25本免费的Python电子书

如下图：

其中，每本都是以名字+超链接的方式，于是激起了我写个小程序保存这些资源的欲望，顺便也能练习一些不太熟练的小爬虫 : ) 。好了，我们开始吧！