如果你使用 ubuntu,依赖以下二进制包:apt-get install python python-dev python-distribute python-pip libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml
启动 : pyspider all
脚本编辑:on_start 是脚本执行的入口, 点击run 会被调用
@every 表示这个任务是定时执行
self.crawl: 用于控制抓取连接, 使用callback = self.index_page指定用哪个函数解析抓取到的页面
def index_page(self