这是我Python使用培训内容Pyspider框架爬取Scrapy文档
@Author：xinlan
pyspider框架
一、pyspider框架介绍
1.简介
pyspider 这是一个强大的原因python实现的爬虫系统。
- 纯python的
- 强大的webui，支持脚本编辑、任务监控、项目管理和结果检查
- 后台数据支持，MySQL，MongoDB,Reids,SQLite,Elasticsearch,PostgreSQL和SQLAlchemy
- 支持新闻队列，RabbitMQ，Beanstalk，Redis以及Kombu
- 支持任务优先、定期、失败重试等调度方案
- 分布式架构，抓取js页面
- 支持Python2和3
2.安装
pip install pyspider
ubuntu
如果使用ubuntu,请先运行sudo apt update 再运行sudo apt upgrade 更新
apt-get install python python-dev python-distribute python-pip \ libcurl4-openssl-dev libxml2-dev libxslt1-dev python-lxml \ libssl-dev zlib1g-dev 删除wsgidav