第一个Scrapy项目

1.scrapy startproject search_baidu #生成爬虫项目

2.scrapy genspider baidu www.baidu.com # 创建爬虫文件

3.scrapy crawl baidu #开始爬虫

注意：因为百度robots禁止爬虫，所以要在setting.py中设置

ROBOTSTXT_OBEY = False(默认是遵守爬虫协议)