如何用爬虫爬取网页上的数据

用爬虫框架Scrapy， 三步

定义item类

开发spider类

开发pipeline

如果你想要蠢差更透的信息，你可以参考正档禅《疯举尘狂python讲义》

IDE选用这里推荐两款常用的 IDE，可以按照自己的条件和场景来选择。PyCharmPyCharm 是由 JetBrain 的人员制作的 IDE，该团队负责最着名的 Java IDE，IntelliJ IDEA之一。PyCharm 的界面和功能对于那些有使用过其他 JetBrain 产品的人来说，是完美的。 此外，如果您喜欢 IPython 或 Anaconda 发行版，那么 PyCharm 可以将其工具和库（如NumPyMatplotlib）集成在一起，从而让您可以使用数组查看器和交互式图表。Thonny现在的开发工具太多了，而且每个开发工具都致力于做成最好用最智能的工具，所以功能越堆越多，越怼越智能。安装这些开发工具比较烧脑，经常需要经过许多配置步骤。作为一个 Python 开发者来说，好多人光是这些配置都要弄半天。配置好之后，打开软件，发现满屏都是菜单、按钮，无从下手，学习这些功能使用又是一大难题。这是一款对初学者特别友好的开发 IDE，它是由爱沙尼亚的 Tartu 大学开发，十分易于上手，还支持插件。如果你有编程基础，会其他编程语言，那么建议你用Pycharm。如果你是编程小白，或者零基础上手，那么建议你用Thonny。入门首先要学习Python基础知识，直接上课程：Python 环境搭建Python 基础语法Python 变量与数据类型Python 流程控制Python函数Python 模块和包Python 数据结构--序列Python ListPython tupplePython 类与对象Python 字典Python 集合Python 函数的参数Python 高阶函数Python 输入输出Python 错误和异常Python 之引用Python 之迭代器Python 之装饰器Python NameSpace &ScopePython Standard Library 01Python Standard Library 02Python datetime 和 timePython 垃圾回收机制Python 到底是值传递还是引用传递Python 之对象的比较与拷贝进阶通过上面基础知识的学习，相信你已经知道Python是个什么玩意了，对它也有一拦卖个初步的了解，对它的入门知识点也有些印象了。这时候你需要进阶学习，在入门的基础上更进一步。下面就从 Python 模块、Python爬虫基础、Python Web开发、Python 数据库 *** 作、Python 数据分析及数据科学、Python IO及异步、Python网络编程、Python图像处理、Python 办公、Python 机器学习、Python 可视化 这些Python的基础大类来进行深入学习。Python 模块Python os 模块详解Python shutil 模块Python sys 模块详解Python queue 模块详解Python collections 模块Python random 模块Python logging 模块详解Python 枚举Python json&picklepathlib 模块Python calendar 模块Python math 模块Python decimal 模块Python itertools 模块Python statistics 模块Python operator 模块Python paramiko 模块Python filecmp&difflib模块初识 Python 多线程Python 多线程消闷之 threading 模块Python Queue 进阶用法Python multiprocessing 模块Python 线程池Python 多线程 EventPython爬虫基础爬虫介绍Python 爬虫之 urllib 包拿衡弯基本使用Python 用户登录 Flask-LoginPython Requests 库的基本使用Python Requests 库高级用法正则表达式XPath 和 lxml爬虫利器 Beautiful Soup 之遍历文档PyQuery 详解爬虫利器 Beautiful Soup 之搜索文档Selenium 环境配置Selenium详解Python Scrapy 爬虫框架及搭建Python Scrapy 项目实战PySpider框架的使用Scrapy 模拟登陆Python 解析 XML爬取微信公众号文章内容Python 爬取豆瓣电影 top 250Python newspaper 框架Python Web开发Web 开发 Flask 介绍Web开发 Jinja2模板引擎Flask 框架集成BootstrapWeb表单Flask数据持久化Web 开发 RESTfulPython Web开发 Django 简介Python Django 模型概述与应用HTTP 入门Python Web 开发之 JWT 简介Python Web开发 OAuth2.0 简介OAuth2.0 客户端实战Flask 单元测试Web 开发 Django 管理工具Web 开发 Django 模板Flask 项目结构Python 数据库 *** 作Python *** 作 Redis 数据库介绍Python *** 作 SQLitePython *** 作 MongoDB 数据库介绍Python *** 作 MySQLPython SQLAlchemyPython 数据分析及数据科学数据分析之 Numpy 初步NumPy Ndarray 对象及数据类型NumPy 字符串 *** 作NumPy 数学函数NumPy 统计函数NumPy 排序和筛选函数NumPy 位运算与算术函数数据分析之 pandas 初步NumPy 矩阵Numpy 中数组和矩阵的区别Python IO及异步文件读写StringIO &BytesIOPython asyncioPython异步之aiohttpPython网络编程TCP 编程UDP 编程Python图像处理图像库 PIL（一）图像库 PIL（二）图像库 PIL 实例—验证码去噪Python 办公Python *** 作 ExcelPython *** 作 WordPython 解析 PDFPython *** 作 CSVPython 机器学习机器学习概览第 112 天：机器学习算法之蒙特卡洛Python XGBoost 算法项目实战三木板模型算法项目实战第116天：机器学习算法之朴素贝叶斯理论机器学习算法之 K 近邻第120天：机器学习算法之 K 均值聚类机器学习之决策树Python 可视化Python matplotlib introductionPython Matplotlib 进阶 *** 作Seaborn-可视化统计关系Seaborn-可视化分类数据Seaborn-可视化数据集的分布实战Python的知识点学完了之后，并不代表学完了。这只能代表你会Python了，并不能表示你可以去找工作、你可以去接单了。因为你还缺乏实战练习，这个阶段需要你能从一个实际需求中进行建模，然后用Python去实现模型，得到预期的结果。这里列一些贴近工作生活实际的小项目，每个项目都能让你学习到如何进行需求建模，如何用代码去实现，去解决实际的问题。解析百度网盘链接：几行代码，网盘链接提头来见！揭露出轨女友：女友加班发自拍，男友用几行代码发现惊天秘密...爬取小程序：不能爬小程序，叫什么会爬虫解密当代女性胸围：我半夜爬了严选的女性文胸数据，发现了惊天秘密制作签名软件：牛逼！用Python为她设计专属签名软件！识别车牌：如何用 Python 识别车牌？追女神：用Python助女神发朋友圈下载知乎美女图片：Python 抓取知乎几千张小姐姐图片是什么体验？炒股赚钱：一份代码帮我赚了10万写小游戏：不到 150 行代码写一个 Python 版的贪吃蛇抠图无烦恼：Python装逼指南——五行代码实现批量抠图跟踪房价数据：看我如何抓取最新房价数据跟女友恶作剧：女友电脑私存撕葱帅照，我用python偷梁换柱...自动抢红包：强大！用 60 行代码自动抢微信红包下载B站视频：使用 Python 下载 B 站视频更多精彩可以关注我的专栏：我是@无欢不散，看到这里的朋友请帮忙点个赞，也可以关注 @无欢不散 不迷路。

java爬虫即使用java编写的网络爬虫程序。

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更碰戚经常的称为网页追逐者），是一种按照一定的规则，自动的抓取万维网信息烂局的程序或者脚饥吵让本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫。

---