python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)

MySQL

是一个关系型数据库管理系统，由瑞典MySQLAB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS(RelationalDatabaseManagementSystem，关系数据库管理系统)应用软件。

MySQL是一种关系数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。

MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，尤其是开放源码这一特点，一般中小型网站的开发都选择MySQL作为网站数据库。

：《Python基础教程》

应用环境

与其他的大型数据库例如Oracle、DB2、SQLServer等相比，MySQL自有它的不足之处，但是这丝毫也没有减少它受欢迎的程度。对于一般的个人使用者和中小型企业来说，MySQL提供的功能已经绰绰有余，而且由于MySQL是开放源码软件，因此可以大大降低总体拥有成本。

MongoDB

是一个基于分布式文件存储的数据库。由C语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。

MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。

特点

它的特点是高性能、易部署、易使用，存储数据非常方便。主要功能特性有：

面向集合存储，易存储对象类型的数据。

mongodb集群参考

模式自由。

支持动态查询。

支持完全索引，包含内部对象。

支持查询。

支持复制和故障恢复。

使用高效的二进制数据存储，包括大型对象（如视频等）。

自动处理碎片，以支持云计算层次的扩展性。

支持RUBY，PYTHON，JAVA，C，PHP，C#等多种语言。

文件存储格式为BSON（一种JSON的扩展）。

可通过网络访问。

在使用GitHub API爬取数据时，是否需要建立数据库取决于您的需求和数据量。如果您只需要获取少量数据，可以直接将其存储在内存中或者写入本地文件中。但是，如果您需要获取大量数据或者需要对数据进行复杂的处理和分析，建立数据库可以更好地管理和组织数据，并且可以提高数据的查询和处理效率。此外，建立数据库还可以方便地对数据进行备份和恢复，确保数据的安全性和可靠性。因此，建立数据库可以提高数据的管理和利用效率，但也需要考虑到数据库的维护和管理成本。

爬虫推荐mongodb：

好处如下：

数据结构利于保存和提取

适合提供便利的restapi

数据量过大可以分库存储

1、Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。它是很强大的爬虫框架，可以满足简单的页面爬取，比如可以明确获知url pattern的情况。用这个框架可以轻松爬下来如亚马逊商品信息之类的数据。但是对于稍微复杂一点的页面，如weibo的页面信息，这个框架就满足不了需求。

2、pyspider

是一个用python实现的功能强大的网络爬虫系统，能在浏览器界面上进行脚本的编写，功能的调度和爬取结果的实时查看，后端使用常用的数据库进行爬取结果的存储，还能定时设置任务与任务优先级等。

3、Crawley可以高速爬取对应网站的内容，支持关系和非关系数据库，数据可以导出为JSON、XML等。

4、Portia是一个开源可视化爬虫工具，可让使用者在不需要任何编程知识的情况下爬取网站!简单地注释自己感兴趣的页面，Portia将创建一个蜘蛛来从类似的页面提取数据。简单来讲，它是基于scrapy内核;可视化爬取内容，不需要任何开发专业知识;动态匹配相同模板的内容。

5、Grab是一个用于构建Web刮板的Python框架。借助Grab，您可以构建各种复杂的网页抓取工具，从简单的5行脚本到处理数百万个网页的复杂异步网站抓取工具。Grab提供一个API用于执行网络请求和处理接收到的内容，例如与HTML文档的DOM树进行交互。

有些违法，有些合法。

如果爬取对象是提供公开查询服务的网站，如中国政府网、最高人民法院裁判文书网等，是可以抓取的。

公开指的是对大众公开，对所有人公开的信息，并不是特定人群才能看到的信息。

如果爬取对象是各类商业服务网站，这类网站没有设置反爬声明，也没有采取反爬技术措施的，则也是可以爬取的。

如果你只是想学简单的爬虫抓取技术的话就比较简单了，无非就是学习网页的请求、解析、筛选、保存。

具体的学习大致如下：

1、学会Python基本语法

2、学习爬虫常用库，如urllib, >

一、公开数据库

常用数据公开网站：

UCI：经典的机器学习、数据挖掘数据集，包含分类、聚类、回归等问题下的多个数据集。很经典也比较古老，但依然活跃在科研学者的视线中。

国家数据：数据来源中华人民共和国国家统计局，包含了我国经济民生等多个方面的数据，并且在月度、季度、年度都有覆盖，全面又权威。

亚马逊：来自亚马逊的跨科学云数据平台，包含化学、生物、经济等多个领域的数据集。

figshare：研究成果共享平台，在这里可以找到来自世界的大牛们的研究成果分享，获取其中的研究数据。

github：一个非常全面的数据获取渠道，包含各个细分领域的数据库资源，自然科学和社会科学的覆盖都很全面，适合做研究和数据分析的人员。

二、利用爬虫可以获得有价值数据

这里给出了一些网站平台，我们可以使用爬虫爬取网站上的数据，某些网站上也给出获取数据的API接口，但需要付费。

1财经数据，2网贷数据；3公司年报；4创投数据；5社交平台；6就业招聘；7餐饮食品；8交通旅游；9电商平台；10影音数据；11房屋信息；12购车租车；13新媒体数据；14分类信息。

三、数据交易平台

由于现在数据的需求很大，也催生了很多做数据交易的平台，当然，出去付费购买的数据，在这些平台，也有很多免费的数据可以获取。

优易数据：由国家信息中心发起，拥有国家级信息资源的数据平台，国内领先的数据交易平台。平台有B2B、B2C两种交易模式，包含政务、社会、社交、教育、消费、交通、能源、金融、健康等多个领域的数据资源。

数据堂：专注于互联网综合数据交易，提供数据交易、处理和数据API服务，包含语音识别、医疗健康、交通地理、电子商务、社交网络、图像识别等方面的数据。



四、网络指数

百度指数：指数查询平台，可以根据指数的变化查看某个主题在各个时间段受关注的情况，进行趋势分析、舆情预测有很好的指导作用。除了关注趋势之外，还有需求分析、人群画像等精准分析的工具，对于市场调研来说具有很好的参考意义。同样的另外两个搜索引擎搜狗、360也有类似的产品，都可以作为参考。

阿里指数：国内权威的商品交易分析工具，可以按地域、按行业查看商品搜索和交易数据，基于淘宝、天猫和1688平台的交易数据基本能够看出国内商品交易的概况，对于趋势分析、行业观察意义不小。

友盟指数：友盟在移动互联网应用数据统计和分析具有较为全面的统计和分析，对于研究移动端产品、做市场调研、用户行为分析很有帮助。除了友盟指数，友盟的互联网报告同样是了解互联网趋势的优秀读物。

五、网络采集器

网络采集器是通过软件的形式实现简单快捷地采集网络上分散的内容，具有很好的内容收集作用，而且不需要技术成本，被很多用户作为初级的采集工具。

造数：新一代智能云爬虫。爬虫工具中最快的，比其他同类产品快9倍。拥有千万IP，可以轻松发起无数请求，数据保存在云端，安全方便、简单快捷。

火车采集器：一款专业的互联网数据抓取、处理、分析，挖掘软件，可以灵活迅速地抓取网页上散乱分布的数据信息。

八爪鱼：简单实用的采集器，功能齐全， *** 作简单，不用写规则。特有的云采集，关机也可以在云服务器上运行采集任务。

以上就是关于python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)全部的内容，包括:python把爬到的数据放到数据库(python爬虫怎么把爬的数据写进文件里)、githubapi爬数据需要建数据库吗、爬虫的数据库选型，redis，leveldb，mongodb，mysql 选哪个等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！