c#爬虫用什库最好

c#爬虫用什库最好,第1张

c#爬虫用多种库结合使用最好。爬虫即网络爬虫,需要有丰富的网络抓取模块,常用的库有请求库,解析库,数据库,存储库,web库,app爬取相关库等,每个库包括非常多的不同功能的库,没有哪个库最好,好的技术是需要多种硬件共同使用的。

aiohttp:是纯粹的异步框架,同时支持HTTP客户端和服务端,可以快速实现异步爬虫,并且其中的aiohttp解决了requests的一个痛点,它可以轻松实现自动转码,对于中文编码就很方便了。

asks:Python自带一个异步的标准库asyncio,但这个库很多人觉得并不好用,而里面的ask则是封装了curio和trio的一个http请求库。用起来和

Requests 90%相似,新手也可以很快上手。

vibora:号称是现在最快的异步请求框架,跑分是最快的。写爬虫、写服务器响应都可以用。但这个项目一直在重构,现在页面上还挂着项目正在重构的警告,使用需谨慎。

Pyppeteer:是异步无头浏览器,从跑分来看比Selenium+webdriver快,使用方式是最接近于浏览器的自身的设计接口的。它本身是来自

Google维护的puppeteer,但是按照Python社区的梗,作者进行了封装并且把名字中的u改成了y。

下面为大家介绍一下框架:

Grab:是很流行的渐进式框架,Grab可以说是爬虫界的渐进式框架,又十分简单的用法,封装的也很好,是基于生成器异步的设计。

botflow:概念很新颖,定位成了处理数据工作流的框架,可以用来爬虫、机器学习、量化交易等等。

ruia:比较接近Scrapy的使用方式,异步设计。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/sjk/9420827.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-04-28
下一篇 2023-04-28

发表评论

登录后才能评论

评论列表(0条)

保存