Python抓取网页的性能问题

Python抓取网页的性能问题 - 熊猫凶猛 - 博客园

Python抓取网页的性能问题

抓取网页过程中，软件的性能瓶颈当然是网络连接，这是第一时间可以想到的。此外，通过cProfile.run和pstats.Stats，也可以清楚地看出来。一般来说，可以通过下面几个方法来解决这个问题：

1. 通过threading与multiprocessing来解决，例如
   

   欢迎分享，转载请注明来源：内存溢出

   原文地址: http://outofmemory.cn/zaji/2089548.html