python3爬虫中多线程环境如何搭建?

python3爬虫中多线程环境如何搭建?,第1张

python3爬虫中多线程环境如何搭建

这几天关于多线程大大小小的优势与不足的地方,小伙伴们也大致了解到了,想必很多人都下决心一定要用好多线程这个模块。在开始进行各种 *** 作之前,我们需要先把多线程所要使用的环境先搭建好,为了照顾python初学者,小编经过筛选出了最简单,代码最简洁的方法,相信小伙伴们一看就可以学习。那么到底怎么搭建多线程环境呢?让我们往下看:


开发环境:

ubuntu16.04,python3.6,bs4,virtualenv(虚拟环境)


创建虚拟环境:

创建项目文件夹,并为项目创建虚拟环境,利用pip安装相关包

mkdir mutiThreadCrawier
cd  mutiThreadCrawier
mkdir content #存爬下来的页面
virtualenv env --python =python3.6 #创建虚拟环境
source env/bin/activate   #使虚拟环境生效


导包:

import time
import re
import threading
import urllib
import requests
from bs4 import BeautifulSoup


以上的三个代码经过小编测试都是没有问题的,小伙伴们可以直接拿去搭建。如果有不怕麻烦的,也可以尝试其他不同的搭建方法。更多Python学习指路:PyThon学习网教学中心。

欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/zaji/3014320.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022-09-28
下一篇 2022-09-28

发表评论

登录后才能评论

评论列表(0条)

保存