在日常工作中,做很多数据处理的时候经常会遇到一些请求或数据需要重复执行多次,数据量大了很耗时,针对性看了下并发的方法,目前仅多线程,后续有多进程、多协程 更新
单线程对比多线程方法
@H_419_7@import blog_spIDerimport threadingimport timedef single_thread(): for url in blog_spIDer.urls: blog_spIDer.craw(url)def multi_thread(): print("multi_thread begin") threads = [] for url in blog_spIDer.urls: threads.append( threading.Thread(target=blog_spIDer.craw,args=(url,)) ) for thread in threads: thread.start() for thread in threads: thread.join() print("multi_thread end")if __name__ == '__main__': start = time.time() single_thread() end = time.time() print("single_thread cost:",end - start,"s") start = time.time() multi_thread() end = time.time() print("multi_thread cost:",end - start,"s")
饮水思源:代码取自网络上的视频
总结以上是内存溢出为你收集整理的Python 多线程并发全部内容,希望文章能够帮你解决Python 多线程并发所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)