下面是内存溢出 jb51.cc 通过网络收集整理的代码片段。
内存溢出小编现在分享给大家,也给大家做个参考。
import urllib.requestimport reimport osimport sysfrom collections import dequeif __name__ == "__main__": url = "http://www.tuigirl8.com/forum/vIEw/" queue = deque() for i in range(1,2000): queue.append(url+str(i)) cnt = 0 while queue: url = queue.popleft() print(str(cnt)+url) cnt += 1 targetDir = r"D:/%d"%cnt if not os.path.isdir(targetDir): os.mkdir(targetDir) req = urllib.request.Request(url) try: webpage = urllib.request.urlopen(req,timeout=2) contentBytes = webpage.read() except: continue linkre = re.compile(r'(http:[^\s]*?(jpg|gif|png))') for link,t in linkre.findall(str(contentBytes)): print(link) pos = link.rindex('/') t = os.path.join(targetDir,link[pos+1:]) urllib.request.urlretrIEve(link,t)
以上是内存溢出(jb51.cc)为你收集整理的全部代码内容,希望文章能够帮你解决所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。
总结以上是内存溢出为你收集整理的抓取tuigirl图片全部内容,希望文章能够帮你解决抓取tuigirl图片所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错,欢迎将内存溢出网站推荐给程序员好友。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)