Python 爬小说灵棺夜行

概述Python 爬小说灵棺夜行

下面是内存溢出 jb51.cc 通过网络收集整理的代码片段。

内存溢出小编现在分享给大家，也给大家做个参考。

import urllib.requestimport http.cookiejarimport socketimport timeimport retimeout = 20socket.setdefaulttimeout(timeout)sleep_download_time = 10 time.sleep(sleep_download_time)def makeMyOpener(head = {    'Connection': 'Keep-Alive','Accept': 'text/HTML,application/xhtml+xml,*/*','Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3','User-Agent': 'Mozilla/5.0 (windows NT 6.3; WOW64; TrIDent/7.0; rv:11.0) like Gecko'}):    cj = http.cookiejar.cookieJar()    opener = urllib.request.build_opener(urllib.request.httpcookieProcessor(cj))    header = []    for key,value in head.items():        elem = (key,value)        header.append(elem)    opener.addheaders = header    return openerdef savefile(save_path,txts):    f_obj = open(save_path,'w+')    for item in txts:        f_obj.write(item+'\n')    f_obj.close()#get_code_Listcode_List='http://www.cishuge.com/read/0/771/'oper = makeMyOpener()uop = oper.open(code_List,timeout=1000)data = uop.read().decode('gbk','ignore')pattern = re.compile('<li><a href="(.*?)".*?>(.*?)</a></li>',re.S)items = re.findall(pattern,data)print ('获取列表完成')url_path='url_file.txt'url_r=open(url_path,'r')url_arr=url_r.readlines(100000)url_r.close()print (len(url_arr))url_file=open(url_path,'a')print ('获取已下载网址')for tmp in items:    save_path = tmp[1].replace(' ','')+'.txt'    url = code_List+tmp[0]    if url+'\n' in url_arr:        continue    print('写日志：'+url+'\n')    url_file.write(url+'\n')    opene = makeMyOpener()    op1 = opene.open(url,timeout=1000)    data = op1.read().decode('gbk','ignore')    opene.close()    pattern = re.compile('&nbsp;&nbsp;&nbsp;&nbsp;(.*?)<br />',re.S)    txts = re.findall(pattern,data)    savefile(save_path,txts)url_file.close()

以上是内存溢出(jb51.cc)为你收集整理的全部代码内容，希望文章能够帮你解决所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。

总结

以上是内存溢出为你收集整理的Python 爬小说灵棺夜行全部内容，希望文章能够帮你解决Python 爬小说灵棺夜行所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。