Python 多线程爬取西刺代理

概述西刺代理是一个国内IP代理，由于代理倒闭了，所以我就把原来的代码放出来供大家学习吧。 镜像地址：https://www.blib.cn/url/xcdl.html 首先找到所有的tr标签，与class

西刺代理是一个国内IP代理，由于代理倒闭了，所以我就把原来的代码放出来供大家学习吧。

镜像地址：https://www.blib.cn/url/xcdl.html

首先找到所有的tr标签，与的标签，然后提取出来。

然后再依次找到tr标签里面的所有td标签，然后只提取出里面的[1,2,5,9]这四个标签的位置，其他的不提取。

最后可以写出提取单一页面的代码，提取后将其保存到文件中。

@H_403_20@import sys,re,threadingimport requests,lxmlfrom queue import Queueimport argparsefrom bs4 import BeautifulSouphead = {"User-Agent": "Mozilla/5.0 (windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML,like Gecko) Chrome/80.0.3987.100 Safari/537.36"}if __name__ == "__main__": ip_List=[] fp = open("SpIDerAddr.Json","a+",enCoding="utf-8") url = "https://www.blib.cn/url/xcdl.HTML" request = requests.get(url=url,headers=head) soup = BeautifulSoup(request.content,"lxml") data = soup.find_all(name="tr",attrs={"class": re.compile("|[^odd]")}) for item in data: soup_proxy = BeautifulSoup(str(item),"lxml") proxy_List = soup_proxy.find_all(name="td") for i in [1,9]: ip_List.append(proxy_List[i].string) print("[+] 爬行列表: {} 已转存".format(ip_List)) fp.write(str(ip_List) + '\n') ip_List.clear()

爬取后会将文件保存为 SpIDerAddr.Json 格式。

最后再使用另一段代码，将其转换为一个SSR代理工具直接能识别的格式，{'http': 'http://119.101.112.31:9999'}

@H_403_20@import sys,lxmlfrom queue import Queueimport argparsefrom bs4 import BeautifulSoupif __name__ == "__main__": result = [] fp = open("SpIDerAddr.Json","r") data = fp.readlines() for item in data: dic = {} read_line = eval(item.replace("\n","")) Protocol = read_line[2].lower() if Protocol == "http": dic[Protocol] = "http://" + read_line[0] + ":" + read_line[1] else: dic[Protocol] = "https://" + read_line[0] + ":" + read_line[1] result.append(dic) print(result)

完整多线程版代码如下所示。

@H_403_20@import sys,like Gecko) Chrome/80.0.3987.100 Safari/537.36"}class AgentSpIDer(threading.Thread): def __init__(self,queue): threading.Thread.__init__(self) self._queue = queue def run(self): ip_List=[] fp = open("SpIDerAddr.Json",enCoding="utf-8") while not self._queue.empty(): url = self._queue.get() try: request = requests.get(url=url,headers=head) soup = BeautifulSoup(request.content,"lxml") data = soup.find_all(name="tr",attrs={"class": re.compile("|[^odd]")}) for item in data: soup_proxy = BeautifulSoup(str(item),"lxml") proxy_List = soup_proxy.find_all(name="td") for i in [1,9]: ip_List.append(proxy_List[i].string) print("[+] 爬行列表: {} 已转存".format(ip_List)) fp.write(str(ip_List) + '\n') ip_List.clear() except Exception: passdef StartThread(count): queue = Queue() threads = [] for item in range(1,int(count)+1): url = "https://www.xicIDaili.com/nn/{}".format(item) queue.put(url) print("[+] 生成爬行链接 {}".format(url)) for item in range(count): threads.append(AgentSpIDer(queue)) for t in threads: t.start() for t in threads: t.join()# 转换函数def ConversionAgentIP(filename): result = [] fp = open(filename,"")) Protocol = read_line[2].lower() if Protocol == "http": dic[Protocol] = "http://" + read_line[0] + ":" + read_line[1] else: dic[Protocol] = "https://" + read_line[0] + ":" + read_line[1] result.append(dic) return resultif __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument("-p","--page",dest="page",help="指定爬行多少页") parser.add_argument("-f","--file",dest="file",help="将爬取到的结果转化为代理格式 SpIDerAddr.Json") args = parser.parse_args() if args.page: StartThread(int(args.page)) elif args.file: dic = ConversionAgentIP(args.file) for item in dic: print(item) else: parser.print_help() 总结

以上是内存溢出为你收集整理的Python 多线程爬取西刺代理全部内容，希望文章能够帮你解决Python 多线程爬取西刺代理所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。