如何在python配置动态转发代理?

如何在python配置动态转发代理?,第1张

你好,首先你需要一个middlewares.py,如下:

import random

# 导入settings文件中的UAPOOL

from settings import UAPOOL

# 导入官方文档对应的HttpProxyMiddleware

from scrapy.contrib.downloadermiddleware.useragent import UserAgentMiddleware

class Uamid(UserAgentMiddleware):

# 初始化 注意一定要user_agent,不然容易报错

def __init__(self, user_agent=''):

self.user_agent = user_agent

# 请求处理

def process_request(self, request, spider):

# 先随机选择一个用户代理

thisua = random.choice(UAPOOL)

print("当前使用User-Agent是:"+thisua)

request.headers.setdefault('User-Agent',thisua)

在settings.py文件中添加用户UserAgent的信息

# 设置用户代理池,那些动态代理就放到这里了

UAPOOL= [

"Mozilla/5.0 (Windows NT 10.0WOW64rv:52.0) Gecko/20100101 Firefox/52.0",

"Mozilla/5.0 (Windows NT 10.0Win64x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.115 Safari/537.36",

"Mozilla/5.0 (Windows NT 10.0Win64x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393"

]

服务器端创建2个soket对象分别绑定不同的端口用于和A,B连接, 然后将recv到A的数据send给B。

python实现一个客户端与服务端的通信 Socket对象方法: 服务端: 使用socket函数来创建一个socket对象,并设置一个socket服务。

Python是一种解释型脚本语言,其在设计上也坚持了清晰划一的风格,这使得Python成为易读、易维护的语言。相比于其他语言,Python中的语言语法和语义要简单得多,而且代码也具有可读性。在大多数情况下,为了解决某一特定的问题,Python编写所需代码,要比其他流行语言所需的代码少得多。因此,对于新手来说,Python是一种很容易上手,并便于维护的语言。


欢迎分享,转载请注明来源:内存溢出

原文地址: http://outofmemory.cn/yw/11839441.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023-05-19
下一篇 2023-05-19

发表评论

登录后才能评论

评论列表(0条)

保存