python中，进行爬虫抓取怎么样能够使用代理IP

网络数据量越来越大，从网页中获取信息变得越来越困难，如何有效地抓取并利用信息，已成为网络爬虫一个巨大的挑战。下面IPIDEA为大家讲明爬虫代理IP的使用方法。

1 利用爬虫脚本每天定时爬取代理网站上的ip，写入MongoDB或者其他的数据库中，这张表作为原始表。

2 使用之前需要做一步测试，就是测试这个ip是否有效，方法就是利用curl访问一个网站查看返回值，需要创建一张新表，循环读取原始表有效则插入，验证之后将其从原始表中删除，验证的同时能够利用响应时间来计算这个ip的质量，和最大使用次数，有一个算法能够参考一种基于连接代理优化管理的多线程网络爬虫处理方法。

3 把有效的ip写入ip代理池的配置文件，重新加载配置文件。

4让爬虫程序去指定的dailiy的服务ip和端口，进行爬取。

>>> import socket

>>> hostname = socketgethostname()

>>> print hostname

LuciferYanglocal

>>> ip = socketgethostbyname(hostname)

>>> print ip

101018171

>>> ipList = socketgethostbyname_ex(hostname)

>>> print ipList

('luciferyanglocal', [], ['101018171'])

理论上，不是服务器的话不用有直接外网IP到机器，办公室环境或者家庭环境都是局域网环境，外网IP都在路由器上面

ip = '12358230224'

real_ip = open('aatxt','r')read()

if ip == real_ip:

print 'OK'

else:

print 'not'

#open('','r')加个'r'表示读取

以前是有这样的工具，它会通过常用协议去刺探设备类型。比如windows的版本，计算机名等。现在不知道还有没有这样的工具，搜索一下看。

哦。这个应该相当容易了。因为相机是专业设备。所以通常会有一个控制协议。因为是专业的，所以这个socket应该是加密的。 你只需要连接上后，随便发一个命令，如果被断开。很可能就是这个相机了。

另外相机通常都是有MAC地址的。如果你发现它在你预计的MAC地址范围内，也可以知道是它。 相机是专业抓拍的。通常不会放在互联网上，应该是局域网。你可以排除局域网上的其它计算机，自然了也就知道哪些是相机了。

这些都不是难题。你首先扫描所有的IP地址。再扫描它们的端口数量。如果端口数量多通常是计算机，如果端口只有1-2个就是专业设备。扫描不到的，应该就是计算机啦。

试试，并不难。

以上就是关于python中，进行爬虫抓取怎么样能够使用代理IP全部的内容，包括:python中，进行爬虫抓取怎么样能够使用代理IP、python 怎么获取本机的外网ip、python读取txt中的ip地址问题等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！