python爬虫遇到附件防盗链怎么办

一 首先要了解什么是盗链
盗链是指服务提供商自己不提供服务的内容，通过技术手段绕过其它有利益的最终用户界面（如广告），直接在自己的网站上向最终用户提供其它服务商的服务内容，骗取最终用户的浏览和点击率。受益者不提供资源或者提供很少的资源，而真正的服务提供商却得不到任何的利益。
最熟悉的，就是盗版网络小说网站，可能盗链起点中文网等的小说内容。
根据盗链的形式，可简单地分成2类，常规盗链和分布式盗链。 常规盗链，只针对某个或某些网站的链接。在自己的页面嵌入别人的链接即可。分布式盗链，互联网上任何一台机器都可成为盗链的对象。服务提供商一般在后台设置专门程序（spider,爬虫）在网上抓取有用的链接，然后存储到自己的数据库中，而对于最终用户的每次访问，都将其转化为对已有数据库的查询。被查询到的URL就是被盗链的对象。由于对文件的访问已经被浏览器屏东掉了，最终用户感觉不到所访问的链接是被的链接。
二 反盗链
原始方式， 修改文件或目录的名称
限制引用页， 仅限自己站内提交，或自己信任的站点提交的。否则视为盗链
文件伪装，用得最多的技术，一般结合服务器动态脚本，。实际上用户请求的文件地址，只是一个经过伪装的脚本文件。这个脚本文件会对用户的请求作认证。一般会检查session,cookie或者>windows server2008+iis75也是较多站长所配置的服务器环境了，而对于自己站点如何防盗链，是在其根目录下 webconfig 中进行配置的，在使用 webconfig 配置各种站点需要的功能时，最好先安装一个 url 重写的模块，这样就可以直接在 url 进行编辑了，非常的方便，windows 下的防盗链和 linux 下还是有很大的不同的，毕竟是两个系统。

1、使用rewrite，需要增加apachemode_rewrite，支持htaccess文件目录权限限制。
2、在虚拟主机根目录增加htaccess文件，描述从定向，把非本地地址refer的文件都从定向到警告或者警告网页上。
3、首先要确认你的服务器或空间的服务器解译引擎为Apache2，还有支持htaccess客户设置文件。

可以使用VirtualWall防盗链专家
“防盗链专家”是一个为微软 IIS 服务器编写的一款优秀的防盗链软件。 该程序免费提供给个人使用，它能帮助您保护服务器上的资源不被盗链下载。 每 10000 个请求处理仅需 500 毫秒。 特有下载线程限制，您可以指定每个用户的最大下载线程，反击一切霸道下载行为。 甚至您可以指定单个线程的下载速度，有效保证服务器稳定运行。 本程序附带的动态链接强制转换静态链接功能免费提供给大家使用，无须购买。 商业版本无流量限制，终身免费升级。
流媒体是一种比较特殊的文件，他在向服务器发请求的时候是没有 Referer 信息的。所以单纯从 Referer 上是不好做防盗的。
虽然流媒体文件的请求信息里没有 Referer 信息，但是 Cookie 信息是有的。防盗链专家 V20 以后版本开始使用 Cookie 验证技术， 在每个请求里进行特殊的 Cookie 处理，所有处理都是在服务端进行的，所以你无须改造任何页面，也无须包含任何头文件，纯静态 HTML 页面也能做流媒体防盗链。
您只需要简单地通过配置管理工具将被保护的流媒体文件的扩展名填写到保护列表即可。
直接将 VirtualWalldll 加载到您的这个站点即可，无须特殊配置
在 Windows 2003 IIS6 下，需要特殊的权限 IIS Filter 才能被加载。在 IIS6 被安装的时候，IIS6 安装程序创建了一个工作组 IIS_WPG（IIS 工作进程组），起成员大概有 Local Service，Network Service 等。只要给予 IIS Filter 文件所在目录 IIS_WPG 权限 IIS Filter 即可被加载。
注意：
IIS6 不会在重新启动后立即加载 VirtualWalldll，它会在第一次接受请求的处理时加载。所以重新启动后你不会立即看到 VirtualWalldll 所在目录下有 cfgini 配置文件生成。所以您需要：打开浏览器，访问一下捆绑在这个加载了 VirtualWalldll 的站点（任意页面都可以）即可看见 cfgini 生成。转自bbsbitsCNcom

---