| Fiddler
此工具经典且强大,它提供电脑、移动端的抓包,包括http协议和https协议都可以捕获到报文并进行分析,可以设置断点调试、截取报文进行请求替换和数据篡改,也可以进行请求构造,还可以设置网络丢包和延迟进行APP弱网测试等,它的优势就是免费。
| Charles
此工具别名花瓶,它是通过代理实现的抓包,也就是我们在访问网页时配置代理指向Charles监听的端口,之后所有的请求它都会帮我们转发并记录,使用起来也非常简单,配置好代理后,Charles就开始抓包了,我们可以直接通过GUI查看包的内容。但有一点不太好,它是收费的,很多Mac用户都喜欢用这个软件。
| Hping
是最受欢迎和免费的抓包工具之一,允许你修改和发送自定义的ICMP、UDP、TCP和原始IP数据包。此工具由网络管理员用于防火墙和网络的安全审计和测试。其可用于各种平台,包括Windows、MacOs
X、Linux、FreeBSD、NetBSD、OpenBSD和Solaris。
| Ostinato
是一个开源和跨平台网络包生成器和分析工具,带有GUI界面,使其易于使用和理解。它支持Windows、Linux、BSD和Mac OS X平台。
| Wireshark
是一款超级厉害的抓包工具,是从事网络工程师必用工具,也是一款跨平台的工具,Windows、Linux、macOS都可以使用。它不仅可以分析http/https的数据,它还可以分析网络2层以上都可以看到,比如tcp的三次握手等,但是如果你只是分析http协议,可以不用这么专业的工具,以免增加筛选请求成本和学习成本。
| F12
是众多抓包工具中最简单、最轻量级的,因为它是浏览器内置的开发者工具来提供捕获浏览器的数据报文的功能。它免安装,直接打开浏览器就可以直接使用,所有使用非常好上手,适合入门级别的新手学习。
它主要针对HTTP协议和HTTPS协议,可以确认我们的网络数据包的一个状态,通过分析请求和响应报文里面的内容,分析出来请求数据和响应数据是否正确,定位问题是前端问题还是后端问题。而且F12作为浏览器的一部分,是数据收发的一端,抓取到的HTTPs报文是可以得到明文数据的不过因为只能抓当前浏览器的收发报文,层次只能是在应用层Http(s)协议,不能抓取其他的数据报文。
常用的抓包工具有:fiddler抓包工具、Charles抓包工具、Firebug抓包工具、httpwatch抓包工具、Wireshark抓包工具、SmartSniff 抓包工具。1、fiddler抓包工具,是客户端和服务端的http代理,客户端所有的请求都要先经过fiddler,到响应的服务端,然后端返回的所有数据也都要经过fiddler,fiddler也是最常用的抓包工具之一。
2、Charles抓包工具也是比较常用的,和fiddler差不多,请求接口和返回数据的显示方式不一样,Charles是树状结构比较清晰,fiddler是按照时间倒叙排的。
3、Firebug抓包工具是浏览器firefox浏览器自带插件,支持很多种浏览器,直接按f12,就可以打开,用起来比较方便。
4、httpwatch抓包工具是强大的网页数据分析工具,安装简单,不需要设置代理和证书,但只能看不能修改,,集成在Internet Explorer工具栏。
5、Wireshark抓包工具很强大,可以捕捉网络中的数据,并为用户提供关于网络和上层协议的各种信息。但是如果只是抓取http和https的话,还是用fiddler和Charles比较简洁一点。
6、SmartSniff抓包工具是一款方便小巧的 TCP/IP 数据包捕获软件,网络监视实用程序。
无论是开发还是测试,在工作中经常会遇到需要抓包的时候。本篇文章 主要介绍如何在各个平台下,高效的抓包。
目前的抓包软件总体可以分为两类:
一种是设置代理抓取http包,比如Charles、mitmproxy这些软件。
另一种是直接抓取经过网卡的所有协议包,其中最出名就是大名鼎鼎的wireshark以及linux自带的抓包软件tcpdump。
下面重点介绍一下这四个抓包工具的特点以及使用。
wireshark想必大多数程序员都不会陌生。wireshark在各个平台都可以安装使用,它 可以抓取经过指定网卡的所有协议。 wireshark虽然很强大,但是对初学者其实不是很友好。
这也正是由于它太强大,它可以抓取所有包,所以初学者在使用时面对茫茫数据流不知所措。初学者需要认真的去学习怎么过滤得到自己感兴趣的包,但是如果不熟悉wireshark的过滤语法,要过滤数据包将举步维艰。
过滤语法简单介绍
wireshark的过滤语法总结起来其实也很简单,就是 以协议开头,后面可以跟着协议的属性,然后加上一些判断符号, 比如contains、==、>、<等等。比如只想展示http的协议内容,则直接在过滤器输入框中输入http即可。
如下图:
比如我 只想看http协议的请求头中uri包含’/api’的协议,就可以这么写:
如果想通过目标ip或者来源ip来过滤包,就不可以以http协议为前缀了,因为这些是ip协议的相关属性。 通过目标ip来过滤可以这么写:
上面表示目标机器的ip是61.135.217.100并且协议是http的包。
wireshark支持很多种协议,我们可以通过右上角的expression来打开搜索支持的协议,还可以找出协议支持的属性,然后填入期待的值,软件会自动为我们构建过滤语句。
优点:
功能强大,可以抓取所有协议的包
抓到的包容易分析
缺点:
由于线上服务器没有GUI,只有命令行,因此无法在线上服务器使用
无法分析https数据包,由于wireshark是在链路层获取的数据包信息,所以获取到的https包是加密后的数据,因此无法分析包内容。当然,我们可以对https数据包进行解密, 但是 *** 作具有一定的复杂度,可能要消耗很多时间。
tcpdump是linux上自带的一个抓包软件(mac也有),功能强大,也可以抓取经过指定网卡的所有协议包。
由于是命令行工具,tcpdump抓取到的包不易于分析,一个常见的做法是将tcpdump抓到的包输出到某个文件,然后将文件拷贝下来用wireshark分析。
一些简单的过滤参数:
抓包内容输出到文件:
之后我们可以把test.cap直接用wireshark打开,就可以很直观的分析包了。
用tcpdump输出cap文件包:
tcpdump-r test.cap
Charles是一款http抓包工具,它是通过代理来实现的抓包。也就是我们在访问网页时需要配置代理,将代理指向Charles监听的端口,之后我们的http请求都会发向Charles的端口,之后Charles会帮我们转发并记录协议内容。
Charles的使用非常简单,配置好代理后,Charles就开始抓包了。
我们可以直接通过Charles的GUi查看包的内容:
上图中的unknown表示https加密后的数据,所以看到不协议的具体内容。我们可以通过安装Charles的证书,让Charles也可以查看https协议的具体内容。
优点 :
使用简单,只需配置一下代理地址就可以
要抓取https协议的配置也很简单,只要安装下charles的证书就可以了
mitmproxy是python写的一款http抓包工具,虽然只支持http抓包,但是它的特性非常强大,它不仅可以抓包,还可以对请求进行拦截、重现等 *** 作。和Charles一样,它的原理也是基于代理,使用的时候需要设置代理指向它。
mitmproxy是命令行工具,但是也自带了mitmweb工具,可以让用户在网页上 *** 作。另外,mitmproxy还支持用户自行编写插件,可以编写脚本对请求进行处理,然后把修改后的请求发出去。
1、安装
首先需要在机器安装python3以及pip3.之后通过pip3安装
pip3 install mitmproxy
如果安装mitmproxy过程中报错ModuleNotFoundError: No module named '_ssl',就需要安装一下OpenSSL,然后再重新编译安装一下python3。
安装好openSSL后再执行pip3 install mitmproxy
2、使用
安装后,直接在命令行输入mitmproxy就会进入它的交互界面:
这时候mitmproxy已经开始监听8080端口(默认),接着,我们可以去浏览器设置代理。浏览器设置代理的方式有很多,这里不多做介绍。
设置完代理后,访问浏览器的请求都会被发到mitmproxy上,mitmproxy根据规则对请求进行拦截(不配置拦截规则的话则都不拦截),所有经过的请求都会被输出:
在交互界面上可以通过快捷键 *** 作请求。输入问号’?’,可以查看快捷键的文档。
3、下面介绍一些常用的快捷键和功能
① 请求过滤
在请求列表交互界面,按下f键后,可以输入一些过滤规则:
具体的过滤语法可以按下’?‘键后,再按下方向键右’—>’或者l键。
② 请求拦截
按下i键后,可以对指定的请求进行拦截。按mitmproxy收到指定条件的请求时,不会立马把它转发出去,而是等待我们执行resume *** 作后,才会把请求转发出去——在这期间我们甚至可以对请求进行手动修改。
红色字体表示该请求被拦截,之后我们可以按入a键来恢复该请求,可以输入A键恢复所有被拦截的请求。
③ 查看/编辑请求
把指示光标移动到某个请求上,按回车可以查看请求的内容。或者鼠标直接点击请求也可以。
之后通过左右方向键可以查看request、response、detail等信息。
如果要编辑请求,可以在这个界面输入e,然后会让我们选择编辑哪块内容:
之后就会进入vim编辑界面编辑相应的内容了(保存后会生效)。
④ 重发请求
mitmproxy的光标指向某个请求时,按下r键可以重发这个请求(重发前可以对该请求进行编辑)。
按下’:’键后,可以输入命令,这样我们就可以通过过滤规则批量的重发请求
replay.client是mitmproxy内置的一个命令,我们也可以自行编写命令。命令的编写可以参考官网文档,这里不做介绍。
⑤ 插件开发
我们可以编写插件,然后再启动的时候指定插件,mitmproxy处理请求的时候会执行一个插件的链,这样我们就可以对请求进行编辑然后再发送出去了。
借用官网的插件demo:
这个方法对每一个请求进行处理,然后打印序号。通过mitmproxy -s test.py来让插件生效。通过插件可以绑定各种连接事件。感兴趣的朋友可以自行去mitmproxy官网看文档,这里不多做介绍。
⑥ 保存抓到的请求数据
通过w快捷键我们可以把这次抓到的请求包保存到文件上。
通过mitmproxy -r file可以读取以前抓取的请求信息进行分析。
优点:
命令行 *** 作,可以在无GUI界面的服务器上使用
对于这几个抓包神器,我总结了下使用场景:
只抓http协议的话:
推荐使用mitmproxy。mitmproxy丰富的功能不仅可以满足我们的抓包需求,还可以提升我们的工作效率。比如测试可以抓包后一键重发请求来重现bug,开发调试的时候可以修改请求内容等等。
如果是在线上的没有GUI的服务器:
推荐使用tcpdump,虽然mitmproxy也可以支持命令行抓包,但是生产环境的服务器最好不要乱安装第三方插件。另外,大多数服务器都有装tcpdump。我们可以通过把请求的内容输出到文件,然后拷贝会自己的电脑用wireshark分析。
想要抓取http以外的协议的话:
直接上wireshark。功能强大。对于Charles,感觉用了mitmproxy之后,就基本用不上Charles了。Charles好像也可以编辑后再发送,但是感觉不是很好用,可能我用的不是很熟吧。
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)