简介
疯狂URL 4 是疯狂URL 3的升级版,它除了包含疯狂URL 3几乎全部功能外,还新增了一些其他功能,你可以在下载页面查看差异介绍。总之,疯狂URL 4是一款全新的URL抓源工具,支持绝大多数的网站/app的网络请求和响应分析,和疯狂URL 3一样,大多数用户使用它们捕获媒体源的真实地址
本教程主要针对疯狂URL 4的功能进行介绍,为了简洁性,将主要介绍一些常用和核心功能,其他功能还请自行在使用中摸索,如果你是疯狂URL 3的老用户,那么使用疯狂URL 4将会更简单
快速入门
安装
下载疯狂URL 4 安装包,双击安装
注意:部分浏览器下载时可能需要你添加为保留或信任的,否则可能会误删。安装后若你的杀毒软件误删,请将其安装所在的目录添加为排除项或信任,否则会影响你使用。请放心,我们所有软件均100% 安全
首次启动
首次启动时,我们可能会看到以下提示,请点击确定安装,一直下一步知道完成:
安装完成后就可以重新启动疯狂URL,有些用户可能需要重启电脑
开始使用
场景1 – 抓取某App的直播源
获取App直播源,我们可以用两种方式:
- 模拟器中的App
- 手机上的App (*这种方式需要电脑支持WiFi并能够开启热点)
这里使用手机上的App进行演示,因为如果会使用这种方式,那么模拟器的方式就更容易。这种方式的最重要的一点是需要电脑支持WiFi,并且能够开启热点供手机连接,下面是步骤
手机App直播源获取步骤
1.开启电脑的热点
点击右上角WiFi网络图标,然后可以看到如下所示的移动热点,注意这只有win10及以上的系统才能看到
对于win 7 用户,你可能需要考虑使用第三方WiFi共享软件或使用命令行来开启热点,但有一定的概率会失败
点击移动热点,看到变蓝 ,就开启成功了
查看开启的热点的密码,右键转到设置
在上图红框处可以查看此热点的网络名称(WiFi名称)和密码,然后手机上找到你的WiFi功能,找到这个名称并使用这个密码进行连接,这与连接普通的路由器WiFi没有任何区别
2.捕获手机上某APP直播源
打开疯狂URL-点击左上角的三角形图标(启动按钮),可以看到底部状态栏显示网卡模式运行中,并且有一个WLAN 的后面还有数字一直在增加
解释:
这里的WLAN 表示我的无线网络接口,对于不同的用户可能会有一些区别,在最后场景问题中,会有专门的介绍。对于大多数用户,WiFi 所使用的网络接口都是WLAN
接下来我们就可以打开app进入直播间,此时注意观察疯狂URL 4上的列表会看到很多地址信息
这就是大概的捕获过程,是不是很简单。那如何判断哪些地址是你想要的呢?选中列表中的Type 为video/flv 的URL信息,然后通过右键菜单-打开–使用播放器打开 进行播放预览,就知道是不是你要的了
场景2 – 抓取网站直播源
抓取网站直播源或视频地址同样有两种方式,可根据自己的习惯来选择使用哪一种
网站URL获取方式1 – 代理模式
在疯狂URL 工具栏上,切换捕获模式为代理模式
接下来点击三角形按钮启动代理模式
首次启动会看到如下界面,弹出的安全警告要求你安装CA证书,请点击“是”,否则将无法使用此功能捕获浏览器的网站URL
对于Win 11 用户里面还会提示以下信息,允许疯狂URL 访问网络,请点击允许,否则将无法使用疯狂URL 捕获任意网站的URL
接下来,我们就可以打开浏览器访问你要捕获的网站了,以下是捕获某直播平台的示例
如果在启动代理模式时,启动失败,如出现端口被占用等问题,你只需要将默认的端口9998 改成其他端口即可,直到可用
网站URL获取方式2 – 抓源浏览器
抓源浏览器是疯狂URL 自带的浏览器,它与自带的浏览器有一些优势,比如,不需要代理服务器,网络环境不会有任何影响,URL列表和网站页面更方便管理和控制等等
步骤
1.启动抓源浏览器
点击疯狂URL 工具栏上的抓源浏览器图标
这是默认页面,然后和普通浏览器一样,你只需要在地址栏输入你要捕获的网站地址即可,比如下面的效果
捕获过程中,你可以通过列表上方的筛选来找到你需要的URL,与主界面窗口一样,可以右键播放预览,也可以通过URL上的按钮来播放预览
核心功能介绍
捕获模式
疯狂URL 有3种捕获模式,这3种模式可以覆盖以下多种场景
网卡模式
网卡模式主要获取http/rtmp/rtsp等非SSL/TLS 的协议数据,所以它可以捕获大多数使用使用这些协议的app直播源,目前随着https的流行,一些app原来使用http协议的都已经使用https。即使如此,仍然有一些还在使用http,特别是很多平台仍然使用rtmp协议作为主流的直播协议
该模式目前以TCP协议为主,对于UDP协议,本身也可以提供支持,只是对于UDP而言,很多平台并没有提供可用的URL,所以目前它处理关闭状态
网络接口的选择
默认情况下,启动疯狂URL 时,会自动使用流量最高的网络接口,但这可能不是你要的,那么你可用在左上角切换为指定的网络接口。
对于大都数用户而言,选择网络接口无非是当前正在使用的,比如,当前正在使用WIFI 上网,那么网络接口通常叫 WLAN
如果你使用有线上网(连接网线),那么通常会看到一个叫以太网的接口名称。
网络接口选择技巧:
WIFI 上网选WLAN,有线上网选 以太网
仅捕获手机选 接口描述带有 Microsoft Wi-Fi Direct virtual ….的
仅捕获模拟器选接口 名称以 vEthernet (xxxx) 开头的,其中xxxx 一般是模拟器进程名称,比如逍遥模拟器叫 vEthernet (MEmuSwitch)
总结:不论选哪个接口,即使名称看起来是相似的,但一定是要有流量的,根据流量可以判断是不是你要的接口,如果没有流量,说明这个接口并没有任何网络数据
代理模式
代理模式可以可以捕获使用加密协议的网站,app,也就是https,目前支持HTTP/1.1 ,这也是主流的协议,在未来也有可能会支持HTTP/2.0 。
该模式主要在捕获网站上的URL请求响应信息,但不仅仅是浏览器上的,还包括一些使用web技术的客户端,如Electron 应用。另外,你还可以使用此模式捕获局域网内的其他设备,比如手机、平板上的浏览器或一些支持代理的App。但请注意,这可能需要在相应的设备上安装CA证书,这部分会在后面的常见问题中提供简单介绍
端口设置
了解代理模式的端口号非常重要,在操作系统上,每个应用使用的端口号都不能与其他应用一样,否则会冲突。
在疯狂URL 4上,默认端口是9998,如果此端口已经被其他应用或系统服务占用,那么你在启动代理模式时会报错端口占用,你需要将9998 改成其他端口,端口的可选范围是8000-65535,你可以在此范围内使用未被占用的任意端口
代理模式启动成功后,在疯狂URL 底部状态栏可以看到侦听信息,如下图:
根证书(CA)安装 及代理服务器设置
在使用代理模式的时候,根证书是必须安装的,否则你无法使用此功能捕获任何网站URL
如本文的开头快速入门介绍的,首次安装疯狂URL时,你启动代理模式就会提示你安装它,请点确定 自动安装它即可,如果有安全软件拦截,请放行,否则你无法使用此功能,这是安全的,因为这完全是在你本地进行的。
有时候我们需要捕获手机或平板的网站或app的URL时,我们可能需要在这些移动设备上安装根证书,安装也很简单,相比疯狂URL 3,要省区很多步骤:
安装步骤
iOS 用户 安装根证书
启动疯狂URL 4 代理模式,点击左上角的3条杠菜单,点击菜单中的 下载(CA)根证书
随后弹出以下二维码,此时你可以用手机自带的相机(推荐)扫码,接下来根据扫码提示,从自带浏览器(Safari)中打开这个地址,会提示你尝试下载描述文件,你要允许吗?点击 允许
然后进入设置–VPN与设备管理–找到刚刚下载的证书文件(Titanium Root 开头),然后点击安装它
下一步,打开关于本机–拉到最底部–证书信任设置 – 在列表中找到刚刚安装的证书名称,默认是关闭状态,将其启用即可完整所有安装
完成安装后,你可以在无线局域网中配置代理,点击WiFi右侧的感叹号–然后点击最底部的配置代理
选择–手动–输入服务器地址和端口号,服务器地址是你当前疯狂URL 4安装所在的电脑的ip地址,这个你可以在上面扫码下载根证书的二维码上面查看,需要注意的是,你可能会看到多个,但你可根据网络名称来判断你当前使用哪个,比如无线网络以WLAN 表示,有线以 以太网表示。端口号是疯狂URL 底部状态显示的端口,代理配置完成后,点击右上角的存储 即可完成所有配置。
安卓用户 安装根证书
安卓上安装根证书也可以像IOS那样扫码下载,但是安装方式有些区别,下载后,通常下载到文件管理器中的Download文件夹,然后你需要从设置 — 安全—凭证存储下面的 从SD卡安装 ,下面是模拟器的截图
在Download文件下找到rootCA开头的证书文件,点击它安装,安装要求你输入pin码,这一般也是锁屏密码,如果之前没有这个pin码,首次要求你设置,设置的时候请务必记住它,以免忘记了导致无法解锁屏幕,建议使用简单的即可。输入pin 码后,会要求你命名证书,并选择凭据用途,请选择VPN和应用,然后再安装一次,这次选择WLAN ,两次安装完成即可
代理服务器设置
设置安卓的代理服务器与iOS基本上是一样的,不同系统版本和手机之间可能存在一些差异,基本上都是在局域网或WLAN连接的WiFi或移动数据设置代理服务器,下面是安卓的模拟器的示例:
注意上面的代理服务器地址请填写你当前疯狂URL 安装的IP
二合一模式
二合一模式实际上就是同时启动网卡模式和代理模式,这样你就同时使用这两种模式的功能进行捕获,但不太推荐使用这种模式,虽然没有太大影响,但是如果你只是使用到其中一种模式,那么这会显得资源浪费。为什么说资源浪费?
首先,网卡模式会捕获网络接口数据,并实时处理和解析到符合条件的URL,这个过程会占用一定的开销。代理模式,实际上会有一些影响网络速度,因为同样的,需要拦截请求响应并解析符合条件的URL然后处理给疯狂URL进行显示。所以如果你只用一种模式,那么建议不要使用二合一模式,如果对你影响极小或不关心影响问题,那么这完全是没问题的
高级过滤功能
疯狂URL 4的高级过滤功能在疯狂URL 3上是没有的,这是一个新功能,了解如何使用过滤器将对你捕获和筛选URL很有帮助
过滤表达式
高级过滤器的核心是如何编写过滤表达式,也就掌握了如何过滤想要的资源类型
打开疯狂URL 的高级过滤设置
这是默认的过滤表达式,它基本覆盖了所有媒体源类型,你也可以按需调整
port: *
host: *
type: video*; *mpegurl; *flv; *mp4
fullurl: *
protocol: *
下面解释每一项所表示的意思:
port:表示允许的端口号 如1935,80,443等等
host:表示允许的主机地址 如 baidu.com
type:表示允许的URL响应类型 如上面提供的值 video*; *mpegurl; *flv; *mp4
fullurl:表示允许的完整的URL地址
protocol:表示允许的协议 如http或rtmp等
每一项以冒号(:) 分隔,冒号后面是对应的值,值是可以有多个的,每个值之间使用英文输入法下的分号(;)隔开。星号(*) 表示匹配任意字符
以默认值举例来说,type的类型:type: video*; *mpegurl; *flv; *mp4
type匹配的类型包含以 video开头的任意资源,以及以mpegurl结尾的任意资源,还有以flv,mp4结尾的任意资源。
理解这个说明,其他项就知道怎么匹配了,假设你希望过滤指定网站域名下的媒体源,那么你可以保留上面默认type值,然后将host改成如下:
host: abc.com 这里假设你指过滤来自abc.com 的源
总之,过滤表达式类似正则表达式的简单匹配模式
使用过滤表达式可以减少一些不必要的资源显示,精准的过滤表达式可以让你不受多余资源打扰,你可以安安静静的做自己需要的事,更有帮助的是,你可以更快的定位你要的匹配URL,而不是盲目的寻找
数据源API
数据源API 是将疯狂URL捕获到的URL数据实时同步到本地json文件中,然后你就可以在你的应用中读取它,为你的应用程序提供的外部数据接口,此功能需要你了解如何使用数据接口相关的知识,通常这主要提供给第三方程序调用,需要具备一定的软件开发知识,但这不在我们的讨论范围内。
播放器设置
疯狂URL 4支持两种播放器来打开你的媒体源URL,内置和自定义,自定义播放器配置需要选择播放器程序的可执行文件,假设你要自定义 potplayer 作为自定义播放器,你必须确保你安装了这个播放器,然后点击选择播放器打开其安装目录,然后找到启动文件(PotPlayerMini64.exe)
这样就完成了自定义播放器设置,其他播放器也是类似的操作
菜单
文件
打开pcap
pcap文件是网络数据包数据,这些数据包可以组合成网络报文。
在疯狂URL 4中,你可以打开你使用任意网络数据包捕获工具(如tcpdump)捕获到的数据包进行分析和提取媒体源,目前疯狂URL 4打开pacap的功能重要分析包含以下类型的数据:
- 媒体源 http/htts/rtmp 等协议
- TCP中的http请求,除了获取Host和完整URL之外,这其中还包含标准的请求头信息。暂不包含响应头信息
附加功能
rtmp转换服务
rtmp转换服务是将http/https 协议的媒体源转换为rtmp协议的一个服务,这并非每个人都用到,但对于有这个需求的人是很有用的。比如,你可能需要将A平台的https直播源转播B平台,但是,B平台的直播客户端仅支持rtmp协议的网络直播源,不支持http/https的,那么这种情况下,rtmp的转换服务就发挥作用了。
转换步骤
选择你要转换的直播源,右键菜单–点击转换为rtmp流
首次使用此功能会要求你下载安装插件,请下载安装即可,如果安装失败,可能是网络原因,更换网络环境再次尝试
转换后,会在工具栏找到rtmp服务管理 按钮,点击它进入转换列表界面
点击复制按钮复制正在转换中的rtmp流,然后粘贴到你要转播的平台中,下图是拼多多平台的转播示例,根据途中的顺序操作即可,最后记得点击立即生效
最后效果可以看到原来的A平台的https协议,现在可以用在拼多多的上面了,因为拼多多目前仅支持rtmp协议的直播源。
这种操作也免去了使用OBS推流码推流的过程,并且也解决了一些用户使用OBS推流时的声音问题
需要注意的是,由于该服务集成在疯狂URL上,使用此rtmp转换功能时,你必须确保疯狂URL不能退出,如果强制退出疯狂URL,那么也同样会关闭转换服务。另外,如果中途不小心在服务管理界面停止了转换任务,你需要重新转换新的任务,然后重复上面的步骤即可。
右侧子界面功能
概览窗口
在主界面右侧,有一个概览选项卡的子窗口,概览包含了当前选中的URL的常规信息
推流码
概览选项卡内,如果你捕获到的是推流码,那么你可以从这里复制对应的服务器地址和密钥,下面是一个示例:
请求标头
包含选中的URL 的请求标头信息
响应标头
包含选中的URL 的响应标头信息
Josn
包含选择的URL的响应json数据,这对于一些被封装到json中的媒体源分析很有作用,因为json中的数据,通常你可能在主界面中的抓取列表中看不到它们,当然了,这也不仅限于媒体源分析
密钥
一个备用的选项卡,目前暂无数据填充