疯狂URL提供5种抓取URL地址的方式,本节教程主要教大家如何使用疯狂URL教程中的第三种(疯狂URL内置浏览器)和第四种抓源方式(第4种:web代理模式之电脑本机),这两种方式主要使用场景是抓取网站和web应用的媒体源URL地址,本文将以抓取tiktok直播源 进行举例,由于tiktok在部分地区不可直接访问,这些地区的用户请自行准备和配置网络环境,你可以通过谷歌或求助他人的帮助进行,这里不作介绍,并在最后部分对于常见的问题进行答疑。对于不需要配置科学上网的用户,忽略即可。

另外本教程还可以抓取部分平台的直播用的推流码地址,比如小红书直播推流码地址获取

本教程使用到的工具

  • 疯狂URL
  • 谷歌浏览器(chrome)
  • tiktok官网 tiktok.com
  • 科学上网工具(请自备)
  • 关于浏览器的建议:请不要使用IE浏览器和IE模式的国产浏览器,建议使用谷歌、火狐、Edge等主流浏览器

操作步骤

注意本教程提供两种方式,分别是web代理模式和疯狂URL内置浏览器方式,根据自己的需求和习惯选择使用

方式1 ——————-web代理模式部分——————————

安装疯狂URL-省略

打开疯狂URL,并切换到web代理模式

首先启动疯狂URL,选择当前活跃网络接口(任意带ip地址均可),比如我的下面蓝色行就是:

接下来会进入到疯狂URL主界面,在工具栏我们将默认的网卡模式切换为web代理模式,此时通常情况下会弹出一个安全警告(图1),需要你点击 按钮进行安装web证书,如果点否,将不会安装,那么将无法使用改模式进行抓取到如何网站的媒体URL地址,所以务必点是进行安装,安装过程非常简单,点是后,几秒钟即可自动安装完成,完整安装后在工具栏状态显示已弃用web代理模式如下图2:

web证书安装提示,请点是安装

开始抓取网站媒体URL地址

我们使用谷歌浏览器,然后输入要抓取的网站媒体地址,比如tiktok.com 官网,点击左侧的直播,进入任意直播间后即可在疯狂URL列表中抓取到你浏览的直播源地址,这个地址可以用来下载或者播放,也可以用来做转播,这种地址也称作拉流地址,这取决于各位的用途。如下图:

提示:整个过程非常简单,关键步骤是安装证书的步骤,一定要点是 进行安装,否则你后续只能手动进行安装,另外本教程仅仅是演示了tiktok的网站,其他网站也是类似的,如果你在切换web代理模式时,没有弹出安装证书的提示框,那么有可能之前已经安装或拒绝过,可以在本页的底部常见问题中找到相关重新安装证书的方法。是否安装了CA证书,通常最简单的办法是打开浏览器,输入常见的直播网站,比如yy.com ,douyin.com 等等,如果打开直播会看到有地址,说明证书安装没问题无需重复安装。否则若提示什么不安全链接的,就是证书安装异常,请重新安装

如需要下载到电脑,可以参考如何使用比尔下载器下载tiktok直播视频的案例教程

方式2 ——————-疯狂URL内置抓源浏览器部分———————–

操作步骤

1、打开疯狂URL并点击疯狂URL工具栏中的启动抓源浏览器,如图

2、启动抓源浏览器后,如下图,会类似一个常规的浏览器一样

与普通浏览器一样,只需要在地址栏输入我们要抓取的网站地址,比如本教程中演示的tiktok,tiktok官网 tiktok.com,输入该地址后回车或点击旁边的go按钮进入tiktok页面,如下图

3、进入页面后,我们就可以找我们需要抓取的直播间或者短视频,只要该直播或短视频播放就会抓取到地址,在上面的图中,我们已经看到下面地址列表出现两个地址,这就是首次访问时,页面自动播放的预览视频已经被自动抓到了。这个地址我们可以用来在支持流媒体播放器中直接播放,也可以使用支持流媒体地址下载的工具(如比尔下载器)中进行下载到本地,包括下载到手机里。

如需要下载到电脑,可以参考如何使用比尔下载器下载tiktok的案例教程

最后说一下这两种方式到底有什么区别,应该选择哪一种方式,这其实在上面的案例中已经体现出来了,但部分情况例外,比如内置抓源浏览器是不会记录用户浏览记录数据的,包括登录信息,浏览历史等,这相当于一个无痕的普通浏览器,还有一点就是内置浏览器不需要安装证书,因为与web模式没有任何关联,web模式主要用于获取外部程序的,比如用户自行安装的浏览和其他web程序如微信小程序短视频直播地址等。可以说两种方式各有优缺,如果习惯使用个人安装的浏览器,要保存个人信息的就用web代理模式搭配个人安装的浏览器进行使用,否则使用内置抓源浏览器是非常便捷的。当然了,内置浏览器功能单一,个别网站可能与内置抓源浏览器存在一些兼容性,这时候你也可以使用自己安装的浏览器搭配web模式使用

常见问题

如果首次使用web模式时,没有弹出该安全警告,原因有3种可能:

1.系统已经安装过了类似的证书,此时无需安装,直接用即可

2.被系统上其他软件拦截,比如某些杀毒软件拦截了证书的安装提示,这一般是第三方杀毒软件才会,系统自带的是不会的,解决办法是你打开你的杀毒软件将疯狂URL加入信任,或者暂时关闭它,安装完毕并使用完毕后再开启。

3.win7用户搭配杀毒软件也有可能出现该情况,如果上面原因2没有解决,你可以尝试升级为windows10 系统来使用

重要:如何判断证书是否安装正确?

最简单的办法是启动web代理模式下的情况下,打开谷歌浏览器,如何输入yy.com 进行访问,如果页面能够正常打开,并且疯狂URL有对应的地址,那么就是没问题,如果页面不能访问,并且提示某些不安全的提醒,那么这个是证书没有正确安装。你可以通过下面的手动安装指引进行安装

安装之前,我们需要先检查系统是否有安装不完整的相关证书,并将其卸载,然后再进行安装,安装方式有两种,下面先从卸载开始:

1.卸载不完整的证书:win+R 运行输入 certmgr.msc ,然后打开证书管理界面,在左侧证书列表下-个人–证书 全部选中并删除,如图:

删除提示点是,然后继续删,找到左侧第二项,受信任的根证书颁发机构–证书。此时找到列表中的DO_NOT_TRUST_FiddlerRoot这个颁发者,选择它并删除,注意,我下面只有一个,如果你的列表中有多个这个一样的名,你需要都删除,删除方法同上,切记不要删其他的。如下图

继续删除,最后一次,找到中间证书颁发机构—证书–然后证书列表找到同上面一样的名:DO_NOT_TRUST_FiddlerRoot,用同样的方法删除它。此时删除全部完成

安装证书

删除完毕后,我们就可以重新安装证书了,如果你在删除过程看到上面某些步骤里并没有出现要删除的证书,直接忽略即可。安装证书分两种方式:

第一种安装方式(最简单):如果你疯狂URL是打开的,请先关闭,然后我们出现打开疯狂URL,并切换到web代理模式,此时通常会提示安全警告,并提醒需要安装证书,点是即可。这个步骤和前面本文教程部分已经有说明,这里不再重复啰嗦

第二种方式:手动安装,如果你疯狂URL是打开的,请先关闭。然后我们出现打开疯狂URL,并切换到web代理模式并开启,点击菜单选项–下载CA证书,如图

会进入如下页面

图1
图2

点击图1底部的FiddlerRoot certificate 下载证书,在下载目录找到FiddlerRoot.cer 证书文件,双击该文件,提示窗口 点击打开

进入安装界面,并选择安装证书

选择安装证书如下,选择当前用户或本地计算机均可,如果是你自己的电脑,你可以选择本地计算机

下一步,若有其他提示请点是,然后进入证书导入向导

选择第二项:将所有证书都放入下列存储,然后点击旁边的浏览按钮,我们分别安装到个人受信任的根证书颁发机构中间证书颁发机构 这三项,然后点击确定

最后点击完成即可,安装上述三个位置需要分三次安装,每次安装到不同的位置即可。这时候证书就手动安装完毕了,此时你可以重启疯狂URL,然后重新开启web代理模式,再打开浏览器输入任意媒体网站,比如yy.com 进行测试,若有地址说明一切正常。如果仍然没有,请通过前面的常见问题列表中排查其他问题。

如果您已经严格按照教程中的操作遇到抓不到媒体源地址的时候,请根据以下方案排查:

1、该网站是否属于课程类(如在线教育平台)网站,通常这类网站为了保护版权和防止资料外泄,会采取专门的数据保护技术,包括视频,在线直播等一系列数据都不会通过明文传输,也无法通过软件来捕获解析到有用的地址,请另寻其他办法

2、部分娱乐性质的直播网站,通常会使用cdn转发来实现满足全球不同地区用户低延迟观看直播的体验,采用cdn转发直播数据时可能采取了数据包加密处理,导致无法捕获,解决方法是查看该站点的直播相关设置是否包含低延迟开关,如果有,请尝试关闭它然后重新刷新页面试试看。比如下面的站点就是使用了低延迟开关的,默认是开启的,如果不关闭它,大多数情况下,我们无法捕获它的直播源URL地址

类似文章