Github地址

Github: https://github.com/gohiweeds/twitterdownloader.git

功能 支持Socks5代理配置

国内的:支持设置SOCK5 代理,下载Twitter视频图片 如果已经配置了就不需要了使用SOCK5下载了,如下,直接下载即可,无须配置HTTP代理。 MacOS:

export http_proxy=xxx export https_proxy=xxx 原因

前一段时间浏览Twitter看到了一个搞笑的视频,想保存下来,但是发现都是hls的视频片段,下载挺麻烦的,于是用golang实现了一个自动下载Tweet的视频功能。

实现原理

Twitter的视频是通过javascript的执行来完成的,都是xhr的请求。 这种方式下载比较麻烦,之前我的打算是golang中搭建一个javascript的解释器然后计算执行,但是执行过程中遇到了一些问题,javascript + DOM的绑定等,比较复杂,对于一个嵌入式工程师来说,对javascript也不是很熟悉,作罢。

后来在github上找到了一个直接请求相对uri直接获取配置的,现在已经过期了还是python实现,依赖过多,没有用处,但是提供了思路。

我就按照获取的视频json的配置信息url,来获取,又遇到了难题,就是访问此路径需要认证,没办法,抓取数据包分析,然后模拟了guest的认证,最终可获取了视频配置,然后根据视频url下载m3u8,然后下载视频文件,重组成mp4格式的文件即可。

总结

本来在实现过程中发现Twitter的视频请求方式的时候,我是打算算了,反正无关痛痒的项目,但是内心的小执着觉得不能这么算了,虽然后来又遇到了认证问题,但还是有惊无险的完成了。