分类
未分类

brccdumps.21.02.08

这几天无聊的1b,开始拖起brcc了,感觉它应该比defloration.com容易很多,但实际搞起来还是非常蛋疼的:

  • 它的登录状态大概每两小时过期一次,导致我只能在脚本里面每次使用curl参数时在外部文件里读一遍,然后我在脚本外面动态地改变curl参数🤔

  • 和我五年前搞brcc相比,它使用了cdn,所以至少下载不用带参数了,但那个cdn貌似有ratelimit设定,下大概100GB文件就开始ratelimit了,之后每两分钟左右才能下一两个文件🤔

然后我发现它前180个视频大概占掉了900GB的空间,等我将其全部上传到discord drive后,然后下剩下的视频时,突然下载速度降到了1MB/s🤔我一开始以为那个cdn对我开始限速了,装了个v2ray然后发现我貌似干什么都是1MB/s,发了个ticket一问,草,我流量用完了🤔由于discord drive我采用的是一边上传一边下载验证checksum的方式,而且它统计流量肯定是上传下载加起来统计的,所以流量很快就爆了🤔

既然这样的话,我目测没有别的选择,只能再去搞个存储vps了,我经常用的frantech貌似又上架了nvme vps+block storage的组合,但我记得那玩意不是经常没有货吗🤔但至少今天它有,所以赶紧买了,和letbox不同,frantech的这类玩意更加灵活,vps和block storage都可以单独购买,而且block storage可以和任何一个同地区的vps组合,组合的过程是热插拔的,极其先进🤔现在2GB内存和40GB固态的vps是7美(jia)元一个月,2TB的block storage是10美(jia)元一个月,还算便宜🤔

所以我用frantech的玩意拖完了剩下的brcc片子,这部分居然只用到了550GB空间,看来我买的2TB空间有点多余🤔当然,我接下来还要拖brcc的姐妹站ecg,它和brcc貌似用的是同一套网站程序,连脚本都一毛一样,而且这部分可能有3TB这么多,我恐怕还是需要2TB空间的🤔

不过frantech尽管是1Gbps几乎无限流量,但它的磁盘io实在是慢的1b,letbox能上300MB/s的话frantech只能上70,我的旧款vps貌似连20都没有🤔这就极其蛋疼了,但它恐怕最适合rclone往onedrive里面扔数据了,只需要挂着,过一周后数据便能出现在onedrive上🤔

综上所述我这几个存储vps还真的没法互相替代,可见我下个月需要掏的vps费用又要增加了(悲🤔

new antics

在我拖了大概三天后,brcc终于搞完了,discord drive的链接文件也完成了排序,这样我便想到了一件我一直想干的事🤔

我现在基本上打包discord专用压缩包时会将rar的输出重定向到rarlog文件里,通过分析rarlog的内容,我们便可以准确地得知提取某个文件需要的压缩包,从而只需要下载这些压缩包即可🤔

首先,rarlog里每一个分卷都能对应到里面的文件,这样只需要像discord drive排序那样删掉里面的回车就能用grep选取指定的分卷压缩包的信息了,因为现在它在同一行里面🤔

接下来我们需要找的是OK,某个文件后面出现OK基本上可以判定存放它的分卷压缩包是最后一个分卷🤔那么第一个分卷又怎么去找?很简单,由于rar分卷压缩会连续地存放文件,只需要找上一个OK字符对应的行,由于它是上一个文件的最后一个分卷,它肯定是上一个文件的下一个文件开始的分卷🤔

我一开始想配置多行grep,但后面我想到为了减少计算量,我一开始就先筛选出含有OK的行然后才开始用关键词grep,所以在只含有OK的行里,让grep输出含有关键词的那行还有它的上一行,然后用head -1选择上一行,这样就非常简单地搞定了寻找上一个OK字符对应的分卷压缩包这件事🤔

当然这里还有一点没有考虑,那就是如果它是压缩包的第一个文件,那么grep的输出只有一行,而且head等之后提取的分卷编号会等于它的最后一个分卷的编号🤔所以我可能需要对两个编号进行比较,如果相同的话直接令前一个值为1🤔

取得第一个和最后一个分卷的编号之后就太好办了,由于discord drive的链接文件都排好了序,而且每个链接固定占3行,直接用sed -n "$((min3-2)),$(max3)p"就能直接提取链接文件里这些分卷的行,然后输出到某个文件,就可以直接用aria2c下了🤔

发表评论

邮箱地址不会被公开。 必填项已用*标注