全球灰产交流论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

全球云38元起免备案V2EX搬瓦工灰产
SEO查询超级PING网站测速
Virmach特价鸡乌云漏洞吾爱破解
楼主: gamerock

1亿5千万的txt打包居然吃掉了31个G的内存!

[复制链接]

4

主题

394

回帖

1216

积分

金牌会员

Rank: 6Rank: 6

积分
1216
发表于 2024-8-25 13:51:24 | 显示全部楼层
20230417
都是旧数据,不是最新的
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

1

主题

134

回帖

395

积分

中级会员

Rank: 3Rank: 3

积分
395
发表于 2024-8-25 13:52:00 | 显示全部楼层
打包干嘛?搬站?搬过去还得解压。。。
这么大的站流量得多少啊
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

15

主题

184

回帖

491

积分

中级会员

Rank: 3Rank: 3

积分
491
发表于 2024-8-25 13:51:00 | 显示全部楼层

教你一招,做个脚本,分段生成单个文件,然后单个文件压缩加密,传到hub公共账户就行了,几百G都不需要一天时间,具体操作:
1 文件的aaa.txt的大小为60G,进行拆分,1G为一个文件aaa1.txt,或者10万行一个文件aaa1.txt;
2 对aaa1.txt进行压缩并加密,生成aaa1.tar;
3 构建docker镜像,将加密的aaa1.tar放到镜像文件image_aaa1中;
4 push上传镜像文件image_aaa1到公共仓库,即使有人拉取,破解不了你的密码;
5 用的时候依次拉取,几百G、几千G都可以上传,突破普通网盘容量限制,docker上传速度比大部分收费网盘要好,不存在上传限速

300G的视频,我一天搞定它,hub上现在还存放着呢,都是私人珍藏,高清无码
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

15

主题

184

回帖

491

积分

中级会员

Rank: 3Rank: 3

积分
491
发表于 2024-8-25 14:56:54 | 显示全部楼层
本帖最后由 xuexing 于 2024-8-25 14:15 编辑

你是win,可以不使用额外工具,先查看总文件有多少行,按行提取就行了,比如总用有100万行,一次提取10万行,脚本循环,下一次提取100001-200000的数据,生成aaa1.txt,单独对它进行压缩,思路基本就是这样,具体脚本扔给gpt搞定就行,循环提取,循环压缩,循环上传到hub docker,我发现hub真是好东西,上传不限速,而且还是无线容量
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

258

主题

2467

回帖

6716

积分

论坛元老

Rank: 8Rank: 8

积分
6716
 楼主| 发表于 2024-8-25 14:00:00 | 显示全部楼层
xuexing 发表于 2024-8-25 14:13
你是win,可以不使用额外工具,先查看总文件有多少行,按行提取就行了,比如总用有100万行,一次提取10万行 ...


单个单个txt文件啊!
不搞哪些乱七八糟的!
别到时候用不了就麻烦了!
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

15

主题

184

回帖

491

积分

中级会员

Rank: 3Rank: 3

积分
491
发表于 2024-8-25 14:03:56 | 显示全部楼层
本帖最后由 xuexing 于 2024-8-25 14:32 编辑
gamerock 发表于 2024-8-25 14:19
单个单个txt文件啊!
不搞哪些乱七八糟的!
别到时候用不了就麻烦了! ...


随便找个文件,测试一下呗,你先记录sha256,然后让gpt给你做个脚本,分段切分成100个小文件,然后再让gpt给你做一个合并100个txt的脚本,看看是不是原来的sha256就行了。
上传到hub和下载也是一样,执行完看看是否和最初的sha256一致。这个方法是不会错的,如果错了,那就是你执行的环节出了问题,让gpt给你排查。

不想搞这些复杂的,那你就搞钱升级大容量网盘,速度还没hub快,很多都上传限速,你说还有半个月时间,那就慢慢搞,要想快速,想一天搞定,那就要折腾。
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

94

主题

614

回帖

1766

积分

金牌会员

Rank: 6Rank: 6

积分
1766
发表于 2024-8-25 14:04:20 | 显示全部楼层
不建议打包的方式,建议同步采集的方式搬站。 另外一台部署一下直接从这边采集数据。
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

258

主题

2467

回帖

6716

积分

论坛元老

Rank: 8Rank: 8

积分
6716
 楼主| 发表于 2024-8-25 14:05:57 | 显示全部楼层
xuexing 发表于 2024-8-25 14:30
随便找个文件,测试一下呗,你先记录sha256,然后让gpt给你做个脚本,分段切分成100个小文件,然后再让gp ...


恩,感谢提供方案!
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

0

主题

1

回帖

4

积分

新手上路

Rank: 1

积分
4
发表于 2024-8-25 16:31:00 | 显示全部楼层
xuexing 发表于 2024-8-25 14:05
教你一招,做个脚本,分段生成单个文件,然后单个文件压缩加密,传到hub公共账户就行了,几百G都不需要一 ...

300T的高清步兵,可以操作吗站点放出来,MJJ免费帮你打包
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

62

主题

406

回帖

1278

积分

金牌会员

Rank: 6Rank: 6

积分
1278
发表于 2024-8-25 14:13:35 | 显示全部楼层
xuexing 发表于 2024-8-25 14:05
教你一招,做个脚本,分段生成单个文件,然后单个文件压缩加密,传到hub公共账户就行了,几百G都不需要一 ...

什么乱七八糟的。
人家小说站,是一个txt的体积1K都不到,几亿个txt文件打包。
你说的是单个txt文件,还示例大小60G,你家txt这么大?
根本说的不是一个东西。
hostloc邀请码购买+tg:@Sendtoae86bot
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

展开

QQ|Archiver|手机版|小黑屋|全球灰产交流论坛

GMT+8, 2024-10-30 23:19 , Processed in 0.047359 second(s), 23 queries , Gzip On.

Powered by Discuz! X3.4

© 2001-2023 Discuz! Team.

快速回复 返回顶部 返回列表