苹果cms 采集很慢

kucn

sertt 发表于 2024-7-17 11:58
用火车头吗，那还得自己搞规则和入库吗。还是有现成直接用的方法

就是CMS自己采啊。

xiao5

采集后再图片本地化爬虫还是python给力

ceft

复制等待跳转哪个链接 ,多开窗口,修改页数.几万数据一会就好了

sertt

xiao5 发表于 2024-7-17 15:54
复制等待跳转哪个链接 ,多开窗口,修改页数.几万数据一会就好了

我也是这么干的  一次开20个网页  修改 page 后面的参数 大概20分钟可以采 3000左右

sertt

xiao5 发表于 2024-7-17 15:54
复制等待跳转哪个链接 ,多开窗口,修改页数.几万数据一会就好了

谢谢大佬，我现在不同步图片就快了。 图片等后边再同步

ceft

ceft 发表于 2024-7-17 16:30
我也是这么干的  一次开20个网页  修改 page 后面的参数 大概20分钟可以采 3000左右 ...

吊，我开6个  cpu就满了，图就同步失败

llyy

sertt 发表于 2024-7-17 16:33
吊，我开6个  cpu就满了，图就同步失败

先采集资源  采集完以后开一台win 慢慢跑图片

sertt

你们图片都放本地的吗 直接用采集站的图不行吗

花菜大魔王

llyy 发表于 2024-7-17 16:38
你们图片都放本地的吗 直接用采集站的图不行吗

一个是慢，一个是失效了 难受了。我现在放阿里云oss 上，每个月有100G 免费流出。不知道其他人咋搞的

server0608

来买我的高清资源