Bytespider这个蜘蛛到底是想干嘛？老是扫我博客.........

lordong · 发表于 2024-8-15 12:06:47

(compatible; Bytespider; [email protected])

什么垃圾蜘蛛天天来

字节跳动也弄搜索引擎？

codeqihan · 发表于 2024-8-15 13:30:45

本帖最后由 codeqihan 于 2024-8-15 13:32 编辑

似乎是字节的爬虫，据说是用来训练豆包的
https://blog.cloudflare.com/zh-cn/declaring-your-aindependence-block-ai-bots-scrapers-and-crawlers-with-a-single-click-zh-cn/
“据报道，Bytespider 由 TikTok 的母公司字节跳动运营，用于为大型语言模型 (LLM) 收集训练数据，包括为其对标 ChatGPT 的竞品——豆包提供支持。”

linuxyi · 发表于 2024-8-15 13:34:05

是头条搜索的爬虫。头条搜索站长平台：https://zhanzhang.toutiao.com/

icon · 发表于 2024-8-15 13:35:31

本帖最后由 icon 于 2024-8-15 13:37 编辑

如果你用cf的话，把那个禁止ai机器人打开就好

账号		自动登录	找回密码
密码			立即注册

全球云38元起免备案	V2EX	搬瓦工灰产
SEO查询	超级PING	网站测速
Virmach特价鸡	乌云漏洞	吾爱破解

Bytespider这个蜘蛛到底是想干嘛？老是扫我博客.........

电话咨询