🤖 立即使用此工具
全屏打开🤖
robots.txt 生成器
可视化配置多爬虫规则,生成标准 robots.txt。
User-agent 规则组
robots.txt 预览
配置后自动生成…
关于此工具
可视化生成 robots.txt:配置默认抓取策略、多组 User-agent 规则、Disallow/Allow 路径、Crawl-delay 与 Sitemap,实时预览并一键复制下载。