robots.txt 生成器

robots.txt 生成器:可视化配置允许/禁止路径,支持多 User-agent、Crawl-delay 和 Sitemap,生成文件。

🤖

robots.txt 生成器

可视化配置多爬虫规则,生成标准 robots.txt。
User-agent 规则组
robots.txt 预览
配置后自动生成…