开发工具

robots.txt 生成器

robots.txt 生成器:可视化配置允许/禁止路径,支持多 User-agent、Crawl-delay 和 Sitemap,生成文件。

立即使用

🤖 立即使用此工具

全屏打开
🤖

robots.txt 生成器

可视化配置多爬虫规则,生成标准 robots.txt。
User-agent 规则组
robots.txt 预览
配置后自动生成…

📖 关于此工具

可视化配置多 User-agent 规则、允许/禁止路径、Crawl-delay 与 Sitemap,生成标准 robots.txt 文件。