🤖 立即使用此工具
全屏打开🤖
robots.txt 生成器
可视化配置多爬虫规则,生成标准 robots.txt。
User-agent 规则组
robots.txt 预览
配置后自动生成…
关于此工具
可视化配置多 User-agent 规则、允许/禁止路径、Crawl-delay 与 Sitemap,生成标准 robots.txt 文件。