robots.txt 生成器
UA 分组规则 + 四种模板 + 语法校验 + 下载
如何使用本工具
- 按表单填 User-agent 与路径规则,每行一条;右侧实时生成标准 robots.txt,语法问题会直接在下方列出。
- 「允许全部」的正确写法是 `Disallow:` 后面留空,而不是 `Allow: /`,生成器已经按规范处理。
- 四条模板覆盖最常见的场景,点一下就能改;Sitemap 必须写完整 URL,不能写相对路径。
- 确认无误后下载 robots.txt,上传到网站根目录(https://域名/robots.txt)才会生效。
常见问题
Q:robots.txt 能阻止页面被收录吗?
A:不能。它只是告诉守规矩的爬虫「别抓这些路径」,本身不是权限控制,恶意爬虫完全可以不理。真正禁止收录要用 noindex 响应头或 meta 标签,敏感内容则要做好鉴权。
Q:Allow 和 Disallow 冲突时谁优先?
A:主流爬虫按「最长匹配规则」来判,相同长度时 Allow 优先。所以 `/api/` 被 Disallow 的同时可以再 Allow `/api/public/`。但不同爬虫实现有细微差异,别把关键逻辑押在这上面。
Q:Crawl-delay 所有搜索引擎都认吗?
A:不是。Google 明确不支持 Crawl-delay,抓取频率要在 Search Console 里调;Bing、Yandex、百度等支持。写大了不会报错,只是对不支持的引擎无效。
Q:Sitemap 指令该放在哪?
A:它是全局指令,不属于任何 User-agent 组,规范允许放在文件任意位置。生成器统一放在末尾并用空行隔开,可读性最好。
Q:为什么路径必须以 / 开头?
A:robots.txt 的路径匹配是相对站点根的路径,写 `admin/` 会被当成非法规则忽略。支持通配符 `*` 和结尾 `$`,比如 `/*.pdf$` 表示所有 PDF 文件。